עצי-החלטה הם פתרון מקובל לכריית נתונים. יש לו רק בעיה אחת, לא בטוח שהוא מתכנס. ותוך כדי זה שהוא משוטט על הגבעות ומחפש את הדרך למקום הכינוס... הוא עלול להגיע למקומות אחרים לגמרי.
למה זה קורה?
משתי סיבות. כמו בבדיחה על החסיד שהיטלטל בדרכים והגיע לעירה אחרי הכנס השבת. הוא מנסה להצטדק לפני הרב ואומר: יש לי שתי סיבות לאיחור, ראשית – מרכב הכרכרה נשבר באמצע הדרך. אומר לו הרב, לא חשוב מה הסיבה השנייה.
ובכן, יש שתי סיבות מדוע עצי-החלטה לא מביאים אותנו לאן שצריך. ראשית – הם מניחים את המטרה מראש, ושנית – מנגנון הניווט שלהם מתאים למצב אידיאלי של פונקציה מונוטונית עם אופטימום אחד.
מה רע בהנחת המטרה מראש? - המטרה לא ידועה. הרי בג'ונגל המידע אי אפשר לדעת לאיזה עץ שיך איזה ענף. חוץ מזה, יש ענפים שלא שיכים לעצים אלא לשרכים, צמחים שונים, וגם לחיות שנראות כמו ענפים. לך תדע.
לכן, נזהרים החכמים בענין, וממליצים להשתמש בעצי-החלטה רק ללימוד ול"קבלת תחושה" לנתונים, ולא למסקנות.