איך מודדים פתרון BI (איזה תוצרים להזמין)

כל נושא חדש נתקל בקשיי מכירה. לדעת המוכרים, בגלל שמרנותו של השוק. לדעת המשתמשים, כי זה-לא-זה (הפער הנצחי בין צרכים והיצע פתרונות), אך הפעם ברצוני להתרכז בדעה מסוג שלישי, דעת המשתמשים שמבינים ורוצים לרכוש פתרון, אותם שהארגון שולח לבדוק ספקים ולחזור עם המלצה וטיוטת הזמנה.

הייתי שם פעם. הנקודה הקשה ביותר בפרויקט כזה היא בסוף, כתיבת המלצה וטיוטת הזמנה. מה באמת צריכה המערכת לתת? מה חשוב יותר – שהיא תתחבר לרוחב מערכות הארגון, או שתתמקד בחולייה החסרה בשרשרת העבודה? שהספק יהיה בעל מוניטין והתקנות קודמות בארגון, או שהוא יהיה חדש וקולע לצורכי הארגון הבאים?

אפשר להבין את מי שיבחרו בכיוון הבטוח והשמרני. אבל הפעם אדבר אל מי שפונים  לצורכי העתיד החדשים, אלה שצריכים לפלס את הדרך ולהגדיר קריטריונים לביצועים שעוד לא התנסו בהם.
יש שתי מכשלות למי שניצב מול דף ריק כזה שצריך למלא אותו בדרישות: סכנה שהדרישות הכמותיות שייקבעו לא ייצגו את ערך ממשי, וסכנה הפוכה, שהדרישות יהיו אמנם עקרוניות אך כלליות ובלתי ניתנות למדידה.
מבין שתיהן, העדפתי האישית היא, להציב דרישות לא-מדידות, משתי סיבות: כי הן משאירות מקום לדייק אותן בהמשך, ומשום שלפחות אינן נוטעות בטחון שווא במדדים לא טובים. לדוגמא, המדד המפוקפק של "כמות הדוחות שהמערכת מפיקה"...
לשפוט מער' BI לפי כמות הדוחות שלה, זה בדיוק כמו להעריך יופי של אישה לפי כמות הקילוגרמים שלה!
מטרת ה-BI היא בטח לא להטביע אותם בקילוגרמים של דוחות, במיוחד בהתחשב במחירם הגבוה (מחיר האינטגראציה הנדרשת).

לעניות דעתי, ריבוי דוחות הוא לא יותר מאשר תחליף מיושן, למה שהמשתמשים היו באמת רוצים לקבל, מושג על גורמי ההצלחה בפעילות שבאחריותם. בנקודה זו יש החולקים עלי, אך חשוב לחדד את הדברים ולהבהיר. מערכת שיודעת להסביר את הנתונים, לא תתפאר בריבוי הדוחות, אלא בתשובות ממוקדות.

בהמשך לדיון בפורום customer analytics , אשר בו הובעה הדיעה הרווחת, שכריית נתונים היא נושא רב תחומי, שהצלחתו תלויה ביכולות גבוהות של המישם.  -- הדיעה נמצאת בדיון שכותרתו "אל תסתכל בקנקן" כלומר, אל תקנה תכנה על פי שמו הטוב של היצרן, אלא בדוק מי המישם שלה (כי בו הכל תלוי).

בעקרון, להגיד שכלי תכנה תלוי במישם שלו, זה כמו להגיד, שהוא לא שווה כלום. כי מה התועלת בכלי שלא עושה מה שצריך?

אני חוזרת לשאלה הקשה מצד המשתמשים, והיא: איך לבדוק מה טיבו של פתרון כריית-נתונים, ולוודא מה יש ומה אין בו?
למי שרגיל לבדוק דברים בעצמו, הקושי כאן הוא במחיר הגבוה, בזמן וכסף, של הבדיקה, מה שמכונה "סף גבוה". הספקים לא עושים את החיים קלים במובן זה. אבל יש דרך לבדוק את הפתרון.

עצתי למי שנמצא בצומת החלטה על פתרון כריית-נתונים, היא:
ראשית, למצוא אוסף נתונים קטן אבל לא טריוויאלי, כזה שיש בו מישתנים רבים, תלויות מסובכות, איכות נתונים בינונית ומטה, והוא מכיל לפחות שאלה אחת הידועה רק לך.
שנית, לבקש ממספר ספקי פתרונות לבדוק את האוסף ולהגיד מה הם מוצאים בו ביחס למטרת ניתוח של "תקלות" או מטרה כללית אך אמיתית אחרת.
שלישית, להשוות.

טיב הפודינג הוא בטעם שלו, כמו שהאמריקאים אומרים.

אדית

שלום אדית,

בתור מי שפרסם את הפוסט, ועומד מאחוריו, רציתי להציג שאלה - האם היית בוחרת בשיפוצניק בזכות סט המקדחות בהם הוא משתמש? אני מניח שהתשובה היא לא, פשוט מכיוון שאין לך כל ידע בתחום, וממילא המקדחה היא רק הכלי. מיישמים שונים משיגים תוצאות שונות עם אותם הכלים, וזו עובדה!
המשתמש העסקי אינו מסוגל לבחון יעילות של מודל/אלגוריתם. המשתמש העסקי רוצה תוצאות עסקיות! מיישם טוב יידע להשתמש בכלים הנכונים כדי לתת תוצאות כאלה. מיישם לא טוב עשוי לתת תשובות נכונות לשאלות הלא נכונות.

לכל המתעניינים בדיון כולו, אתם יותר ממוזמנים לפורום שלי cuatomer analytics

להתראות,
שחר

שחר ערב טוב

פורום כריית נתונים דן ביישומים רבים מלבד ענין "לקוחות", שהוא לדעתי, אספקט אחד ולאו דווקא העיקרי. יש הרבה יותר כסף ביישומי ביומטריקה, לדוגמא.

כריית נתונים קמה משום שאין סיכוי שבן אדם יצליח לפענח את כמויות המידע הגדולות ומאות המישתנים הקשורים ביניהם.
בשיטה הנהוגה שהיא חצי-ידנית, פוטנציאל הנתונים מבוזבז (המומחים מסכימים שניצול הנתונים לא מגיע אפילו לאחוז אחד). בתשובה לשאלתך על השיפוצניק: אין סיכוי שאבחר בשיפוצניק עם מקדחה ידנית, בשביל לקדוח בבטון. אפילו סבתא שלי לא היתה בוחרת בו, לא צריך להיות מומחה בציוד בשביל להבין שכלי עם 2 סיבובים לשנייה פחות טוב מכלי עם X000 סיבובים לשנייה.

ברמה הפופולרית נהוג לכרוך את כריית נתונים עם סטטיסטיקה. זה המקום להגיב על כך ולומר, ששני הדברים הללו הפוכים: כריית נתונים נועדה למצוא השערות חדשות, בעוד שהשיטות הסטטיסטיות מסוגלות רק לאשר או להפריך השערות קימות.
ועוד הבדל חשוב: כריית נתונים צריכה לפרש את המידע הקים כמו שהוא, בעוד שסטטיסטיקה תלוייה במדגם שהוכן במיוחד... 
ראו פירוט של הכשל הסטטיסטי



אדית