אופטימיזציה זה דבר בסיסי כל כך שלא שמים לב למה ואיך זה קורה. בביג דטה (ואנסה להסביר עוד רגע) זה לא פועל. כדי לדעת אם ניתן לבצע אופטימיזציה על מדגם נתונים מסוים, אפשר לשאול אחרת, לדוגמא, האם התוצאה שנקבל היא הטובה ביותר, האם התוצאה מתכנסת כך שבמידה ונגדיל את המדגם היא תהיה יותר ויותר מדויקת, והאם בכלל יש בידינו פונקצית מטרה שמיצגת את כל השיקולים המענינים? כי דרוש ניסוח ברור של מטרה לצורכי פתרון מתמטי, ובאופטימיזציה תמיד יש שתי מטרות נוגדות, אחרת זה היה מקסמיזציה או מינימיזציה... המילה אופטימיזציה מצביעה על כך שהמצב הטוב ביותר נמצא לא בנקודות הקיצון אלא באמצע, מעין פשרה שניסחנו מראש את המשקל של כל אחד משיקוליה כדי לדעת בדיוק עד כמה מוכנים להקריב כל שיקול לטובת שיקולים אחרים למען השגת הטוב ביותר. גם אם אין פתרון מתמטי מתאים, עדיין פתוחה הדרך לאלגורתים של חיפוש. אלגוריתם כזה מצריך (למיטב זכרוני) שני דברים: קריטריון שמודד את המרחק מהמטרה או לפחות את השיפור בתוצאה, ותנאי מוקדם שההתקדמות תהיה מונוטונית, כלומר - שבכל צעד התוצאה תשתפר במשהו, ללא עליות וירידות מבלבלות, שהקריטריון ידע לבחור בכל נקודה את הצעד הבא בהתאם לאילוצים עד השגת פסגת המטרה.
ובכן, בביג דטה אין לנו אף אחד מהתנאים הדרושים. אפילו הגדרה מטרה עלולה להיות מבצע בסדר גודל של דןקטוראט. זאת משום שבביג דטה אי אפשר להניח כלום לגבי התנהגות הנתונים. יותר מזה, התנהגות הנתונים היא בכלל אחד הדברים שמעונינים ללמוד על הנתונים, ז"א לקבל בפלט ולא להכניס בקלט.
מה עושים אם כך? יש בכלל פתרון לניתוח ביג דטה?
לדעתי כן, והכיוון שלה הוא הפשטה ופישוט ובעיקר התפשטות מהמודל הישן. כמו שאמר ג'ון ברבידג' (הפרופסור מאונ' קרנפילד שקיבל תואר סיר ממלכת אנגליה על פועלו בכריית נתונים) "אם המצב מסובך מאד ונהיה יותר ויותר מורכב ומסובך, אין ברירה, צריך לעשות אותו ...פשוט". אגב, הוא ייחס את האמרה לפילוסוף קארל פופר, אך לא מצאתי לכך סימוכין.
מאחורי האלגוריתם החדש יש לא מעט התכתשויות תיאורטיות. הרחבתי קצת בדף הפרויקט "Philosophy of Data Science review for big-data analytics", למי שמתענין ואולי רוצה לתרום את דעתו, זה ב:
www.researchgate.net/project/Philosophy-...r-big-data-analytics
