בעשור האחרון התפתח תחום ה- BI ותפס תאוצה מירבית. המון כלי BI התפתחו כדוגמת DataStage ,Informatica,,SSIS ,Astera וכן כלי דו"חות כגון Panorama, Cognos, SSRS, Crystal Report, Buisness Object
ב- 20 השנים האחרונות התפתח גם תחום ה- QA, ופותחו מתודולוגיות כגון : STP,STD,STR.
התפתחו גם כלים אוטומטים (שהבולטים בהם כיום הם QTP,LoadRunner, ( (Selenium ותסריטי בדיקות ידניות (שלרוב מאופינות ומורצות בעזרת הכלי Quality Center). אולם האם בדיקות נתונים מתאימים להשתלבות לפי המתודולוגיות המסורתיות ?
הבדיקות הנפוצות הן בדיקות תהליך ETL שבו משווים את נתוני שדות היעד.
סוגי הבדיקות ב- DWH ו BI:
.
כלומר בזמן פיתוח ה- ETL, הבודק צריך להכין תוכניות בדיקות שהכיוון התאמת תוצאת ערך השדה ביעד לטיוב שמופעל על המקור. מכאן שתהליך הבדיקות הוא ביצוע פיתוח שמתחיל בכיוון הסופי ומשוה מול נתוני המקור המטוייבים.
לכן מתודולוגית הבדיקות שנוצרו עבור בדיקות אפליקטיביות וכן כלי הבדיקות הידניות והאוטומטיות אינן מתאימות ואף מסרבלות את תהליך הבדיקות.
טענה זו מקבלת משנה תוקף כאשר מתבצעות בדיקות עבור עולם ה – OLAP שבו יש להקפיד על הכללים הבאים שאינם תמיד חשופים למהנדסי הבדיקות:
לפיכך כדי שאיכות הבדיקות תדביק את איכות הפיתוח חובה לפתח מתודולוגית בדיקות אוניברסלית ל- BI. מפליא שעד כה הדבר עדיין לא נעשה.
יש BI שדג בבריכות של הארגון, ויש שיוצא לאוקיאנוס. פעם חשבתי שאלה הם עולמות נפרדים. בינתיים שטפון הנתונים התחיל להביא לתוך הארגון חיות ים וסחף עשיר. בתנאים החדשים של שטפון אחד גדול, הבריכות נהיו כמו האוקיאנוס, וכדי להשתלט עליהם אי אפשר לבצע ETL. נראה לי שצריך להחליט כל אחד לעצמו, מה מעדיפים - חיים שיטתיים עם יבול קטן, או דוג ככל יכולתך עם סיכוי ליבול מפתיע בגדול.