בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
בעשור האחרון התפתח תחום ה- BI ותפס תאוצה מירבית. המון כלי BI התפתחו כדוגמת DataStage ,Informatica,,SSIS ,Astera וכן כלי דו"חות כגון Panorama, Cognos, SSRS, Crystal Report, Buisness Object
ב- 20 השנים האחרונות התפתח גם תחום ה- QA, ופותחו מתודולוגיות כגון : STP,STD,STR.
התפתחו גם כלים אוטומטים (שהבולטים בהם כיום הם QTP,LoadRunner, ( (Selenium ותסריטי בדיקות ידניות (שלרוב מאופינות ומורצות בעזרת הכלי Quality Center). אולם האם בדיקות נתונים מתאימים להשתלבות לפי המתודולוגיות המסורתיות ?
הבדיקות הנפוצות הן בדיקות תהליך ETL שבו משווים את נתוני שדות היעד.
סוגי הבדיקות ב- DWH ו BI:
- השוואת כמות אוכלוסיה בין טבלאות המקור ליעד.
- בדיקת גודל, סוג שדה ומבנה תנאים.
- בדיקות תנאים – שגויים ותנאי סינון.
- אכלוס נתונים לפי חוקי טעינה והמרה ,חישוב לפי נוסחאות, שדות תפעוליים שהתוספו לטבלאות היעד וכן טיפול במקרי קצה.
- שלמות נתונים – ספירה והשוואת כמות, סכומים, טעינת נתונים ונתונים היסטוריים (SCD).
- תקינות מפתחות.
- זמני ביצוע.
- בדיקה ויזואלית של סכימת ה- ERD ולודא שלא קיימים self join שלא על פי האפיון.
- שמות ותאורים לאוביקטים – שמות משמעותיים, פורמט מובנה לכל האוביקטים והפילטרים, ההגדרות העסקיות המפורטות באפיון מיושמות.
- בדיקות אינטגרצה.
- בדיקת חשיפה והחבאה של אוביקטים.
- אגריגציה.
- התאמה עם טבלאות הפיענוח.
.
כלומר בזמן פיתוח ה- ETL, הבודק צריך להכין תוכניות בדיקות שהכיוון התאמת תוצאת ערך השדה ביעד לטיוב שמופעל על המקור. מכאן שתהליך הבדיקות הוא ביצוע פיתוח שמתחיל בכיוון הסופי ומשוה מול נתוני המקור המטוייבים.
לכן מתודולוגית הבדיקות שנוצרו עבור בדיקות אפליקטיביות וכן כלי הבדיקות הידניות והאוטומטיות אינן מתאימות ואף מסרבלות את תהליך הבדיקות.
טענה זו מקבלת משנה תוקף כאשר מתבצעות בדיקות עבור עולם ה – OLAP שבו יש להקפיד על הכללים הבאים שאינם תמיד חשופים למהנדסי הבדיקות:
- בדיקה ויזואלית של סכימת ה- ERD ולודא שלא קיימים self join שלא על פי האפיון.
- שמות ותאורים לאוביקטים – שמות משמעותיים, פורמט מובנה לכל האוביקטים והפילטרים, ההגדרות העסקיות המפורטות באפיון מיושמות.
- בדיקות אינטגרצה.
- בדיקת חשיפה והחבאה של אוביקטים.
- אגריגציה.
- התאמה עם טבלאות הפיענוח.
לפיכך כדי שאיכות הבדיקות תדביק את איכות הפיתוח חובה לפתח מתודולוגית בדיקות אוניברסלית ל- BI. מפליא שעד כה הדבר עדיין לא נעשה.
הדף שלנו בפייסבוק
מעניין? שתפו דף זה באמצעות הטלפון הנייד
אירועים קרובים
- מפגש: מבוא למודלים של לימוד מכונה (ינואר 20, 2021 14:00)
חדש בפורומים
-
-
- המשך לחוק מס' 4 במדע הנתונים -הקמת השערות ע"י...
- בתוך משתמשים כללים / DataMining
- 2 weeks 6 days ago
-
-
-
- מדוע מתעלמים מהפיל שבחדר
- בתוך משתמשים כללים / DataMining
- 1 month 1 week ago
-
-
-
- חוק מס' 20 במדע הנתונים החדש – מתמקד בחריגים
- בתוך משתמשים כללים / DataMining
- 1 month 3 weeks ago
-
-
-
- חוק מס' 21 במדע הנתונים החדש- חזוי עם מעט נתונים
- בתוך משתמשים כללים / DataMining
- 1 month 3 weeks ago
-
-
-
- פונקציה הפוכה לprevious
- בתוך משתמשים כללים / פורום business objects ביזנס אובג'קטס
- 2 months 5 days ago
-
יש BI שדג בבריכות של הארגון, ויש שיוצא לאוקיאנוס. פעם חשבתי שאלה הם עולמות נפרדים. בינתיים שטפון הנתונים התחיל להביא לתוך הארגון חיות ים וסחף עשיר. בתנאים החדשים של שטפון אחד גדול, הבריכות נהיו כמו האוקיאנוס, וכדי להשתלט עליהם אי אפשר לבצע ETL. נראה לי שצריך להחליט כל אחד לעצמו, מה מעדיפים - חיים שיטתיים עם יבול קטן, או דוג ככל יכולתך עם סיכוי ליבול מפתיע בגדול.