בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים

פורסם על ידי ב ב קטגוריה ראשית
  • גודל פונט: Larger Smaller
  • Hits: 39364
  • 1 תגובה
  • עשו מנוי לעדכונים מהבלוג
  • Print

בעשור האחרון התפתח תחום ה- BI ותפס תאוצה מירבית. המון כלי BI התפתחו כדוגמת DataStage ,Informatica,,SSIS ,Astera וכן כלי דו"חות כגון Panorama, Cognos, SSRS, Crystal Report, Buisness Object

ב- 20 השנים האחרונות התפתח גם תחום ה- QA, ופותחו מתודולוגיות כגון : STP,STD,STR.

התפתחו גם כלים אוטומטים (שהבולטים בהם כיום הם QTP,LoadRunner, ( (Selenium ותסריטי בדיקות ידניות (שלרוב מאופינות ומורצות בעזרת הכלי Quality Center). אולם האם בדיקות נתונים מתאימים להשתלבות לפי המתודולוגיות המסורתיות ?

הבדיקות הנפוצות הן בדיקות תהליך ETL שבו משווים את נתוני שדות היעד.

סוגי הבדיקות ב- DWH ו BI:

  1. השוואת כמות אוכלוסיה בין טבלאות המקור ליעד.
  2. בדיקת גודל, סוג שדה ומבנה תנאים.
  3. בדיקות תנאים – שגויים ותנאי סינון.
  4. אכלוס נתונים לפי חוקי טעינה והמרה ,חישוב לפי נוסחאות, שדות תפעוליים שהתוספו לטבלאות היעד וכן טיפול במקרי קצה.
  5. שלמות נתונים – ספירה והשוואת כמות, סכומים, טעינת נתונים ונתונים היסטוריים (SCD).
  6. תקינות מפתחות.
  7. זמני ביצוע.
  8. בדיקה ויזואלית של סכימת ה- ERD ולודא שלא קיימים self join שלא על פי האפיון.
  9. שמות ותאורים לאוביקטים – שמות משמעותיים, פורמט מובנה לכל האוביקטים והפילטרים, ההגדרות העסקיות המפורטות באפיון מיושמות.
  10. בדיקות אינטגרצה.
  11. בדיקת חשיפה והחבאה של אוביקטים.
  12. אגריגציה.
  13. התאמה עם טבלאות הפיענוח.

.

כלומר בזמן פיתוח ה- ETL, הבודק צריך להכין תוכניות בדיקות שהכיוון התאמת תוצאת ערך השדה ביעד לטיוב שמופעל על המקור. מכאן שתהליך הבדיקות הוא ביצוע פיתוח שמתחיל בכיוון הסופי ומשוה מול נתוני המקור המטוייבים.

לכן מתודולוגית הבדיקות שנוצרו עבור בדיקות אפליקטיביות וכן כלי הבדיקות הידניות והאוטומטיות אינן מתאימות ואף מסרבלות את תהליך הבדיקות.

טענה זו מקבלת משנה תוקף כאשר מתבצעות בדיקות עבור עולם ה – OLAP שבו יש להקפיד על הכללים הבאים שאינם תמיד חשופים למהנדסי הבדיקות:

  1. בדיקה ויזואלית של סכימת ה- ERD ולודא שלא קיימים self join שלא על פי האפיון.
  2. שמות ותאורים לאוביקטים – שמות משמעותיים, פורמט מובנה לכל האוביקטים והפילטרים, ההגדרות העסקיות המפורטות באפיון מיושמות.
  3. בדיקות אינטגרצה.
  4. בדיקת חשיפה והחבאה של אוביקטים.
  5. אגריגציה.
  6. התאמה עם טבלאות הפיענוח.

לפיכך כדי שאיכות הבדיקות תדביק את איכות הפיתוח חובה לפתח מתודולוגית בדיקות אוניברסלית ל- BI. מפליא שעד כה הדבר עדיין לא נעשה.

תגובות

  • Edith Ohri
    Edith Ohri חמישי, 29 אוקטובר 2015

    יש BI שדג בבריכות של הארגון, ויש שיוצא לאוקיאנוס. פעם חשבתי שאלה הם עולמות נפרדים. בינתיים שטפון הנתונים התחיל להביא לתוך הארגון חיות ים וסחף עשיר. בתנאים החדשים של שטפון אחד גדול, הבריכות נהיו כמו האוקיאנוס, וכדי להשתלט עליהם אי אפשר לבצע ETL. נראה לי שצריך להחליט כל אחד לעצמו, מה מעדיפים - חיים שיטתיים עם יבול קטן, או דוג ככל יכולתך עם סיכוי ליבול מפתיע בגדול.

    השם ביטול

כיתבו תגובה

Guest שני, 12 אפריל 2021

הדף שלנו בפייסבוק

מעניין? שתפו דף זה באמצעות הטלפון הנייד

חדש בפורומים

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
תגובות (1)
פורסם על ידי אפרת ב 12 ספטמבר 2016
SSIS - Buffer Size Optimization
קטגוריה ראשית
תגובות (4)
פורסם על ידי Amit Aharon ב 22 מרס 2015
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
תגובות (1)
פורסם על ידי Ron ב 16 נובמבר 2014
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
תגובות (2)
פורסם על ידי Ron ב 04 נובמבר 2014
כח המידע במיקוד
קטגוריה ראשית
0
תגובות (1)
פורסם על ידי Ron ב 03 נובמבר 2014

Microsoft

Oracle

IBM

Informatica

Sap

SAS

Qlikview

Cloudera

Machine Learning