Hey all,
I am loading archive tables (meaning mass gigs of data) using SQL transformation with only 1 session, this session loads 45 very large tables, using a manager table from SQL-Server for holding the name of the tables to archive.
the archive tables are loaded in Teradata DB.
The problem is that the process finishes to load all the 45 tables after 2.5 hours as expected (I know by the monitor of the Teradata Database) but the session is running until eternity, the last run it took 8.5 hours before I terminated the Session.
In another run I aborted the session after 5 hours and the data was not damaged, meaning, all of the data to archive transferred properly.
Another thing is that I am writing to a target log table and the session doesn't write a thing to the table. If I run the process on fewer amount of tables like 10 the process ends, depends on the size of the tables.
I would like to know what may cause this problem.
Thank you all
הי ניר,
על מנת לעזור בנושא הזה יש צורך בלוגים מטרה ואינפורמטיקה והרצה של התהליך באינפורמטיקה ב-VERBOSE DATA של התהליך
אליך לפנות לאמן כדי לבקש יועץ לתמיכה.
כמו כן האובייקט שמתאים לסוג טעינה שכזו זה לא SqlTransformation אלא PushDown שמבצע את התהליך בתוך TERA עם בקרות טובות יותר ופרלליזם רב יותר.
תודה אור,
בכל מקרה מדובר על תהליכים גנריים שלא ניתן לבנות להם מפה ב-pushdown כיוון שבכל ריצה התהליך מבצע טעינה דינמית, בכל פעם לטבלה אחרת לפי פרמטרים. זו הסיבה שאנחנו משתמשים באובייקט ה-SQL.
