none
Verbesserungsvorschläge für DTSX-Paket RRS feed

  • Frage

  • Hallo an alle,

    ich habe das Problem das ich einem Nachtjob im Bereich SSAS Diverse Dimensionen und Cubes laden will. Da es leider immer wieder zu Problemen kommt (leider sehr viele Probleme ;-) ) möchte ich das passende DTSX Paket intelligenter machen. 

    Meine Idee ist es jede Dimension bzw. Cube einzeln zu laden. Wenn das erfolgreich ist soll er dies als erfolgreich in eine Datenbank bzw. Tabelle schreiben. Ist dies nicht erfolgreich soll eine Mail versandt werden und zusätzlich ebenfalls ein Eintrag in die Datenbank bzw. Tabelle geschrieben werden. 

    Egal ob Erfolgreich er soll "weiterlaufen"! Ich will im Nachhinein nur noch einzelne Dimensionen oder Cubes neu laden. 

    Leider weiß ich nicht wie ich einen Fehlerstrang (rot) zum weiterlaufen bewegen kann. 

    Findet ihr die Idee gut oder gibt es schönere Wege? 

    Wenn sich jemand mit Parametern auskennt. Ich würde gern die Skripte (Insertskripte für Log) intelligenter machen. Soll heißen ich würde gern zb. vom Step "Artikel" den Namen für das Insertskript bzw. Mail nehmen. Kann hier jemand helfen?

    Ich freue mich auf eure Kritik bzw. Ratschläge. 

    Dienstag, 15. Februar 2022 20:17

Antworten

  • Bei uns (und vielen anderen) läuft DWH ETL so ab:

    - Laden der Dimensionsdaten
    - Laden der Fakten Daten
    - Ergänzen der Dimensionsdaten mit Keys aus den Fakten Daten, die in den Dimensionsdaten nicht vorhanden sind. Bei ordentlichen OLTP als Quelle sollte das nicht vorkommen, aber: Happens

    Um nur einen Ausfall in Teilbereichen in Kauf zu nehmen, sollen zu mindestens das verarbeitet werden was möglich ist. Die Fehlermeldungen sollen an die Verantwortlichen gesandt werden

    Dazu gibt in der Verarbeitungstask die Option, Dimensions-Fehler rigoros zu ignorieren und ebenfalls eine, um die Details in eine Datei protokollieren zu lassen.
    Nur darf sich dann keiner wundern, wenn Werte deswegen fehlen.

    Wie gesagt, besser es richtig machen, dann funktioniert es auch.


    Olaf Helper

    [ Blog] [ Xing] [ MVP]

    Donnerstag, 24. Februar 2022 07:58

Alle Antworten

  • Hallo,

    die Frage ist dermaßen wage, das man nicht wirklich darauf antworten kann.

    Wie wird geladen, welche Fehler treten auf, ect. da braucht es einfach detailliertere Information. So kann ich sonst nur antworten "mach es richtig, dann funktioniert es auch". Unser DWH & SSAS läuft jedenfalls reibungsfrei.


    Olaf Helper

    [ Blog] [ Xing] [ MVP]

    Mittwoch, 16. Februar 2022 06:50
  • hallo Olaf,

    ja das kann sein das es zu wage formuliert ist. Aber das lässt sich ja ändern ;-) 

    Wie wird geladen:

    Jede Nacht werden erstmal alle Daten ins DWH (strukturiert also klassische ETL-Strecke) geladen. Dann kann es noch zu gewollten Modifikationen kommen. Ende der Transformation werden die einzelnen Dimensionen für die Cubes aufgebaut. Leider ist es bisher nicht möglich zu prüfen ob der Datenimport sauber funktioniert. Von daher kann es passieren, das die Dimensionen und nachgelagert die Cubes nicht aufgebaut werden können. Das gilt aber eben nicht für alle Dimensionen bzw. Cubes. Um nur einen Ausfall in Teilbereichen in Kauf zu nehmen, sollen zu mindestens das verarbeitet werden was möglich ist. Die Fehlermeldungen sollen an die Verantwortlichen gesandt werden, damit dieses sich darum kümmern können. 

    Hilft dir das weiter?  

    Mittwoch, 16. Februar 2022 07:09
  • Hallo,

    um den Task "Debitor "im Erfolgs- oder im Fehlerfall auszuführen, musst Du die Rangfolgeneinschränkung als ODER definieren.

    Dazu markiere einen der Pfeile, die zum Task Debitor führen, öffne per Rechtsklick und "Bearbeiten" den Editor und wähle im unteren Bereich die Option "Logischer OR-Operator" aus.

    Gruß
    Bernd



    Bernd Jungbluth http://www.berndjungbluth.de http://www.sqlfaq.de/blog

    Mittwoch, 23. Februar 2022 13:46
  • Bei uns (und vielen anderen) läuft DWH ETL so ab:

    - Laden der Dimensionsdaten
    - Laden der Fakten Daten
    - Ergänzen der Dimensionsdaten mit Keys aus den Fakten Daten, die in den Dimensionsdaten nicht vorhanden sind. Bei ordentlichen OLTP als Quelle sollte das nicht vorkommen, aber: Happens

    Um nur einen Ausfall in Teilbereichen in Kauf zu nehmen, sollen zu mindestens das verarbeitet werden was möglich ist. Die Fehlermeldungen sollen an die Verantwortlichen gesandt werden

    Dazu gibt in der Verarbeitungstask die Option, Dimensions-Fehler rigoros zu ignorieren und ebenfalls eine, um die Details in eine Datei protokollieren zu lassen.
    Nur darf sich dann keiner wundern, wenn Werte deswegen fehlen.

    Wie gesagt, besser es richtig machen, dann funktioniert es auch.


    Olaf Helper

    [ Blog] [ Xing] [ MVP]

    Donnerstag, 24. Februar 2022 07:58
  • Hallo Olaf,

    wie immer eine sehr gute Antwort! Vielen Dank!

    Montag, 11. April 2022 12:41