Konvertierung SSIS zu mit AWS GlueAWS SCT

Um ein SSIS Paket zu konvertieren, AWS Glue verwenden AWS SCT

1. Erstellen Sie ein neues Projekt in AWS SCT oder öffnen Sie ein vorhandenes Projekt. Weitere Informationen finden Sie unter Projekte starten und verwalten in AWS SCT.

2. Wählen Sie im Menü die Option Quelle hinzufügen, um Ihrem Projekt ein neues SSIS Quellpaket hinzuzufügen.

3. Wählen Sie SQLServer Integration Services und gehen Sie wie folgt vor:

   • Verbindungsname — Geben Sie den Namen für Ihre Verbindung ein. AWS SCT zeigt diesen Namen in der Metadatenstruktur an.

   • SSISPaketordner — Wählen Sie den Pfad zu Ihrem SSIS Projektordner mit Paketen.

   AWS SCT liest die Projektdateien (Dateien mit den Erweiterungen .dtsx .conmgr oder.params) aus dem lokalen Ordner und analysiert sie. Anschließend werden sie in einem AWS SCT Kategorienbaum organisiert.

4. Wählen Sie im Menü die Option Ziel hinzufügen, um eine neue Zielplattform für die Konvertierung Ihrer SSIS Quellpakete hinzuzufügen.

5. Wählen Sie Folgendes aus AWS Glueund vervollständigen Sie es:

   • Verbindungsname — Geben Sie den Namen für Ihre Verbindung ein. AWS SCT zeigt diesen Namen in der Metadatenstruktur an.

   • Aus AWS Profil kopieren — Wählen Sie das zu verwendende Profil aus.

   • AWS Zugangsschlüssel — Geben Sie Ihren AWS Zugangsschlüssel ein.

   • AWS geheimer Schlüssel — Geben Sie Ihren AWS geheimen Schlüssel ein.

   • Region — Wählen Sie die Region AWS-Region , die Sie verwenden möchten, aus der Liste aus.

   • Amazon S3 S3-Bucket-Ordner — Geben Sie den Ordnerpfad für den Amazon S3 S3-Bucket ein, den Sie verwenden möchten.

   Sie können ein virtuelles AWS Glue Ziel verwenden. In diesem Fall müssen Sie die Verbindungsanmeldedaten nicht angeben. Weitere Informationen finden Sie unter Zuordnung zu virtuellen Zielen im AWS Schema Conversion Tool.

6. Erstellen Sie eine neue Zuordnungsregel, die Ihr SSIS Quellpaket und Ihr AWS Glue Ziel umfasst. Weitere Informationen finden Sie unter Zuordnung neuer Datentypen in der AWS Schema Conversion Tool.

7. Wählen Sie im Menü Ansicht die Option Hauptansicht aus.

8. Öffnen Sie in der SSIS Strukturansicht das Kontextmenü (Rechtsklick) für Verbindungs-Manager und wählen Sie dann Verbindungen konfigurieren.

9. Konfigurieren Sie den Projektverbindungsmanager.

   Um eine Verbindungszuordnung für SSIS Verbindungs-Manager zu konfigurieren, geben Sie die AWS Glue Verbindung für den entsprechenden SSIS Verbindungs-Manager an. Stellen Sie sicher, dass Ihre AWS Glue Verbindungen bereits erstellt wurden.

   1. Wählen Sie unter Verbindungen die Option Projektverbindungen aus.

   2. Wählen Sie für die Glue-Katalogverbindung die entsprechende AWS Glue Verbindung aus.

10. Konfigurieren Sie den Paketverbindungsmanager:

    1. Wählen Sie unter Verbindungen Ihr Paket aus.

    2. Wählen Sie für die Glue-Katalogverbindung die entsprechende AWS Glue Verbindung aus.

    3. Wiederholen Sie diese Aktionen für alle Verbindungen, die für Ihr Paket verfügbar sind.

11. Wählen Sie Apply (Anwenden) aus.

12. Konvertiere dein Paket. Suchen Sie in der Quellbaumansicht nach Paketen. Öffnen Sie das Kontextmenü (Rechtsklick) für Ihr Paket und wählen Sie dann Paket konvertieren.

13. Speichern Sie das konvertierte Skript in Amazon S3. Suchen Sie in der Zielstrukturansicht nach Paketskripten. Öffnen Sie das Kontextmenü (Rechtsklick) für Ihr konvertiertes Skript und wählen Sie dann In S3 speichern.

14. Konfigurieren Sie Ihren AWS Glue Job. Suchen Sie in der Zielstrukturansicht nach Paketskripten. Öffnen Sie das Kontextmenü (Rechtsklick) für Ihr konvertiertes Skript und wählen Sie dann AWS Glue Job konfigurieren.

15. Füllen Sie die drei Konfigurationsabschnitte aus:

    1. Füllen Sie den Abschnitt Datenfluss entwerfen aus:

       • Ausführungsstrategie — Wählen Sie aus, wie Ihr Job ETL Skripts ausführen soll. Wählen SEQUENTIALSie, ob die Skripts in der Reihenfolge ausgeführt werden sollen, die im Assistenten angegeben ist. Wählen PARALLELSie, ob die Skripts parallel ausgeführt werden sollen, ohne die im Assistenten angegebene Reihenfolge zu beachten.

       • Skripte — Wählen Sie den Namen Ihres konvertierten Skripts.

       • Wählen Sie Weiter.

    2. Füllen Sie den Abschnitt Auftragseigenschaften aus:

       • Name — Geben Sie den Namen Ihres AWS Glue Jobs ein.

       • IAMRolle — Wählen Sie die IAM Rolle aus, die für die Autorisierung von Ressourcen verwendet wird, die für die Ausführung des Jobs und den Zugriff auf Datenspeicher verwendet werden.

       • Name der Skriptdatei — Geben Sie den Namen Ihres konvertierten Skripts ein.

       • S3-Pfad der Skriptdatei — Geben Sie den Amazon S3 S3-Pfad zu Ihrem konvertierten Skript ein.

       • Skript mit SSE -S3 verschlüsseln — Wählen Sie diese Option, um Daten durch serverseitige Verschlüsselung mit von Amazon S3 verwalteten Verschlüsselungsschlüsseln (-S3) zu schützen. SSE

       • Temporäres Verzeichnis — Geben Sie den Amazon S3 S3-Pfad zu einem temporären Verzeichnis für Zwischenergebnisse ein. AWS Glue und AWS Glue integrierte Transformationen verwenden dieses Verzeichnis, um in Amazon Redshift zu lesen oder zu schreiben.

       • AWS SCT generiert automatisch den Pfad für Python-Bibliotheken. Sie können diesen Pfad unter Generierter Python-Bibliothekspfad überprüfen. Sie können diesen automatisch generierten Pfad nicht bearbeiten. Um zusätzliche Python-Bibliotheken zu verwenden, geben Sie den Pfad im Feld Benutzer-Python-Bibliothekspfad ein.

       • Benutzer-Python-Bibliothekspfad — Geben Sie die Pfade für zusätzliche Benutzer-Python-Bibliotheken ein. Trennen Sie Amazon S3 S3-Pfade durch Kommas.

       • Pfad für abhängige JAR-Dateien — Geben Sie die Pfade für abhängige JAR-Dateien ein. Trennen Sie Amazon S3 S3-Pfade durch Kommas.

       • Pfad der referenzierten Dateien — Geben Sie die Pfade für zusätzliche Dateien ein, z. B. Konfigurationsdateien, die für Ihr Skript erforderlich sind. Trennen Sie Amazon S3 S3-Pfade durch Kommas.

       • Maximale Kapazität — Geben Sie die maximale Anzahl von AWS Glue Datenverarbeitungseinheiten (DPUs) ein, die zugewiesen werden können, wenn dieser Job ausgeführt wird. Sie können eine Ganzzahl zwischen 2 und 100 eingeben. Der Standardwert ist 2.

       • Max. Parallelität — Geben Sie die maximale Anzahl gleichzeitiger Läufe ein, die für diesen Job zulässig sind. Die Standardeinstellung ist 1. AWS Glue gibt einen Fehler zurück, wenn dieser Schwellenwert erreicht ist.

       • Job-Timeout (Minuten) — Geben Sie den Timeout-Wert für Ihren ETL Job ein, um zu verhindern, dass Jobs außer Kontrolle geraten. Der Standardwert für Batchaufträge beträgt 2880 Minuten (48 Stunden). Wenn der Job dieses Limit überschreitet, ändert sich der Status der Auftragsausführung auf. TIMEOUT

       • Schwellenwert für Verzögerungsbenachrichtigungen (Minuten) — Geben Sie den Schwellenwert in Minuten ein, bevor eine Verzögerungsbenachrichtigung AWS SCT gesendet wird.

       • Anzahl der Wiederholungen — Geben Sie ein, wie oft (0—10) der Job automatisch neu gestartet werden AWS Glue soll, falls er fehlschlägt. Jobs, die das Timeout-Limit erreichen, werden nicht neu gestartet. Der Standardwert ist 0.

       • Wählen Sie Weiter.

    3. Konfigurieren Sie die erforderlichen Verbindungen:

       1. Wählen Sie unter Alle Verbindungen die erforderlichen AWS Glue Verbindungen aus und fügen Sie sie der Liste Ausgewählte Verbindungen hinzu.

       2. Wählen Sie Finish (Abschließen).

16. Erstellen Sie einen konfigurierten AWS Glue Job. Suchen und erweitern Sie in der Zielstrukturansicht ETLJobs. Öffnen Sie das Kontextmenü (Rechtsklick) für den ETL Job, den Sie konfiguriert haben, und wählen Sie dann AWS Glue Job erstellen.

17. Führen Sie den AWS Glue Job aus:

    1. Öffnen Sie die AWS Glue Konsole unter https://console.aws.amazon.com/glue/.

    2. Wählen Sie im Navigationsbereich die Option Jobs (Aufträge) aus.

    3. Wählen Sie Job hinzufügen und wählen Sie dann den Job aus, den Sie ausführen möchten.

    4. Wählen Sie auf der Registerkarte Aktionen die Option Job ausführen aus.