Verwenden von BigQuery als Quelle für AWS SCT - AWS Schema Conversion Tool
Privilegien für BigQuery Verbindung BigQuery als Quelle herstellenBigQueryEinschränkungenBigQueryzu Amazon Redshift-KonvertierungseinstellungenBigQueryzu den Einstellungen für die Konvertierungsoptimierung von Amazon Redshift

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden von BigQuery als Quelle für AWS SCT

Sie können AWS SCT es verwenden, um Schemas, Codeobjekte und Anwendungscode von Amazon Redshift BigQuery nach Amazon Redshift zu konvertieren.

Rechte für BigQuery als Quelle

Um ein BigQuery Data Warehouse als Quelle in zu verwendenAWS SCT, erstellen Sie ein Servicekonto. In Google Cloud verwenden Anwendungen Dienstkonten, um autorisierte API-Aufrufe zu tätigen. Dienstkonten unterscheiden sich von Benutzerkonten. Weitere Informationen finden Sie unter Dienstkonten in der Google Cloud Identity and Access Management-Dokumentation.

Stellen Sie sicher, dass Sie Ihrem Dienstkonto die folgenden Rollen zuweisen:

  • BigQuery Admin

  • Storage Admin

Die BigQuery Admin Rolle bietet Berechtigungen zur Verwaltung aller Ressourcen innerhalb des Projekts. AWS SCTverwendet diese Rolle, um Ihre BigQuery Metadaten in das Migrationsprojekt zu laden.

Die Storage Admin Rolle gewährt die volle Kontrolle über Datenobjekte und Buckets. Sie finden diese Rolle unterCloud Storage. AWS SCTverwendet diese Rolle, um Ihre Daten aus Amazon Redshift zu extrahieren BigQuery und sie dann in Amazon Redshift zu laden.

Um eine Schlüsseldatei für ein Dienstkonto zu erstellen

  1. Melden Sie sich bei der Google Cloud-Managementkonsole unter https://console.cloud.google.com/ an.

  2. Wählen Sie auf der BigQueryAPI-Seite die Option Aktivieren aus. Überspringen Sie diesen Schritt, wenn API aktiviert angezeigt wird.

  3. Wählen Sie auf der Seite Dienstkonten Ihr Projekt aus und klicken Sie dann auf Dienstkonto erstellen.

  4. Geben Sie auf der Seite mit den Servicekontodetails einen beschreibenden Wert für den Dienstkontonamen ein. Wählen Sie Erstellen und fahren Sie fort. Die Seite Diesem Dienstkonto Zugriff auf das Projekt gewähren wird geöffnet.

  5. Wählen Sie für „Rolle auswählen“ BigQuerydie Option und dann BigQueryAdmin aus.

  6. Wählen Sie Weitere Rolle hinzufügen. Wählen Sie für Select a role die Option Cloud Storage und dann Storage Admin aus.

  7. Wählen Sie Weiter und dann Fertig.

  8. Wählen Sie auf der Seite Dienstkonten das Dienstkonto aus, das Sie erstellt haben.

  9. Wählen Sie Schlüssel und wählen Sie dann Neuen Schlüssel erstellen für Schlüssel hinzufügen aus.

  10. Wählen Sie JSON und dann Erstellen aus. Wählen Sie den Ordner zum Speichern Ihres privaten Schlüssels oder wählen Sie den Standardordner für Downloads in Ihrem Browser.

Verwenden Sie den Google Cloud Storage-Bucket-Ordner, AWS SCT um BigQuery Daten aus einem Data Warehouse zu extrahieren. Erstellen Sie diesen Bucket, bevor Sie mit der Datenmigration beginnen. Geben Sie im Dialogfeld „Lokale Aufgabe erstellen“ den Pfad zu Ihrem Google Cloud Storage-Bucket-Ordner ein. Weitere Informationen finden Sie unter Eine AWS SCT Aufgabe erstellen, ausführen und überwachen.

Verbindung BigQuery als Quelle herstellen

Gehen Sie wie folgt vor, um mit dem eine Verbindung zu Ihrem BigQuery Quellprojekt herzustellenAWS Schema Conversion Tool.

So stellen Sie eine Verbindung zu einem BigQuery Quell-Data Warehouse her

  1. Wählen Sie in der AWS Schema Conversion Tool Quelle hinzufügen aus.

  2. Wählen Sie BigQueryund dann Weiter.

    Das Dialogfeld Quelle hinzufügen wird angezeigt.

  3. Geben Sie unter Verbindungsname einen Namen für Ihr BigQuery Projekt ein. AWS SCTzeigt diesen Namen in der Baumstruktur im linken Bereich an.

  4. Geben Sie unter Schlüsselpfad den Pfad zur Schlüsseldatei des Dienstkontos ein. Weitere Hinweise zum Erstellen dieser Datei finden Sie unterRechte für BigQuery als Quelle.

  5. Wählen Sie Verbindung testen, um zu überprüfen, ob eine Verbindung zu Ihrem BigQuery Quellprojekt hergestellt werden AWS SCT kann.

  6. Wählen Sie Verbinden, um eine Verbindung zu Ihrem BigQuery Quellprojekt herzustellen.

Einschränkungen bei der Verwendung BigQuery als Quelle für AWS SCT

Die folgenden Einschränkungen gelten bei der Verwendung BigQuery als Quelle fürAWS SCT:

  • AWS SCTunterstützt nicht die Konvertierung von Unterabfragen in analytische Funktionen.

  • Sie können keine SELECT AS VALUE Anweisungen AWS SCT zum Umrechnen BigQuery SELECT AS STRUCT verwenden.

  • AWS SCTunterstützt die Konvertierung der folgenden Funktionstypen nicht:

    • Ungefähre Summe

    • Bit

    • Debugging

    • Verbundabfrage

    • Geografie

    • Hash

    • Mathematisch

    • Netto

    • Statistisches Aggregat

    • UUID

  • AWS SCTbietet eingeschränkte Unterstützung für die Konvertierung von Zeichenkettenfunktionen.

  • AWS SCTunterstützt die Konvertierung von UNNEST Operatoren nicht.

  • Sie können korrelierte Join-Operationen nicht in AWS SCT konvertieren.

  • AWS SCTunterstützt die Konvertierung vonQUALIFY, WINDOWLIMIT, und OFFSET -Klauseln nicht.

  • Sie können rekursive allgemeine Tabellenausdrücke nicht verwendenAWS SCT.

  • AWS SCTunterstützt nicht die Konvertierung von INSERT Anweisungen mit Unterabfragen innerhalb von VALUES Klauseln.

  • AWS SCTunterstützt die Konvertierung von UPDATE Anweisungen für verschachtelte Felder und wiederholte Datensätze nicht.

  • Sie können ARRAY Datentypen nicht AWS SCT STRUCT zum Konvertieren verwenden.

BigQueryzu Amazon Redshift-Konvertierungseinstellungen

Um die Konvertierungseinstellungen von Amazon Redshift BigQuery zu bearbeiten, wählen Sie Einstellungen in AWS SCT und dann Konvertierungseinstellungen. Wählen Sie in der oberen Liste Google BigQuery und dann Google BigQuery — Amazon Redshift aus. AWS SCTzeigt alle verfügbaren Einstellungen für die BigQuery Konvertierung in Amazon Redshift an.

BigQueryDie Konvertierungseinstellungen zu Amazon Redshift AWS SCT beinhalten Optionen für Folgendes:

  • Um die Anzahl der Kommentare mit Aktionselementen im konvertierten Code zu begrenzen.

    Wählen Sie unter Kommentare im konvertierten Code für die Aktionspunkte mit dem ausgewählten Schweregrad und höher den Schweregrad der Aktionspunkte aus. AWS SCTfügt dem konvertierten Code Kommentare für Aktionspunkte mit dem ausgewählten Schweregrad und höher hinzu.

    Um beispielsweise die Anzahl der Kommentare in Ihrem konvertierten Code zu minimieren, wählen Sie Nur Fehler aus. Um Kommentare zu allen Aktionselementen in Ihren konvertierten Code aufzunehmen, wählen Sie Alle Nachrichten.

  • Um die maximale Anzahl von Tabellen festzulegen, die für Ihren Amazon Redshift-Zielcluster gelten AWS SCT können.

    Wählen Sie unter Die maximale Anzahl von Tabellen für den Amazon Redshift-Cluster die Anzahl der Tabellen aus, die für Ihren Amazon Redshift-Cluster gelten AWS SCT können.

    Amazon Redshift verfügt über Kontingente, die die Verwendung von Tabellen für verschiedene Cluster-Knotentypen einschränken. Wenn Sie Auto wählen, AWS SCT bestimmt es je nach Knotentyp die Anzahl der Tabellen, die auf Ihren Amazon Redshift-Ziel-Cluster angewendet werden sollen. Wählen Sie den Wert optional manuell aus. Weitere Informationen finden Sie unter Kontingente und Limits in Amazon Redshift im Verwaltungshandbuch zu Amazon Redshift.

    AWS SCTkonvertiert alle Ihre Quelltabellen, auch wenn dies mehr ist, als Ihr Amazon Redshift-Cluster speichern kann. AWS SCTspeichert den konvertierten Code in Ihrem Projekt und wendet ihn nicht auf die Zieldatenbank an. Wenn Sie bei der Anwendung des konvertierten Codes das Amazon Redshift-Cluster-Kontingent für die Tabellen erreichen, wird eine Warnmeldung AWS SCT angezeigt. AWS SCTWendet Tabellen außerdem auf Ihren Amazon Redshift-Zielcluster an, bis die Anzahl der Tabellen das Limit erreicht.

  • Um die Komprimierung auf Amazon Redshift-Tabellenspalten anzuwenden. Wählen Sie dazu die Option Kompressionskodierung verwenden aus.

    AWS SCTweist Spalten mithilfe des standardmäßigen Amazon Redshift-Algorithmus automatisch eine Kompressionskodierung zu. Weitere Informationen finden Sie unter Kompressionskodierungen im Amazon Redshift Database Developer Guide.

    Standardmäßig wendet Amazon Redshift keine Komprimierung auf Spalten an, die als Sortier- und Verteilungsschlüssel definiert sind. Sie können dieses Verhalten ändern und die Komprimierung auf diese Spalten anwenden. Wählen Sie dazu die Option Kompressionskodierung für KEY-Spalten verwenden aus. Sie können diese Option nur auswählen, wenn Sie die Option Kompressionskodierung verwenden ausgewählt haben.

BigQueryzu den Einstellungen für die Konvertierungsoptimierung von Amazon Redshift

Um die Einstellungen für die Konversionsoptimierung von Amazon Redshift BigQuery zu bearbeiten, wählen Sie Einstellungen in AWS SCT und dann Konvertierungseinstellungen. Wählen Sie in der oberen Liste Google BigQuery und dann Google BigQuery — Amazon Redshift aus. Wählen Sie im linken Bereich Optimierungsstrategien aus. AWS SCTzeigt die Einstellungen zur Konvertierungsoptimierung für BigQuery die Konvertierung in Amazon Redshift an.

BigQueryZu den Einstellungen für die Konvertierungsoptimierung zu Amazon Redshift AWS SCT gehören Optionen für Folgendes:

  • Um mit der automatischen Tabellenoptimierung zu arbeiten. Wählen Sie dazu die automatische Tabellenoptimierung von Amazon Redshift verwenden aus.

    Die automatische Tabellenoptimierung ist ein Selbstoptimierungsprozess in Amazon Redshift, der das Design von Tabellen automatisch optimiert. Weitere Informationen finden Sie unter Arbeiten mit automatischer Tabellenoptimierung im Amazon Redshift Database Developer Guide.

    Wenn Sie sich nur auf die automatische Tabellenoptimierung verlassen möchten, wählen Sie „Keine“ als Strategie für die anfängliche Schlüsselauswahl aus.

  • Um die Sortier- und Verteilungsschlüssel anhand Ihrer Strategie auszuwählen.

    Sie können mithilfe von Amazon Redshift-Metadaten, statistischen Informationen oder diesen beiden Optionen Sortier- und Verteilungsschlüssel auswählen. Wählen Sie auf der Registerkarte Optimierungsstrategien für die erste Schlüsselauswahlstrategie eine der folgenden Optionen aus:

    • Metadaten verwenden, statistische Informationen ignorieren

    • Metadaten ignorieren, statistische Informationen verwenden

    • Verwenden Sie Metadaten und statistische Informationen

    Je nachdem, welche Option Sie wählen, können Sie Optimierungsstrategien auswählen. Geben Sie dann für jede Strategie den Wert (0—100) ein. Diese Werte definieren das Gewicht jeder Strategie. AWS SCTDefiniert anhand dieser Gewichtungswerte, wie sich jede Regel auf die Wahl der Verteilungs- und Sortierschlüssel auswirkt. Die Standardwerte basieren auf den bewährten Methoden für die AWS Migration.

    Sie können die Größe kleiner Tabellen für die Strategie Kleine Tabellen finden definieren. Geben Sie für Min. Tabellenzeilenanzahl und Max. Tabellenzeilenanzahl die minimale und maximale Anzahl von Zeilen in einer Tabelle ein, um sie als kleine Tabelle zu definieren. AWS SCTwendet den ALL Verteilungsstil auf kleine Tabellen an. In diesem Fall wird eine Kopie der gesamten Tabelle an jeden Knoten verteilt.

  • Um Strategiedetails zu konfigurieren.

    Sie können nicht nur das Gewicht für jede Optimierungsstrategie definieren, sondern auch die Optimierungseinstellungen konfigurieren. Wählen Sie dazu Konversionsoptimierung.

    • Geben Sie im Feld Sortierschlüsselspaltenlimit die maximale Anzahl von Spalten in den Sortierschlüssel ein.

    • Geben Sie für schiefen Schwellenwert den Prozentsatz (0—100) eines schiefen Werts für eine Spalte ein. AWS SCTschließt Spalten, deren Verzerrungswert größer als der Schwellenwert ist, aus der Liste der Kandidaten für den Verteilungsschlüssel aus. AWS SCTdefiniert den schiefen Wert für eine Spalte als das prozentuale Verhältnis der Anzahl der Vorkommen des häufigsten Werts zur Gesamtzahl der Datensätze.

    • Geben Sie für die Top-N-Abfragen aus der Tabelle mit dem Abfrageverlauf die Anzahl (1—100) der am häufigsten zu analysierenden Abfragen ein.

    • Wählen Sie unter Statistikbenutzer auswählen den Datenbankbenutzer aus, für den Sie die Abfragestatistiken analysieren möchten.

    Auf der Registerkarte Optimierungsstrategien können Sie auch die Größe kleiner Tabellen für die Strategie Kleine Tabellen suchen definieren. Geben Sie für Minimale Tabellenzeilenanzahl und Maximale Tabellenzeilenanzahl die minimale und maximale Anzahl von Zeilen in einer Tabelle ein, um sie als kleine Tabelle zu betrachten. AWS SCTwendet den ALL Verteilungsstil auf kleine Tabellen an. In diesem Fall wird eine Kopie der gesamten Tabelle an jeden Knoten verteilt.