Eine BigQuery Verbindung herstellen

So konfigurieren Sie eine Verbindung zu BigQuery:

1. Erstellen und identifizieren Sie in der Google Cloud Platform relevante Ressourcen:

   • Erstellen oder identifizieren Sie ein GCP-Projekt, das BigQuery Tabellen enthält, zu denen Sie eine Verbindung herstellen möchten.

   • Aktivieren Sie die BigQuery API. Weitere Informationen finden Sie unter Verwenden der BigQuery Storage Read API zum Lesen von Tabellendaten.

2. Erstellen und exportieren Sie in Google Cloud Platform Anmeldeinformationen für ein Dienstkonto:

   Sie können den BigQuery Anmeldeinformations-Assistenten verwenden, um diesen Schritt zu beschleunigen: Anmeldeinformationen erstellen.

   Folgen Sie der Anleitung unter Dienstkonten erstellen, um ein Dienstkonto in GCP zu erstellen.

   • Wählen Sie bei der Auswahl eines Projekts das Projekt aus, das Ihre BigQuery Tabelle enthält.

   • Wenn Sie GCP-IAM-Rollen für Ihr Dienstkonto auswählen, fügen Sie eine Rolle hinzu oder erstellen Sie eine Rolle, die die entsprechenden Berechtigungen zum Ausführen von BigQuery Aufträgen zum Lesen, Schreiben oder Erstellen BigQuery von Tabellen gewährt.

   Folgen Sie der Anleitung unter Einen Dienstkontoschlüssel erstellen, um Anmeldeinformationen für Ihr Dienstkonto zu erstellen.

   • Wählen Sie für den Schlüsseltyp JSON aus.

   Sie sollten jetzt eine JSON-Datei mit Anmeldeinformationen für Ihr Dienstkonto heruntergeladen haben. Das sollte bei Ihnen ähnlich wie im folgenden Bild aussehen:

   {
     "type": "service_account",
     "project_id": "*****",
     "private_key_id": "*****",
     "private_key": "*****",
     "client_email": "*****",
     "client_id": "*****",
     "auth_uri": "https://accounts.google.com/o/oauth2/auth",
     "token_uri": "https://oauth2.googleapis.com/token",
     "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
     "client_x509_cert_url": "*****",
     "universe_domain": "googleapis.com"
   }

3. Erstellen Sie unter mithilfe Ihrer heruntergeladenen Anmeldeinformationsdatei einen geheimen Schlüssel. AWS Secrets Manager Sie können die Registerkarte Klartext auswählen und den Inhalt der Datei im JSON-Format einfügen. Um ein Geheimnis in Secrets Manager zu erstellen, folgen Sie der Anleitung unter Create an AWS Secrets Manager Secret in der AWS Secrets Manager Dokumentation. Nachdem Sie das Geheimnis erstellt haben, behalten Sie den Namen des Geheimnisses secretName für den nächsten Schritt bei.

4. Erstellen Sie im AWS Glue Datenkatalog eine Verbindung, indem Sie die Schritte unter ausführenhttps://docs.aws.amazon.com/glue/latest/dg/console-connections.html. Behalten Sie nach dem Erstellen der Verbindung den Verbindungsnamen für den nächsten Schritt bei. connectionName

   • Wählen Sie bei der Auswahl eines Verbindungstyps Google aus BigQuery.

   • Geben Sie bei der Auswahl eines AWS Geheimnisses Folgendes ansecretName.

5. Erteilen Sie der IAM-Rolle, die Ihrem AWS Glue Job zugeordnet ist, die secretName Leseberechtigung.

6. Geben connectionName Sie in Ihrer AWS Glue Jobkonfiguration eine zusätzliche Netzwerkverbindung an.