Stellen Sie von SageMaker Studio oder Studio Classic aus eine Connect zu einem EMR Amazon-Cluster her - Amazon SageMaker
Stellen Sie über die Studio-Benutzeroberfläche eine Verbindung herConnect mithilfe eines Verbindungsbefehls eine Verbindung herConnect über HTTPS

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Stellen Sie von SageMaker Studio oder Studio Classic aus eine Connect zu einem EMR Amazon-Cluster her

Datenwissenschaftler und Dateningenieure können direkt von der Studio-Benutzeroberfläche aus einen EMR Amazon-Cluster erkennen und sich dann mit ihm verbinden. Bevor Sie beginnen, stellen Sie sicher, dass Sie die erforderlichen Berechtigungen wie im Schritt 4: Richten Sie die Berechtigungen ein, um das Auflisten und Starten von EMR Amazon-Clustern von Studio aus zu ermöglichen Abschnitt beschrieben konfiguriert haben. Diese Berechtigungen gewähren Studio die Möglichkeit, Cluster zu erstellen, zu starten, anzuzeigen, darauf zuzugreifen und sie zu beenden.

Sie können einen EMR Amazon-Cluster direkt über die Studio-Benutzeroberfläche mit einem neuen JupyterLab Notebook verbinden oder die Verbindung in einem Notizbuch einer laufenden JupyterLab Anwendung initiieren.

Wichtig

Sie können nur EMR Amazon-Cluster für und Studio Classic-Anwendungen erkennen JupyterLab und eine Verbindung zu diesen herstellen, die von privaten Bereichen aus gestartet werden. Stellen Sie sicher, dass sich die EMR Amazon-Cluster in derselben AWS Region wie Ihre Studio-Umgebung befinden. Ihr JupyterLab Bereich muss eine SageMaker Distributions-Image-Version 1.10 oder höher verwenden.

Stellen Sie über die Studio-Benutzeroberfläche eine Verbindung zu einem EMR Amazon-Cluster her

Um über die Benutzeroberfläche von Studio oder Studio Classic eine Verbindung zu Ihrem Cluster herzustellen, können Sie entweder über die Liste der Cluster, auf die zugegriffen wirdEMRAmazon-Cluster von Studio oder Studio Classic auflisten, oder über ein Notizbuch in SageMaker Studio oder Studio Classic eine Verbindung herstellen.

So verbinden Sie einen EMR Amazon-Cluster über die Studio-Benutzeroberfläche mit einem neuen JupyterLab Notizbuch:

  1. Wählen Sie im linken Bereich der Studio-Benutzeroberfläche im linken Navigationsmenü den Knoten Daten aus. Navigieren Sie nach unten zu EMRAmazon-Anwendungen und -Clustern. Daraufhin wird eine Seite mit den EMR Amazon-Clustern geöffnet, auf die Sie von Studio aus auf der Registerkarte EMRAmazon-Cluster zugreifen können.

    Anmerkung

    Wenn Sie oder Ihr Administrator die Berechtigungen so konfiguriert haben, dass sie den kontoübergreifenden Zugriff auf EMR Amazon-Cluster ermöglichen, können Sie eine konsolidierte Liste der Cluster für alle Konten anzeigen, denen Sie Zugriff auf Studio gewährt haben.

  2. Wählen Sie einen EMR Amazon-Cluster aus, den Sie mit einem neuen Notebook verbinden möchten, und wählen Sie dann Attach to notebook aus. Dadurch wird ein modales Fenster geöffnet, in dem die Liste Ihrer JupyterLab Spaces angezeigt wird.

    • Wählen Sie den Bereich aus, von dem aus Sie eine JupyterLab Anwendung starten möchten, und wählen Sie dann Notizbuch öffnen. Dadurch wird eine JupyterLab Anwendung aus dem ausgewählten Bereich gestartet und ein neues Notizbuch geöffnet.

      Anmerkung

      Benutzer von Studio Classic müssen ein Image und einen Kernel auswählen. Eine Liste der unterstützten Images finden Sie unter Unterstützte Images und Kernel für die Verbindung zu einem EMR Amazon-Cluster von Studio oder Studio Classic oder unter Bring Your on.

    • Alternativ können Sie einen neuen privaten Bereich erstellen, indem Sie oben im modalen Fenster auf die Schaltfläche Neuen Bereich erstellen klicken. Geben Sie einen Namen für Ihren Bereich ein und wählen Sie dann Bereich erstellen und Notizbuch öffnen. Dadurch wird ein privater Bereich mit dem Standard-Instanztyp und dem neuesten verfügbaren SageMaker Distributions-Image erstellt, eine JupyterLab Anwendung gestartet und ein neues Notizbuch geöffnet.

  4. Wenn der von Ihnen ausgewählte Cluster keine Kerberos- oder Runtime-Rollenauthentifizierung verwendetLDAP, werden Sie von Studio aufgefordert, den Anmeldeinformationstyp auszuwählen. Sie können zwischen HTTP-Basisauthentifizierung oder Keine Anmeldeinformationen wählen und dann ggf. Ihre Anmeldeinformationen eingeben.

    Wenn der von Ihnen ausgewählte Cluster Runtime-Rollen unterstützt, wählen Sie den Namen der IAM Rolle, die Ihr EMR Amazon-Cluster für die Jobausführung übernehmen kann.

    Wichtig

    Um ein JupyterLab Notebook erfolgreich mit einem EMR Amazon-Cluster zu verbinden, der Runtime-Rollen unterstützt, müssen Sie zunächst die Liste der Runtime-Rollen mit Ihrer Domain oder Ihrem Benutzerprofil verknüpfen, wie unter beschriebenIAMRuntime-Rollen für den EMR Amazon-Cluster-Zugriff in Studio konfigurieren . Wenn Sie diesen Schritt nicht abschließen, können Sie die Verbindung nicht herstellen.

    Nach der Auswahl füllt ein Verbindungsbefehl die erste Zelle Ihres Notebooks und initiiert die Verbindung mit dem EMR Amazon-Cluster.

    Sobald die Verbindung hergestellt wurde, bestätigt eine Meldung die Verbindung und den Start der Spark-Anwendung.

Alternativ können Sie von einem Notebook JupyterLab oder einem Studio Classic-Notebook aus eine Verbindung zu einem Cluster herstellen.

  1. Wählen Sie die Cluster-Schaltfläche oben in Ihrem Notizbuch. Dadurch wird ein modales Fenster geöffnet, in dem die EMR Amazon-Cluster in einem Running Status aufgeführt sind, auf den Sie zugreifen können. Sie können die Running EMR Amazon-Cluster auf der Registerkarte EMRAmazon-Cluster sehen.

    Anmerkung

    Für Benutzer von Studio Classic ist Cluster nur sichtbar, wenn Sie einen Kernel von Unterstützte Images und Kernel für die Verbindung zu einem EMR Amazon-Cluster von Studio oder Studio Classic oder von verwendenBring Your on. Wenn Sie oben in Ihrem Notebook nicht Cluster sehen können, vergewissern Sie sich, dass Ihr Administrator die Auffindbarkeit Ihrer Cluster konfiguriert hat, und wechseln Sie zu einem unterstützten Kernel.

  2. Wählen Sie den Cluster aus, zu dem Sie eine Verbindung herstellen möchten, und wählen Sie dann Verbinden aus.

  3. Wenn Sie Ihre EMR Amazon-Cluster für die Unterstützung von IAMRuntime-Rollen konfiguriert haben, können Sie Ihre Rolle aus dem Drop-down-Menü EMRAmazon-Ausführungsrolle auswählen.

    Wichtig

    Um ein JupyterLab Notebook erfolgreich mit einem EMR Amazon-Cluster zu verbinden, der Runtime-Rollen unterstützt, müssen Sie zunächst die Liste der Runtime-Rollen mit Ihrer Domain oder Ihrem Benutzerprofil verknüpfen, wie unter beschriebenIAMRuntime-Rollen für den EMR Amazon-Cluster-Zugriff in Studio konfigurieren . Wenn Sie diesen Schritt nicht abschließen, können Sie die Verbindung nicht herstellen.

    Andernfalls, wenn der von Ihnen gewählte Cluster keine Kerberos- oder Runtime-Rollenauthentifizierung verwendetLDAP, werden Sie von Studio oder Studio Classic aufgefordert, den Anmeldeinformationstyp auszuwählen. Sie können HTTPStandardauthentifizierung oder Keine Anmeldeinformationen wählen.

  4. Studio fügt einer aktiven Zelle einen Codeblock hinzu und führt ihn anschließend aus, um die Verbindung herzustellen. Dieses Feld enthält den Befehl Connection Magic, mit dem Sie Ihr Notebook entsprechend Ihrem Authentifizierungstyp mit Ihrer Anwendung verbinden können.

    Sobald die Verbindung hergestellt wurde, bestätigt eine Meldung die Verbindung und den Start der Spark-Anwendung.

Connect Sie mithilfe eines Verbindungsbefehls eine Verbindung zu einem EMR Amazon-Cluster her

Um eine Verbindung zu einem EMR Amazon-Cluster herzustellen, können Sie Verbindungsbefehle innerhalb einer Notebook-Zelle ausführen.

Beim Herstellen der Verbindung können Sie sich mit Kerberos, Lightweight Directory Access Protocol (LDAP) oder der IAMRuntime-Rollenauthentifizierung authentifizieren. Welche Authentifizierungsmethode Sie wählen, hängt von Ihrer Clusterkonfiguration ab.

In diesem Beispiel können Sie auf Apache Livy zugreifen, indem Sie einen Network Load Balancer auf einem Kerberos-fähigen EMR Amazon-Cluster verwenden, um einen Amazon-Cluster einzurichten, der die Kerberos-Authentifizierung EMR verwendet. Alternativ können Sie sich die CloudFormation Beispielvorlagen mit Kerberos oder Authentifizierung im aws-samples/ Repository ansehen. LDAP sagemaker-studio-emr GitHub

Wenn Ihr Administrator den kontoübergreifenden Zugriff aktiviert hat, können Sie von einem Studio Classic-Notebook aus eine Verbindung zu Ihrem EMR Amazon-Cluster herstellen, unabhängig davon, ob sich Ihre Studio Classic-Anwendung und Ihr Cluster im selben AWS Konto oder in unterschiedlichen Konten befinden.

Verwenden Sie für jeden der folgenden Authentifizierungstypen den angegebenen Befehl, um von Ihrem Studio- oder Studio Classic-Notebook aus eine Verbindung zu Ihrem Cluster herzustellen.

  • Kerberos

    Hängen Sie das --assumable-role-arn Argument an, wenn Sie kontoübergreifenden EMR Amazon-Zugriff benötigen. Hängen Sie das --verify-certificate Argument an, wenn Sie mit eine Verbindung zu Ihrem Cluster herstellen. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Kerberos --language python 
[--assumable-role-arn EMR_access_role_ARN ] 
[--verify-certificate /home/user/certificateKey.pem]

  • LDAP

    Hängen Sie das --assumable-role-arn Argument an, wenn Sie kontoübergreifenden EMR Amazon-Zugriff benötigen. Hängen Sie das --verify-certificate Argument an, wenn Sie mit eine Verbindung zu Ihrem Cluster herstellen. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access --language python 
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]

  • NoAuth

    Hängen Sie das --assumable-role-arn Argument an, wenn Sie kontoübergreifenden EMR Amazon-Zugriff benötigen. Hängen Sie das --verify-certificate Argument an, wenn Sie mit eine Verbindung zu Ihrem Cluster herstellen. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type None --language python
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]

  • Runtime-Rollen IAM

    Hängen Sie das --assumable-role-arn Argument an, wenn Sie kontoübergreifenden EMR Amazon-Zugriff benötigen. Hängen Sie das --verify-certificate Argument an, wenn Sie mit eine Verbindung zu Ihrem Cluster herstellen. HTTPS

    Weitere Informationen zum Herstellen einer Verbindung zu einem EMR Amazon-Cluster mithilfe von IAM Runtime-Rollen finden Sie unterIAMRuntime-Rollen für den EMR Amazon-Cluster-Zugriff in Studio konfigurieren .

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access \
--emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
[--assumable-role-arn EMR_access_role_ARN]
[--verify-certificate /home/user/certificateKey.pem]

Stellen Sie eine Connect zu einem EMR Amazon-Cluster her über HTTPS

Wenn Sie Ihren EMR Amazon-Cluster mit aktivierter Transitverschlüsselung und Apache Livy-Server für konfiguriert haben HTTPS und möchten, dass Studio oder Studio Classic EMR mit Amazon kommuniziertHTTPS, müssen Sie Studio oder Studio Classic für den Zugriff auf Ihren Zertifikatsschlüssel konfigurieren.

Bei selbstsignierten oder von einer lokalen Zertifizierungsstelle (CA) signierten Zertifikaten können Sie dies in zwei Schritten tun:

  1. Laden Sie die PEM Datei Ihres Zertifikats mithilfe einer der folgenden Optionen in Ihr lokales Dateisystem herunter:

  2. Aktivieren Sie die Validierung des Zertifikates, indem Sie im Argument --verify-certificate Ihres Verbindungsbefehls den Pfad zu Ihrem Zertifikat angeben.

    %sm_analytics emr connect --cluster-id cluster_id \
--verify-certificate /home/user/certificateKey.pem ...

Für Zertifikate, die von einer öffentlichen Zertifizierungsstelle ausgestellt wurden, legen Sie die Validierung des Zertifikates fest, indem Sie den --verify-certificate Parameter auf true setzen.

Alternativ können Sie die Validierung von Zertifikaten abschalten, indem Sie den --verify-certificate Parameter auf false setzen.

Die Liste der verfügbaren Verbindungsbefehle zu einem EMR Amazon-Cluster finden Sie unterConnect Sie mithilfe eines Verbindungsbefehls eine Verbindung zu einem EMR Amazon-Cluster her.