Aktivieren, dass der Anforderer Amazon S3 S3-Buckets in Athena für Spark bezahlt - Amazon Athena
Schritt 1: Aktivieren Sie die Zahlung durch den Antragsteller für einen Amazon S3 S3-Bucket und fügen Sie eine Bucket-Richtlinie hinzuSchritt 2: Erstellen Sie eine IAM Richtlinie und fügen Sie sie einer IAM Rolle hinzuSchritt 3: Fügen Sie eine Sitzungseigenschaft von Athena for Spark hinzu

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Aktivieren, dass der Anforderer Amazon S3 S3-Buckets in Athena für Spark bezahlt

Wenn ein Amazon-S3-Bucket mit Zahlung durch den Anforderer konfiguriert ist, werden die mit der Abfrage verbundenen Datenzugriffs- und Datenübertragungsgebühren dem Konto des Benutzers, der die Abfrage ausführt, belastet. Weitere Informationen finden Sie unter Verwendung von Anforderer zahlt Buckets für Speicherübertragungen und -nutzung im Amazon-S3-Benutzerhandbuch.

In Athena für Spark sind kostenpflichtige Buckets pro Sitzung aktiviert, nicht pro Arbeitsgruppe. Auf einer höheren Ebene umfasst die Aktivierung von Anforderer zahlt Buckets die folgenden Schritte:

  1. Aktivieren Sie in der Amazon-S3-Konsole, dass der Antragsteller für die Eigenschaften des Buckets bezahlt, und fügen Sie eine Bucket-Richtlinie hinzu, um den Zugriff festzulegen.

  2. Erstellen Sie in der IAM Konsole eine IAM Richtlinie, die den Zugriff auf den Bucket ermöglicht, und fügen Sie die Richtlinie dann der IAM Rolle hinzu, die für den Zugriff auf den Bucket verwendet wird, der vom Antragsteller bezahlt wird.

  3. Fügen Sie in Athena für Spark eine Sitzungseigenschaft hinzu, um das Feature Anforderer zahlt Buckets zu aktivieren.

Schritt 1: Aktivieren Sie die Zahlung durch den Antragsteller für einen Amazon S3 S3-Bucket und fügen Sie eine Bucket-Richtlinie hinzu

So aktivieren Sie die Zahlung durch den Anforderer für einen Amazon-S3-Bucket

  1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

  2. Wählen Sie in der Liste Buckets den Link des Buckets aus, für den Sie die Zahlung durch den Anforderer aktivieren möchten.

  3. Wählen Sie auf der Seite für Ihren Bucket die Registerkarte Eigenschaften aus.

  4. Scrollen Sie nach unten zum Abschnitt Anforderer zahlt und wählen Sie anschließend Bearbeiten aus.

  5. Wählen Sie auf der Seite Anforderer zahlt die Option Aktivieren und anschließend Änderungen speichern aus.

  6. Wählen Sie die Registerkarte Berechtigungen.

  7. Wählen Sie im Abschnitt Bucket-Richtlinie die Option Bearbeiten aus.

  8. Wenden Sie auf der Seite Bucket-Richtlinie bearbeiten die gewünschte Bucket-Richtlinie auf den Quell-Bucket an. Die folgende Beispielrichtlinie ermöglicht den Zugriff auf alle AWS principals ("AWS": "*"), aber Ihr Zugriff kann detaillierter sein. Beispielsweise möchten Sie möglicherweise nur eine bestimmte IAM Rolle in einem anderen Konto angeben.

    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Statement1",
            "Effect": "Allow",
            "Principal": {
                "AWS": "*"
            },
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::account_number-us-east-1-my-s3-requester-pays-bucket",
                "arn:aws:s3:::account_number-us-east-1-my-s3-requester-pays-bucket/*"
            ]
        }
    ]
}

Schritt 2: Erstellen Sie eine IAM Richtlinie und fügen Sie sie einer IAM Rolle hinzu

Als Nächstes erstellen Sie eine IAM Richtlinie, die den Zugriff auf den Bucket ermöglicht. Dann fügen Sie die Richtlinie der Rolle zu, die für den Zugriff auf den Anforderer-zahlt-Bucket verwendet werden soll.

Um eine IAM Richtlinie für den Bereich „Anforderer zahlt“ zu erstellen und die Richtlinie einer Rolle zuzuordnen

  1. Öffnen Sie die IAM Konsole unter. https://console.aws.amazon.com/iam/

  2. Wählen Sie im Navigationsbereich der IAM Konsole die Option Richtlinien aus.

  3. Wählen Sie Create Policy (Richtlinie erstellen) aus.

  4. Wählen Sie JSON.

  5. Fügen Sie im Bucket-Richtlinieneditor eine Richtlinie, wie die folgende hinzu:

    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:*"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::account_number-us-east-1-my-s3-requester-pays-bucket",
                "arn:aws:s3:::account_number-us-east-1-my-s3-requester-pays-bucket/*"
            ]
        }
    ]
}

  6. Wählen Sie Weiter.

  7. Geben Sie auf der Seite Überprüfen und erstellen einen Namen und eine optionale Beschreibung für die Richtlinie ein und wählen Sie anschließend Richtlinie erstellen aus.

  8. Wählen Sie im Navigationsbereich Rollen aus.

  9. Suchen Sie auf der Seite Rollen die Rolle, die Sie verwenden möchten, und wählen Sie dann den Link mit dem Rollennamen.

  10. Unter Berechtigungsrichtlinien im Abschnitt Berechtigungen hinzufügen wählen Sie Richtlinien anfügen aus.

  11. Aktivieren Sie im Abschnitt Andere Berechtigungsrichtlinien das Kontrollkästchen für die Richtlinie, die Sie erstellt haben, und wählen Sie dann Berechtigungen hinzufügen aus.

Schritt 3: Fügen Sie eine Sitzungseigenschaft von Athena for Spark hinzu

Nachdem Sie den Amazon-S3-Bucket und die zugehörigen Berechtigungen für Zahlungen durch den Antragsteller konfiguriert haben, können Sie das Feature in einer Athena-für-Spark-Sitzung aktivieren.

So aktivieren Sie Anforderer-zahlt-Buckets in einer Athena-für-Spark-Sitzung

  1. Wählen Sie im Notebook-Editor aus dem Menü Session (Sitzung) oben rechts die Option Edit session (Sitzung bearbeiten) aus.

  2. Erweitern Sie Spark-Eigenschaften.

  3. Wählen Sie Bearbeiten in JSON.

  4. Geben Sie im JSON Texteditor Folgendes ein:

    {
  "spark.hadoop.fs.s3.useRequesterPaysHeader":"true"
}

  5. Wählen Sie Save (Speichern) aus.