Verwenden von Batch Operations zur Aktivierung von S3 Bucket Keys für SSE-KMS

Abrufen der Liste von Objekten mithilfe von S3 Inventory

1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie im linken Navigationsbereich Buckets und wählen Sie einen Bucket aus, der Objekte enthält, die verschlüsselt werden sollen.

3. Navigieren Sie im Tab Verwaltung zu dem Abschnitt Inventory configurations (Bestands-Konfigurationen), und wählen Sie Create inventory configuration (Bestands-Konfiguration erstellen).

4. Geben Sie Ihrem neuen Bestand einen Namen, geben Sie den Namen des Ziel-S3-Buckets ein und erstellen Sie optional ein Zielpräfix für Amazon S3, um Objekte in diesem Bucket zuzuweisen.

5. Für das Ausgabeformat wählen Sie CSV.

6. (Optional) Wählen Sie im Abschnitt Zusätzliche Felder – optional die Option Verschlüsselung und alle anderen für Sie interessanten Listenfelder aus. Legen Sie die Häufigkeit für die Berichterstattung auf Daily (Täglich), damit der erste Bericht früher an Ihren Bucket geliefert wird.

7. Wählen Sie Save (Speichern) aus, um die Konfiguration zu speichern.

So filtern Sie Ihren S3-Bestandsbericht mithilfe von S3 Select

1. Öffnen Siemanifest.json-Datei aus Ihrem Bestandsbericht und schauen Sie sich den fileSchema-Abschnitt des JSON an. Dadurch wird die Abfrage informiert, die Sie für die Daten ausführen.

   Der folgende JSON ist eine Beispiels-manifest.json-Datei für einen CSV-formatierten Bestand in einem Bucket mit aktivierter Versionierung. Je nachdem, wie Sie Ihren Bestandsbericht konfiguriert haben, sieht Ihr Manifest möglicherweise anders aus.

     {
       "sourceBucket": "batchoperationsdemo",
       "destinationBucket": "arn:aws:s3:::amzn-s3-demo-destination-bucket",
       "version": "2021-05-22",
       "creationTimestamp": "1558656000000",
       "fileFormat": "CSV",
       "fileSchema": "Bucket, Key, VersionId, IsLatest, IsDeleteMarker, BucketKeyStatus",
       "files": [
         {
           "key": "demoinv/batchoperationsdemo/DemoInventory/data/009a40e4-f053-4c16-8c75-6100f8892202.csv.gz",
           "size": 72691,
           "MD5checksum": "c24c831717a099f0ebe4a9d1c5d3935c"
         }
       ]
     }

   Wenn die Versionierung für den Bucket nicht aktiviert ist oder wenn Sie den Bericht für die neuesten Versionen ausführen möchten, ist die fileSchema Bucket, Key, und BucketKeyStatus.

   Wenn die Versionsverwaltung aktiviert ist, beinhaltet das fileSchema je nach der Einrichtung des Bestandsberichts möglicherweise Folgendes: Bucket, Key, VersionId, IsLatest, IsDeleteMarker, BucketKeyStatus. Achten Sie also auf die Spalten 1, 2, 3 und 6, wenn Sie Ihre Abfrage ausführen.

   S3 Batch Operations benötigt den Bucket, den Schlüssel und die Versions-ID als Eingabe, um den Auftrag auszuführen, zusätzlich zu dem Feld, nach dem gesucht werden soll, nämlich BucketKeyStatus. Das VersionID-Feld wird nicht benötigt. Diese Angabe ist jedoch hilfreich, wenn Sie mit einem versionierten Bucket arbeiten. Weitere Informationen finden Sie unter Arbeiten mit Objekten in einem versioning-fähigen Bucket.

2. Suchen Sie die Datendateien für den Bestandsbericht. Das manifest.json-Objekt listet die Datendateien unter files (Dateien) auf.

3. Klicken Sie nach dem Suchen und Auswählen der Datendatei in der S3-Konsole auf Actions (Aktionen) und wählen Sie dann Query with S3 Select (Abfragen mit S3 Select).

4. Bewahren Sie die Voreinstellung CSV, Komma, und GZIP ausgewählt, und wählen Sie Next (Weiter).

5. Um das Format Ihres Bestands zu überprüfen, bevor Sie fortfahren, wählen Sie Show file preview (Dateivorschau anzeigen).

6. Geben Sie die Spalten, auf die Sie verweisen möchten, in das SQL-Ausdruck-Feld ein und wählen Sie Run SQL (SQL ausführen) aus. Der folgende Ausdruck gibt die Spalten 1 bis 3 für alle Objekte zurück, die keinen S3-Bucket-Schlüssel konfiguriert haben.

   select s._1, s._2, s._3 from s3object s where s._6 = 'DISABLED'

   Nachfolgend sehen Sie einige Beispielergebnisse.

         batchoperationsdemo,0100059%7Ethumb.jpg,lsrtIxksLu0R0ZkYPL.LhgD5caTYn6vu
         batchoperationsdemo,0100074%7Ethumb.jpg,sd2M60g6Fdazoi6D5kNARIE7KzUibmHR
         batchoperationsdemo,0100075%7Ethumb.jpg,TLYESLnl1mXD5c4BwiOIinqFrktddkoL
         batchoperationsdemo,0200147%7Ethumb.jpg,amufzfMi_fEw0Rs99rxR_HrDFlE.l3Y0
         batchoperationsdemo,0301420%7Ethumb.jpg,9qGU2SEscL.C.c_sK89trmXYIwooABSh
         batchoperationsdemo,0401524%7Ethumb.jpg,ORnEWNuB1QhHrrYAGFsZhbyvEYJ3DUor
         batchoperationsdemo,200907200065HQ%7Ethumb.jpg,d8LgvIVjbDR5mUVwW6pu9ahTfReyn5V4
         batchoperationsdemo,200907200076HQ%7Ethumb.jpg,XUT25d7.gK40u_GmnupdaZg3BVx2jN40
         batchoperationsdemo,201103190002HQ%7Ethumb.jpg,z.2sVRh0myqVi0BuIrngWlsRPQdb7qOS

7. Laden Sie die Ergebnisse herunter, speichern Sie sie in einem CSV-Format und laden Sie sie als Liste der Objekte für den S3-Batchoperations-Auftrag in Amazon S3 hoch.

8. Wenn Sie mehrere Manifestdateien haben, führen Sie auch auf diesen Query with S3 Select (Abfragen mit S3 Select) aus. Abhängig von der Größe der Ergebnisse können Sie die Listen kombinieren und einen einzelnen Auftrag für S3-Batch-Vorgänge ausführen oder jede Liste als separater Auftrag ausführen. Betrachten Sie den Preis für jede Ausführung eines S3-Batch-Operations-Auftrags, wenn Sie die Anzahl der auszuführenden Aufträge festlegen.

1. Öffnen Sie unter https://console.aws.amazon.com/iam/ die IAM-Konsole.

2. Wählen Sie im linken Navigationsbereich Richtlinien und anschließend Richtlinie erstellen aus.

3. Wählen Sie den Tab JSON. Klicken Sie auf Edit policy (Richtlinie bearbeiten) und fügen Sie die Beispielrichtlinie für IAM hinzu, die im folgenden Codeblock angezeigt wird.

   Ersetzen Sie nach dem Kopieren des Richtlinienbeispiels in Ihre IAM-Konsole Folgendes:

   1. Ersetzen Sie amzn-s3-demo-source-bucket mit dem Namen Ihres Quell-Buckets, aus dem Objekte kopiert werden sollen.

   2. Ersetzen Sie amzn-s3-demo-destination-bucket mit dem Namen Ihres Ziel-Buckets, in den Objekte kopiert werden sollen.

   3. Ersetzen Sie amzn-s3-demo-manifest-bucket/manifest-key durch den Namen Ihres Manifest-Objekts.

   4. Ersetzen Sie amzn-s3-demo-completion-report-bucket mit dem Namen des Buckets, in dem Sie Ihre Abschlussberichte speichern möchten.

     {
       "Version": "2012-10-17",
       "Statement": [
         {
           "Sid": "CopyObjectsToEncrypt",
           "Effect": "Allow",
           "Action": [
             "s3:PutObject",
             "s3:PutObjectTagging",
             "s3:PutObjectAcl",
             "s3:PutObjectVersionTagging",
             "s3:PutObjectVersionAcl",
             "s3:GetObject",
             "s3:GetObjectAcl",
             "s3:GetObjectTagging",
             "s3:GetObjectVersion",
             "s3:GetObjectVersionAcl",
             "s3:GetObjectVersionTagging"
           ],
           "Resource": [
             "arn:aws:s3:::amzn-s3-demo-source-bucket/*",
             "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
           ]
         },
         {
           "Sid": "ReadManifest",
           "Effect": "Allow",
           "Action": [
             "s3:GetObject",
             "s3:GetObjectVersion"
           ],
           "Resource": "arn:aws:s3:::amzn-s3-demo-manifest-bucket/manifest-key"
         },
         {
           "Sid": "WriteReport",
           "Effect": "Allow",
           "Action": [
             "s3:PutObject"
           ],
           "Resource": "arn:aws:s3:::amzn-s3-demo-completion-report-bucket/*"
         }
       ]
     }

4. Wählen Sie Weiter: Tags aus.

5. Wählen Sie alle gewünschten Markierungen aus (optional) und wählen Sie Next: Review (Weiter: Überprüfung).

6. Geben Sie einen Namen und optional eine Beschreibung für die Richtlinie an und wählen Sie dann Richtlinie erstellen aus.

7. Wählen Sie Review policy (Richtlinie überprüfen) aus und klicken Sie anschließend auf Save changes (Änderungen speichern).

8. Wenn Ihre S3-Batchoperations-Richtlinie jetzt abgeschlossen ist, bringt die Konsole Sie zur Seite der IAM-Richtlinien zurück. Markieren Sie den Richtliniennamen, klicken Sie auf die Schaltfläche links neben dem Richtliniennamen und wählen Sie Policy actions (Richtlinienaktionen), und dann Attach (Hinzufügen).

   Um die neu erstellte Richtlinie einer IAM-Rolle zuzuordnen, wählen Sie die entsprechenden Benutzer, Gruppen oder Rollen in Ihrem Konto aus und wählen Sie Attach policy (Richtlinie anfügen) aus. Das bringt Sie zurück zur IAM-Konsole.

1. Klicken Sie im Navigationsbereich der IAM-Konsole auf Rollen und wählen Sie dann Rolle erstellen aus.

2. Wählen Sie AWS-Service, S3 und S3 Batch Operations. Wählen Sie dann Next: Permissions aus.

3. Beginnen Sie mit der Eingabe des Namens der IAM-Richtlinie, die Sie soeben erstellt haben. Aktivieren Sie das Kontrollkästchen nach dem Richtliniennamen, wenn es angezeigt wird, und wählen Sie Next: Markierungen (Weiter: Markierungen).

4. (Optional) Fügen Sie Markierungen hinzu, oder lassen Sie die Schlüssel- und Wertefelder für diese Übung leer. Klicken Sie auf Next: Review (Weiter: Prüfen).

5. Geben Sie einen Rollennamen ein, akzeptieren Sie die Standard-Beschreibung oder fügen Sie eine eigene hinzu. Wählen Sie Create role aus.

6. Stellen Sie sicher, dass der Benutzer, der den Auftrag erstellt, über die Berechtigungen im folgenden Beispiel verfügt.

   Ersetzen Sie account-id durch Ihre AWS-Konto -ID und IAM-role-name durch den Namen, den Sie auf die IAM-Rolle anwenden möchten, die Sie später während der Auftragserstellung in Batch Operations erstellen werden. Weitere Informationen finden Sie unter Gewähren von Berechtigungen für Batchoperationen.

               {
               "Sid": "AddIamPermissions",
               "Effect": "Allow",
               "Action": [
               "iam:GetRole",
               "iam:PassRole"
               ],
               "Resource": "arn:aws:iam::account-id:role/IAM-role-name"
               }

1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie in der Liste Buckets den Bucket aus, für den Sie einen S3-Bucket-Schlüssel aktivieren möchten.

3. Wählen Sie Properties (Eigenschaften).

4. Wählen Sie unter Default encryption (Standard-Verschlüsselung) Edit (Bearbeiten) aus.

5. Unter Verschlüsselungstyp können Sie zwischen Von Amazon S3 verwalteten Schlüsseln (SSE-S3) und AWS Key Management Service -Schlüsseln (SSE-KMS) wählen.

6. Wenn Sie unter AWS Key Management Service Schlüssel (SSE-KMS) ausgewählt haben AWS KMS key, können Sie den AWS KMS Schlüssel über eine der folgenden Optionen angeben.

   • Wenn Sie aus einer Liste verfügbarer KMS-Schlüssel auswählen möchten, wählen Sie Aus Ihren AWS KMS -Schlüsseln wählen aus. Wählen Sie in der Liste verfügbarer Schlüssel einen KMS-Schlüssel mit symmetrischer Verschlüsselung aus, der sich in derselben Region wie Ihr Bucket befindet. Sowohl der AWS verwaltete Schlüssel (aws/s3) als auch Ihre vom Kunden verwalteten Schlüssel werden in der Liste angezeigt.

   • Um den KMS-Schlüssel-ARN einzugeben, wählen Sie AWS KMS Schlüssel-ARN eingeben und geben Sie dann Ihren KMS-Schlüssel-ARN in das angezeigte Feld ein.

   • Um einen neuen vom Kunden verwalteten Schlüssel in der AWS KMS Konsole zu erstellen, wählen Sie Create a KMS Key aus.

7. Unter Bucket Key (Bucket-Schlüssel), wählen Sie Enable (Aktivieren) und dann Save changes (Änderungen speichern) aus.

1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie im Navigationsbereich die Option Batch Operations (Batch-Vorgänge) und dann Create Job (Auftrag erstellen).

3. Wählen Sie die Region, in der Sie Ihre Objekte speichern und wählen Sie CSV als Manifest-Typ.

4. Geben Sie den Pfad ein, oder navigieren Sie zu der CSV-Manifestdatei, die Sie zuvor aus Ergebnisse von S3 Select (oder Athena) erstellt haben. Wenn Ihr Manifest eine Version enthält IDs, wählen Sie dieses Feld aus. Wählen Sie Next.

5. Wählen Sie die Copy-Operation und wählen Sie den Ziel-Bucket für den Kopiervorgang aus. Sie können serverseitige Verschlüsselung deaktiviert lassen. Solange S3 Bucket-Schlüssel für den Ziel-Bucket aktiviert ist, wendet der Kopiervorgang S3 Bucket-Schlüssel auf den Ziel-Bucket an.

6. (Optional) Wählen Sie nach Bedarf eine Speicherklasse und die anderen Parameter aus. Die in diesem Schritt angegebenen Parameter gelten für alle Vorgänge, die an den im Manifest aufgeführten Objekten ausgeführt werden. Wählen Sie Weiter.

7. Gehen Sie zum Konfigurieren der serverseitigen Verschlüsselung wie folgt vor:

   1. Wählen Sie unter Serverseitige Verschlüsselung eine der folgenden Optionen aus:

      • Um die Bucket-Einstellungen für die serverseitige Standardverschlüsselung von Objekten beizubehalten, wenn sie in Amazon S3 gespeichert werden, wählen Sie Keinen Verschlüsselungsschlüssel angeben aus. Solange S3-Bucket-Schlüssel für den Ziel-Bucket aktiviert sind, wendet der Kopiervorgang S3-Bucket-Schlüssel auf den Ziel-Bucket an.

        Anmerkung

        Wenn die Bucket-Richtlinie für das angegebene Ziel vorschreibt, dass Objekte verschlüsselt werden müssen, bevor sie in Amazon S3 gespeichert werden, müssen Sie einen Verschlüsselungsschlüssel angeben. Andernfalls schlägt das Kopieren von Objekten in das Ziel fehl.

      • Um Objekte zu verschlüsseln, bevor sie in Amazon S3 gespeichert werden, wählen Sie Verschlüsselungsschlüssel angeben aus.

   2. Wenn Sie unter Verschlüsselungseinstellungen die Option Verschlüsselungsschlüssel angeben auswählen, müssen Sie entweder Verwenden von Ziel-Bucket-Einstellungen für die Standardverschlüsselung oder Überschreiben der Ziel-Bucket-Einstellungen für die Standardverschlüsselung auswählen.

   3. Wenn Sie Überschreiben der Ziel-Bucket-Einstellungen für die Standardverschlüsselung auswählen, müssen Sie die folgenden Verschlüsselungseinstellungen konfigurieren.

      1. Unter Verschlüsselungstyp müssen Sie entweder Von Amazon S3 verwaltete Schlüssel (SSE-S3) oder AWS Key Management Service -Schlüssel (SSE-KMS) auswählen. SSE-S3 verwendet für die Verschlüsselung der einzelnen Objekte eine der stärksten Blockverschlüsselungen: 256-bit Advanced Encryption Standard (AES-256). Mit SSE-KMS erhalten Sie mehr Kontrolle über Ihren Schlüssel. Weitere Informationen erhalten Sie unter Verwenden serverseitiger Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3) und Verwenden der serverseitigen Verschlüsselung mit AWS KMS Schlüsseln (SSE-KMS).

      2. Wenn Sie AWS Key Management Service -Schlüssel (SSE-KMS) auswählen, können Sie unter AWS KMS key mithilfe einer der folgenden Optionen Ihren AWS KMS key angeben.

         • Um aus einer Liste verfügbarer KMS-Schlüssel auszuwählen, wählen Sie Wählen Sie aus Ihrem AWS KMS keys und wählen Sie dann einen KMS-Schlüssel mit symmetrischer Verschlüsselung in derselben Region wie Ihr Bucket aus. Sowohl der AWS verwaltete Schlüssel (aws/s3) als auch Ihre vom Kunden verwalteten Schlüssel werden in der Liste angezeigt.

         • Um den KMS-Schlüssel-ARN einzugeben, wählen Sie Enter AWS KMS key ARN und geben Sie Ihren KMS-Schlüssel-ARN in das angezeigte Feld ein.

         • Um einen neuen vom Kunden verwalteten Schlüssel in der AWS KMS Konsole zu erstellen, wählen Sie Create a KMS Key aus.

      3. Wählen Sie unter Bucket Key (Bucket-Schlüssel) die Option Enable (Aktivieren). Die Copy-Operation wendet einen S3-Bucket-Schlüssel auf den Ziel-Bucket an.

8. Geben Sie Ihrem Job eine Beschreibung (oder behalten Sie die Standardeinstellung bei), legen Sie die Prioritätsstufe fest, wählen Sie einen Berichtstyp aus und geben Sie den Pfad zum Ziel des Fertigstellungsberichts an.

9. Stellen Sie im Abschnitt Permissions (Berechtigungen) sicher, dass Sie die IAM-Rolle für Batch-Vorgänge auswählen, die Sie zuvor definiert haben. Wählen Sie Next.

10. Überprüfen Sie die Einstellungen unter Review (Überprüfen). Wenn Sie Änderungen vornehmen müssen, wählen Sie Previous (Vorherige) aus. Nachdem Sie die Einstellungen für Batch-Vorgänge bestätigt haben, wählen Sie Create Job (Auftrag erstellen).

    Weitere Informationen finden Sie unter Erstellen eines S3-Batch-Vorgangsauftrags.

1. Klicken Sie auf die Aktualisierungs-Schaltfläche in der Amazon S3-Konsole, um den Fortschritt zu überprüfen. Abhängig von der Größe des Manifests kann das Lesen Minuten oder Stunden dauern.

2. Nachdem S3 das Manifest des Auftrags gelesen hat, wechselt der Auftrag in den Zustand Awaiting your confirmation (Wartet auf Ihre Bestätigung). Klicken Sie auf die Options-Schaltfläche links neben der Auftrags-ID und wählen Sie Run job (Auftrag ausführen).

3. Wählen Sie die Einstellungen für den Auftrag aus und wählen Sie in der unteren rechten Ecke des Fensters Run job (Auftrag ausführen) aus.

   Nachdem der Auftrag ausgeführt wird, können Sie die Schaltfläche Aktualisieren auswählen, um den Fortschritt über die Dashboard-Ansicht der Konsole zu überprüfen oder den bestimmten Auftrag auszuwählen.

4. Wenn der Auftrag abgeschlossen wurde, können Sie die Successful (erfolgreichen) und Failed (fehlgeschlagenen) Objektzählungen anzeigen, um zu bestätigen, dass alles wie erwartet ausgeführt wurde. Wenn Sie Auftragsberichte aktiviert haben, überprüfen Sie Ihren Auftragsbericht auf die genaue Ursache für fehlgeschlagene Vorgänge.

   Sie können diese Schritte auch mithilfe der AWS CLI AWS SDKs, oder Amazon S3 S3-REST-API ausführen. Weitere Informationen zum Nachverfolgen von Auftragsstatus- und Abschlussberichten finden Sie unter Verfolgen von Auftragsstatus- und Abschluss.