Verwenden von Batch-Operationen zur Aktivierung von S3-Bucket-Keys für SSE - KMS

Abrufen der Liste von Objekten mithilfe von S3 Inventory

1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie im linken Navigationsbereich Buckets und wählen Sie einen Bucket aus, der zu verschlüsselnde Objekte enthält.

3. Navigieren Sie im Tab Verwaltung zu dem Abschnitt Inventory configurationes (Bestands-Konfigurationen), und wählen Sie Create inventory configuration (Bestands-Konfiguration erstellen).

4. Geben Sie Ihrem neuen Bestand einen Namen, geben Sie den Namen des Ziel-S3-Buckets ein und erstellen Sie optional ein Zielpräfix für Amazon S3, um Objekte in diesem Bucket zuzuweisen.

5. Wählen Sie als Ausgabeformat. CSV

6. (Optional) Wählen Sie im Abschnitt Zusätzliche Felder – optional die Option Verschlüsselung und alle anderen für Sie interessanten Listenfelder aus. Legen Sie die Häufigkeit für die Berichterstattung auf Daily (Täglich), damit der erste Bericht früher an Ihren Bucket geliefert wird.

7. Wählen Sie Save (Speichern) aus, um die Konfiguration zu speichern.

So filtern Sie Ihren S3-Inventarbericht mithilfe von S3 Select

1. Öffnen Sie die manifest.json Datei aus Ihrem Inventarbericht und sehen Sie sich den fileSchema Abschnitt der anJSON. Dadurch wird die Abfrage informiert, die Sie für die Daten ausführen.

   Im Folgenden finden Sie JSON eine manifest.json Beispieldatei für ein Inventar im CSV -Format in einem Bucket mit aktivierter Versionierung. Je nachdem, wie Sie Ihren Bestandsbericht konfiguriert haben, sieht Ihr Manifest möglicherweise anders aus.

     {
       "sourceBucket": "batchoperationsdemo",
       "destinationBucket": "arn:aws:s3:::amzn-s3-demo-destination-bucket",
       "version": "2021-05-22",
       "creationTimestamp": "1558656000000",
       "fileFormat": "CSV",
       "fileSchema": "Bucket, Key, VersionId, IsLatest, IsDeleteMarker, BucketKeyStatus",
       "files": [
         {
           "key": "demoinv/batchoperationsdemo/DemoInventory/data/009a40e4-f053-4c16-8c75-6100f8892202.csv.gz",
           "size": 72691,
           "MD5checksum": "c24c831717a099f0ebe4a9d1c5d3935c"
         }
       ]
     }

   Wenn die Versionierung für den Bucket nicht aktiviert ist oder wenn Sie den Bericht für die neuesten Versionen ausführen möchten, ist die fileSchema Bucket, Key, und BucketKeyStatus.

   Wenn die Versionsverwaltung aktiviert ist, beinhaltet das fileSchema je nach der Einrichtung des Bestandsberichts möglicherweise Folgendes: Bucket, Key, VersionId, IsLatest, IsDeleteMarker, BucketKeyStatus. Achten Sie also auf die Spalten 1, 2, 3 und 6, wenn Sie Ihre Abfrage ausführen.

   S3 Batch Operations benötigt den Bucket, den Schlüssel und die Versions-ID als Eingabe, um den Auftrag auszuführen, zusätzlich zu dem Feld, nach dem gesucht werden soll, nämlich BucketKeyStatus. Sie benötigen das VersionID Feld nicht, aber es hilft, das Feld zu spezifizieren, wenn Sie mit einem versionierten Bucket arbeiten. VersionID Weitere Informationen finden Sie unter Arbeiten mit Objekten in einem versioning-fähigen Bucket.

2. Suchen Sie die Datendateien für den Bestandsbericht. Das manifest.json-Objekt listet die Datendateien unter files (Dateien) auf.

3. Klicken Sie nach dem Suchen und Auswählen der Datendatei in der S3-Konsole auf Actions (Aktionen) und wählen Sie dann Query with S3 Select (Abfragen mit S3 Select).

4. Lassen Sie die Voreinstellung CSV, das Komma und die GZIPFelder ausgewählt und wählen Sie Weiter.

5. Um das Format Ihres Bestands zu überprüfen, bevor Sie fortfahren, wählen Sie Show file preview (Dateivorschau anzeigen).

6. Geben Sie die Spalten, auf die verwiesen werden soll, in das SQL Ausdrucksfeld ein und wählen Sie „Ausführen SQL“. Der folgende Ausdruck gibt die Spalten 1 bis 3 für alle Objekte zurück, die keinen S3-Bucket-Schlüssel konfiguriert haben.

   select s._1, s._2, s._3 from s3object s where s._6 = 'DISABLED'

   Nachfolgend sehen Sie einige Beispielergebnisse.

         batchoperationsdemo,0100059%7Ethumb.jpg,lsrtIxksLu0R0ZkYPL.LhgD5caTYn6vu
         batchoperationsdemo,0100074%7Ethumb.jpg,sd2M60g6Fdazoi6D5kNARIE7KzUibmHR
         batchoperationsdemo,0100075%7Ethumb.jpg,TLYESLnl1mXD5c4BwiOIinqFrktddkoL
         batchoperationsdemo,0200147%7Ethumb.jpg,amufzfMi_fEw0Rs99rxR_HrDFlE.l3Y0
         batchoperationsdemo,0301420%7Ethumb.jpg,9qGU2SEscL.C.c_sK89trmXYIwooABSh
         batchoperationsdemo,0401524%7Ethumb.jpg,ORnEWNuB1QhHrrYAGFsZhbyvEYJ3DUor
         batchoperationsdemo,200907200065HQ%7Ethumb.jpg,d8LgvIVjbDR5mUVwW6pu9ahTfReyn5V4
         batchoperationsdemo,200907200076HQ%7Ethumb.jpg,XUT25d7.gK40u_GmnupdaZg3BVx2jN40
         batchoperationsdemo,201103190002HQ%7Ethumb.jpg,z.2sVRh0myqVi0BuIrngWlsRPQdb7qOS

7. Laden Sie die Ergebnisse herunter, speichern Sie sie in einem CSV Format und laden Sie sie als Objektliste für den S3 Batch Operations-Job auf Amazon S3 hoch.

8. Wenn Sie mehrere Manifestdateien haben, führen Sie auch auf diesen Query with S3 Select (Abfragen mit S3 Select) aus. Abhängig von der Größe der Ergebnisse können Sie die Listen kombinieren und einen einzelnen Auftrag für S3-Batch-Vorgänge ausführen oder jede Liste als separater Auftrag ausführen. Um die Anzahl der auszuführenden Jobs zu bestimmen, sollten Sie den Preis für die Ausführung der einzelnen S3 Batch Operations-Jobs berücksichtigen.

1. Öffnen Sie die IAM Konsole unter https://console.aws.amazon.com/iam/.

2. Wählen Sie im linken Navigationsbereich Richtlinie und dann Richtlinie erstellen aus.

3. Wählen Sie die JSONRegisterkarte aus. Wählen Sie Richtlinie bearbeiten und fügen Sie die IAM Beispielrichtlinie hinzu, die im folgenden Codeblock angezeigt wird.

   Nachdem Sie das Richtlinienbeispiel in Ihre IAMKonsole kopiert haben, ersetzen Sie Folgendes:

   1. amzn-s3-demo-source-bucketErsetzen Sie es durch den Namen Ihres Quell-Buckets, aus dem Objekte kopiert werden sollen.

   2. amzn-s3-demo-destination-bucketErsetzen Sie ihn durch den Namen Ihres Ziel-Buckets, in den Objekte kopiert werden sollen.

   3. Ersetzen Sie amzn-s3-demo-manifest-bucket/manifest-key durch den Namen Ihres Manifest-Objekts.

   4. amzn-s3-demo-completion-report-bucketErsetzen Sie ihn durch den Namen des Buckets, in dem Sie Ihre Abschlussberichte speichern möchten.

     {
       "Version": "2012-10-17",
       "Statement": [
         {
           "Sid": "CopyObjectsToEncrypt",
           "Effect": "Allow",
           "Action": [
             "s3:PutObject",
             "s3:PutObjectTagging",
             "s3:PutObjectAcl",
             "s3:PutObjectVersionTagging",
             "s3:PutObjectVersionAcl",
             "s3:GetObject",
             "s3:GetObjectAcl",
             "s3:GetObjectTagging",
             "s3:GetObjectVersion",
             "s3:GetObjectVersionAcl",
             "s3:GetObjectVersionTagging"
           ],
           "Resource": [
             "arn:aws:s3:::amzn-s3-demo-source-bucket/*",
             "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
           ]
         },
         {
           "Sid": "ReadManifest",
           "Effect": "Allow",
           "Action": [
             "s3:GetObject",
             "s3:GetObjectVersion"
           ],
           "Resource": "arn:aws:s3:::amzn-s3-demo-manifest-bucket/manifest-key"
         },
         {
           "Sid": "WriteReport",
           "Effect": "Allow",
           "Action": [
             "s3:PutObject"
           ],
           "Resource": "arn:aws:s3:::amzn-s3-demo-completion-report-bucket/*"
         }
       ]
     }

4. Wählen Sie Next: Markierungen (Weiter: Markierungen) aus.

5. Wählen Sie alle gewünschten Markierungen aus (optional) und wählen Sie Next: Review (Weiter: Überprüfung).

6. Geben Sie einen Namen und optional eine Beschreibung für die Richtlinie an und wählen Sie dann Create policy (Richtlinie erstellen) aus.

7. Wählen Sie Review policy (Richtlinie überprüfen) aus und klicken Sie anschließend auf Save changes (Änderungen speichern).

8. Nachdem Ihre S3-Richtlinie für Batch Operations nun abgeschlossen ist, kehren Sie über die Konsole zur Seite IAM Richtlinien zurück. Markieren Sie den Richtliniennamen, klicken Sie auf die Schaltfläche links neben dem Richtliniennamen und wählen Sie Policy actions (Richtlinienaktionen), und dann Attach (Hinzufügen).

   Um die neu erstellte Richtlinie an eine IAM Rolle anzuhängen, wählen Sie die entsprechenden Benutzer, Gruppen oder Rollen in Ihrem Konto aus und wählen Sie Richtlinie anhängen. Dadurch kehren Sie zur IAM Konsole zurück.

1. Wählen Sie in der IAMKonsole im Navigationsbereich Rollen und dann Rolle erstellen aus.

2. Wählen Sie AWS-Service, S3 und S3 Batch Operations. Wählen Sie dann Next: Permissions.

3. Beginnen Sie mit der Eingabe des Namens der IAM Richtlinie, die Sie gerade erstellt haben. Aktivieren Sie das Kontrollkästchen nach dem Richtliniennamen, wenn es angezeigt wird, und wählen Sie Next: Markierungen (Weiter: Markierungen).

4. (Optional) Fügen Sie Markierungen hinzu, oder lassen Sie die Schlüssel- und Wertefelder für diese Übung leer. Klicken Sie auf Next: Review (Weiter: Prüfen).

5. Geben Sie einen Rollennamen ein, akzeptieren Sie die Standard-Beschreibung oder fügen Sie eine eigene hinzu. Wählen Sie Create role aus.

6. Stellen Sie sicher, dass der Benutzer, der den Auftrag erstellt, über die Berechtigungen im folgenden Beispiel verfügt.

   account-idErsetzen Sie es durch Ihre AWS-Konto ID und IAM-role-name durch den Namen, den Sie für die IAM Rolle verwenden möchten, die Sie später im Schritt zur Auftragserstellung für Batch Operations erstellen werden. Weitere Informationen finden Sie unter Gewähren von Berechtigungen für Batchoperationen.

               {
               "Sid": "AddIamPermissions",
               "Effect": "Allow",
               "Action": [
               "iam:GetRole",
               "iam:PassRole"
               ],
               "Resource": "arn:aws:iam::account-id:role/IAM-role-name"
               }

1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie in der Liste Buckets den Bucket aus, für den Sie einen S3-Bucket-Schlüssel aktivieren möchten.

3. Wählen Sie Properties (Eigenschaften).

4. Wählen Sie unter Default encryption (Standard-Verschlüsselung) Edit (Bearbeiten) aus.

5. Unter Verschlüsselungstyp können Sie zwischen von Amazon S3 verwalteten Schlüsseln (SSE-S3) und AWS Key Management Service Schlüssel (SSE-KMS) wählen.

6. Wenn Sie unter AWS Key Management Service Schlüssel (SSE-KMS) ausgewählt haben AWS KMS key, können Sie den AWS KMS Schlüssel über eine der folgenden Optionen angeben.

   • Um aus einer Liste verfügbarer KMS Schlüssel auszuwählen, wählen Sie Aus Ihren AWS KMS Schlüsseln auswählen. Wählen Sie aus der Liste der verfügbaren Schlüssel einen symmetrischen KMS Verschlüsselungsschlüssel aus, der sich in derselben Region wie Ihr Bucket befindet. Sowohl der AWS verwaltete Schlüssel (aws/s3) als auch Ihre vom Kunden verwalteten Schlüssel werden in der Liste angezeigt.

   • Um den KMS Schlüssel einzugebenARN, wählen Sie AWS KMS Schlüssel ARN eingeben und geben Sie dann Ihren KMS Schlüssel ARN in das angezeigte Feld ein.

   • Um einen neuen, vom Kunden verwalteten Schlüssel in der AWS KMS Konsole zu erstellen, wählen Sie KMSSchlüssel erstellen aus.

7. Unter Bucket Key (Bucket-Schlüssel), wählen Sie Enable (Aktivieren) und dann Save changes (Änderungen speichern) aus.

1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie im Navigationsbereich die Option Batch Operations (Batch-Vorgänge) und dann Create Job (Auftrag erstellen).

3. Wählen Sie die Region aus, in der Sie Ihre Objekte speichern, und wählen Sie CSVden Manifesttyp aus.

4. Geben Sie den Pfad ein oder navigieren Sie zu der CSV Manifestdatei, die Sie zuvor aus den Ergebnissen von S3 Select (oder Athena) erstellt haben. Wenn Ihr Manifest eine Version enthältIDs, wählen Sie dieses Feld aus. Wählen Sie Next.

5. Wählen Sie die Copy-Operation und wählen Sie den Ziel-Bucket für den Kopiervorgang aus. Sie können serverseitige Verschlüsselung deaktiviert lassen. Solange S3 Bucket-Schlüssel für den Ziel-Bucket aktiviert ist, wendet der Kopiervorgang S3 Bucket-Schlüssel auf den Ziel-Bucket an.

6. (Optional) Wählen Sie nach Bedarf eine Speicherklasse und die anderen Parameter aus. Die in diesem Schritt angegebenen Parameter gelten für alle Vorgänge, die an den im Manifest aufgeführten Objekten ausgeführt werden. Wählen Sie Weiter.

7. Gehen Sie zum Konfigurieren der serverseitigen Verschlüsselung wie folgt vor:

   1. Wählen Sie unter Serverseitige Verschlüsselung eine der folgenden Optionen aus:

      • Um die Bucket-Einstellungen für die serverseitige Standardverschlüsselung von Objekten beizubehalten, wenn sie in Amazon S3 gespeichert werden, wählen Sie Keinen Verschlüsselungsschlüssel angeben aus. Solange S3-Bucket-Schlüssel für den Ziel-Bucket aktiviert sind, wendet der Kopiervorgang S3-Bucket-Schlüssel auf den Ziel-Bucket an.

        Anmerkung

        Wenn die Bucket-Richtlinie für das angegebene Ziel vorschreibt, dass Objekte verschlüsselt werden müssen, bevor sie in Amazon S3 gespeichert werden, müssen Sie einen Verschlüsselungsschlüssel angeben. Andernfalls schlägt das Kopieren von Objekten in das Ziel fehl.

      • Um Objekte zu verschlüsseln, bevor sie in Amazon S3 gespeichert werden, wählen Sie Verschlüsselungsschlüssel angeben aus.

   2. Wenn Sie unter Verschlüsselungseinstellungen die Option Verschlüsselungsschlüssel angeben auswählen, müssen Sie entweder Verwenden von Ziel-Bucket-Einstellungen für die Standardverschlüsselung oder Überschreiben der Ziel-Bucket-Einstellungen für die Standardverschlüsselung auswählen.

   3. Wenn Sie Überschreiben der Ziel-Bucket-Einstellungen für die Standardverschlüsselung auswählen, müssen Sie die folgenden Verschlüsselungseinstellungen konfigurieren.

      1. Unter Verschlüsselungstyp müssen Sie entweder von Amazon S3 verwaltete Schlüssel (SSE-S3) oder AWS Key Management Service Schlüssel (SSE-KMS) auswählen. SSE-S3 verwendet eine der stärksten Blockchiffren — den 256-Bit-Advanced Encryption Standard (-256), um jedes Objekt zu verschlüsseln. AES SSE- bietet Ihnen mehr Kontrolle KMS über Ihren Schlüssel. Weitere Informationen erhalten Sie unter Serverseitige Verschlüsselung mit verwalteten Amazon S3 S3-Schlüsseln verwenden (SSE-S3) und Serverseitige Verschlüsselung mit AWS KMS Schlüsseln verwenden (SSE-) KMS.

      2. Wenn Sie den AWS Key Management Service Schlüssel (SSE-KMS) unter wählen AWS KMS key, können Sie Ihren AWS KMS key mithilfe einer der folgenden Optionen angeben.

         • Um aus einer Liste verfügbarer KMS Schlüssel auszuwählen, wählen Sie Wählen Sie aus Ihrem und wählen Sie dann einen symmetrischen KMS Verschlüsselungsschlüssel aus AWS KMS keys, der sich in derselben Region wie Ihr Bucket befindet. Sowohl der AWS verwaltete Schlüssel (aws/s3) als auch Ihre vom Kunden verwalteten Schlüssel werden in der Liste angezeigt.

         • Um den KMS Schlüssel einzugebenARN, wählen Sie AWS KMS Schlüssel ARN eingeben und geben Sie Ihren KMS Schlüssel ARN in das angezeigte Feld ein.

         • Um einen neuen, vom Kunden verwalteten Schlüssel in der AWS KMS Konsole zu erstellen, wählen Sie KMS Schlüssel erstellen.

      3. Wählen Sie unter Bucket Key (Bucket-Schlüssel) die Option Enable (Aktivieren). Die Copy-Operation wendet einen S3-Bucket-Schlüssel auf den Ziel-Bucket an.

8. Geben Sie Ihrem Job eine Beschreibung (oder behalten Sie die Standardeinstellung bei), legen Sie die Prioritätsstufe fest, wählen Sie einen Berichtstyp aus und geben Sie den Pfad zum Ziel des Fertigstellungsberichts an.

9. Stellen Sie sicher, dass Sie im Abschnitt Berechtigungen die IAM Rolle Batch Operations auswählen, die Sie zuvor definiert haben. Wählen Sie Next.

10. Überprüfen Sie die Einstellungen unter Review (Überprüfen). Wenn Sie Änderungen vornehmen müssen, wählen Sie Previous (Vorherige) aus. Nachdem Sie die Einstellungen für Batch-Vorgänge bestätigt haben, wählen Sie Create Job (Auftrag erstellen).

    Weitere Informationen finden Sie unter Erstellen eines S3-Batch-Vorgangsauftrags.

1. Klicken Sie auf die Aktualisierungs-Schaltfläche in der Amazon S3-Konsole, um den Fortschritt zu überprüfen. Abhängig von der Größe des Manifests kann das Lesen Minuten oder Stunden dauern.

2. Nachdem S3 das Manifest des Auftrags gelesen hat, wechselt der Auftrag in den Zustand Awaiting your confirmation (Wartet auf Ihre Bestätigung). Klicken Sie auf die Options-Schaltfläche links neben der Auftrags-ID und wählen Sie Run job (Auftrag ausführen).

3. Wählen Sie die Einstellungen für den Auftrag aus und wählen Sie in der unteren rechten Ecke des Fensters Run job (Auftrag ausführen) aus.

   Nachdem der Auftrag ausgeführt wird, können Sie die Schaltfläche Aktualisieren auswählen, um den Fortschritt über die Dashboard-Ansicht der Konsole zu überprüfen oder den bestimmten Auftrag auszuwählen.

4. Wenn der Auftrag abgeschlossen wurde, können Sie die Successful (erfolgreichen) und Failed (fehlgeschlagenen) Objektzählungen anzeigen, um zu bestätigen, dass alles wie erwartet ausgeführt wurde. Wenn Sie Auftragsberichte aktiviert haben, überprüfen Sie Ihren Auftragsbericht auf die genaue Ursache für fehlgeschlagene Vorgänge.

   Sie können diese Schritte auch mithilfe von AWS CLI AWS SDKs, oder Amazon S3 ausführen RESTAPI. Weitere Informationen zum Nachverfolgen von Auftragsstatus- und Abschlussberichten finden Sie unter Verfolgen von Auftragsstatus- und Abschluss.