Katalogisieren und Analysieren Ihrer Daten mit S3 Inventory - Amazon Simple Storage Service
Amazon-S3-Inventory-BucketsBestandslisten

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Katalogisieren und Analysieren Ihrer Daten mit S3 Inventory

Sie können Amazon S3 Inventory verwenden, um Ihren Speicher zu verwalten. Sie können es beispielsweise für die Prüfung und Meldung des Replikations- und Verschlüsselungsstatus Ihrer Objekte für Unternehmens-, Compliance- und regulatorische Anforderungen verwenden. Sie können auch Geschäftsabläufe und Big-Data-Jobs vereinfachen und beschleunigen, indem Sie Amazon S3 Inventory verwenden, das eine geplante Alternative zu den synchronen List API Vorgängen von Amazon S3 darstellt. Amazon S3 Inventory verwendet die List API Operationen nicht zur Prüfung Ihrer Objekte und hat keinen Einfluss auf die Anforderungsrate Ihres Buckets.

Amazon S3 Inventory bietet kommagetrennte Werte ()CSV, Apache optimierte Zeile spaltenförmig () oder ORC Apache ParquetAusgabedateien, die Ihre Objekte und die entsprechenden Metadaten täglich oder wöchentlich für einen S3-Bucket oder Objekte mit einem gemeinsamen Präfix auflisten (d. h. Objekte, deren Namen mit einer gemeinsamen Zeichenfolge beginnen). Wenn Sie eine wöchentliche Bestandsaufnahme einrichten, wird jeden Sonntag (UTCZeitzone) nach dem ersten Bericht ein Bericht generiert. Informationen zu den Preisen für Amazon S3 Inventory finden Sie unter Amazon-S3-Preise.

Sie können mehrere Bestandslisten für einen Bucket konfigurieren. Wenn Sie eine Bestandsliste konfigurieren, können Sie Folgendes angeben:

  • welche Objektmetadaten in das Inventar aufgenommen werden sollen

  • ob alle Objektversionen oder nur aktuelle Versionen aufgelistet werden sollen

  • wo die Ausgabe der Bestandslistendatei gespeichert werden soll

  • ob der Bestandsbericht täglich oder wöchentlich generiert werden soll

  • ob die Bestandslistendatei verschlüsselt werden soll

Sie können Amazon S3 S3-Inventar mit SQL Standardabfragen abfragen, indem Sie Amazon Athena, Amazon Redshift Spectrum und andere Tools verwenden, wie Presto, Apache Hive, und Apache Spark. Weitere Informationen zur Verwendung von Athena zur Abfrage Ihrer Lagerbestandsdateien finden Sie unterAbfragen von Amazon S3 Inventory mit Amazon Athena.

Anmerkung

Es könnte bis zu 48 Stunden dauern, bis Amazon S3 den ersten Inventarbericht bereitstellt.

Quell- und Ziel-Buckets

Der Bucket, dessen Objekte die Bestandserfassung auflistet, wird als Quell-Bucket bezeichnet. Der Bucket, in dem die Datei mit der Bestandsliste gespeichert ist, wird als Ziel-Bucket bezeichnet.

Quell-Bucket

Der Bestand listet die Objekte auf, die im Quell-Bucket gespeichert sind. Sie können eine Bestandsliste für einen ganzen Bucket erhalten oder die Liste nach dem Präfix eines Objektschlüsselnamens filtern.

Der Quell-Bucket:

  • Enthält die Objekte, die im Bestand aufgelistet sind.

  • Enthält die Konfiguration für den Bestand.

Ziel-Bucket

Amazon S3 Inventory listet Dateien auf, die in den Ziel-Bucket geschrieben werden. Um alle Bestandslisten-Dateien an einem gemeinsamen Speicherort im Ziel-Bucket zu gruppieren, können Sie ein Zielpräfix in der Bestands-Konfiguration angeben.

Der Ziel-Bucket:

  • Enthält die Dateilisten für den Bestand.

  • Enthält die Manifestdateien, die alle Bestandslistendateien enthalten, die im Ziel-Bucket gespeichert sind. Weitere Informationen finden Sie unter Bestandsmanifest.

  • Erfordert eine Bucket-Richtlinie, um Amazon S3 die Berechtigung zu erteilen, die Eigentümerschaft an dem Bucket zu überprüfen, ebenso wie die Berechtigung, Dateien in den Bucket zu schreiben.

  • Muss sich im selben Bucket befinden AWS-Region wie der Quell-Bucket.

  • Kann gleich dem Quell-Bucket sein.

  • Kann einem anderen Konto gehören AWS-Konto als dem Konto, dem der Quell-Bucket gehört.

Amazon-S3-Inventory-Liste

Eine Datei mit einer Bestandsliste enthält eine Liste der Objekte im Quell-Bucket sowie die Metadaten für jedes Objekt. Eine Bestandslistendatei wird im Ziel-Bucket in einem der folgenden Formate gespeichert:

  • Als komprimierte CSV Datei mit GZIP

  • Als Apache optimierte row columnar (ORC) -Datei, komprimiert mit ZLIB

  • Als Apache Parquet mit Snappy komprimierte Datei

Anmerkung

Es kann nicht garantiert werden, dass Objekte in Berichten von Amazon S3 Inventory auf bestimmte Weise sortiert werden.

Eine Datei mit einer Bestandsliste enthält eine Liste der Objekte im Quell-Bucket sowie die Metadaten für jedes aufgelistete Objekt:

  • Bucket name (Bucket-Name) – Der Name des Buckets, für den der Bestand gilt.

  • Key name (Schlüsselname) – Name des Objektschlüssels (oder Schlüssel), der das Objekt in dem Bucket eindeutig identifiziert. Wenn Sie das CSV Dateiformat verwenden, ist der Schlüsselname URL -kodiert und muss dekodiert werden, bevor Sie ihn verwenden können.

  • Version ID (Versions-ID) – ID der Objektversion. Wenn Sie das Versioning für einen Bucket aktivieren, weist Amazon S3 allen Objekten, die dem Bucket hinzugefügt werden, eine Versionsnummer zu. Weitere Informationen finden Sie unter Beibehaltung mehrerer Versionen von Objekten mit S3 Versioning. (Dieses Feld ist nicht enthalten, wenn die Liste nur für die aktuelle Version der Objekte konfiguriert ist.)

  • IsLatest— Legt fest, True ob es sich bei dem Objekt um die aktuelle Version des Objekts handelt. (Dieses Feld ist nicht enthalten, wenn die Liste nur für die aktuelle Version der Objekte konfiguriert ist.)

  • Delete marker (Löschmarkierung) – Auf True gesetzt, wenn es sich bei dem Objekt um eine Löschmarkierung handelt. Weitere Informationen finden Sie unter Beibehaltung mehrerer Versionen von Objekten mit S3 Versioning. (Dieses Feld wird dem Bericht automatisch hinzugefügt, wenn Sie den Bericht so konfiguriert haben, dass alle Versionen der Objekte aufgenommen werden.)

  • Größe – Die Objektgröße in Byte, ohne die Größe von unvollständigen mehrteiligen Uploads, Objektmetadaten und Löschmarkierungen.

  • Last modified date (Letztes Änderungsdatum) – Datum der Erstellung oder der letzten Änderung des Objekts, je nachdem, welches neuer ist.

  • ETag— Das Entity-Tag (ETag) ist ein Hash des Objekts. Das ETag spiegelt nur Änderungen am Inhalt eines Objekts wider, nicht an seinen Metadaten. Das ETag kann eine MD5 Zusammenfassung der Objektdaten sein. Dies hängt davon ab, wie das Objekt erstellt und verschlüsselt wurde. Weitere Informationen finden Sie unter Objectin der Amazon Simple Storage Service API Reference.

  • Storage class (Speicherklasse) – Die für die Speicherung des Objekts verwendete Speicherklasse. Auf STANDARD, REDUCED_REDUNDANCY, STANDARD_IA, ONEZONE_IA, INTELLIGENT_TIERING, GLACIER, DEEP_ARCHIVE, OUTPOSTS, GLACIER_IR oder SNOW festgelegt. Weitere Informationen finden Sie unter Amazon S3 S3-Speicherklassen verstehen und verwalten.

    Anmerkung

    S3 Inventory unterstützt S3 Express One Zone nicht.

  • Multipart upload flag (Markierung für mehrteiligen Upload) – Auf True gesetzt, wenn das Objekt als mehrteiliger Upload hochgeladen wurde. Weitere Informationen finden Sie unter Hochladen und Kopieren von Objekten mit mehrteiligen Uploads.

  • Replikationsstatus – Auf PENDING, COMPLETED, FAILED, oder REPLICA gesetzt. Weitere Informationen finden Sie unter Abrufen von Replikationsstatusinformationen.

  • Verschlüsselungsstatus — Der serverseitige Verschlüsselungsstatus, abhängig von der Art des verwendeten Verschlüsselungsschlüssels — serverseitige Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3), serverseitige Verschlüsselung mit AWS Key Management Service () Schlüsseln (SSE-AWS KMS), zweischichtige serverseitige Verschlüsselung mit Schlüsseln (-KMS) oder serverseitige Verschlüsselung mit vom Kunden bereitgestellten AWS KMS Schlüsseln (DSSE-CKMS). SSE Setzen Sie den Wert auf SSE-S3, SSE-KMS, DSSE-KMS, SSE-C oder NOT-SSE. Der Status NOT-SSE bedeutet, dass das Objekt nicht mit serverseitiger Verschlüsselung verschlüsselt ist. Weitere Informationen finden Sie unter Datenschutz durch Verschlüsselung.

  • S3 Object Lock retain until date (Beibehaltungsfrist für S3-Objektsperre) – Das Datum, bis zu dem das gesperrte Objekt nicht gelöscht werden kann. Weitere Informationen finden Sie unter Sperren von Objekten mit Object Lock.

  • S3 Object Lock retention mode (Aufbewahrungsmodus für S3-Objekt) – Auf Governance oder Compliance gesetzt für Objekte, die gesperrt sind. Weitere Informationen finden Sie unter Sperren von Objekten mit Object Lock.

  • S3 Object Lock legal hold status (Rechtlicher Aufbewahrungsstatus der S3-Objektsperre) – Auf On gesetzt, wenn für ein Objekt eine rechtliche Aufbewahrungsfrist gilt. Andernfalls lautet der Wert Off. Weitere Informationen finden Sie unter Sperren von Objekten mit Object Lock.

  • S3 Intelligent-Tiering access tier (S3-Intelligent-Tiering-Zugriffsebene) – Zugriffsebene (häufig oder selten) des Objekts bei Speicherung in der Speicherklasse S3 Intelligent-Tiering. Setzen Sie den Wert auf FREQUENT, INFREQUENT, ARCHIVE_INSTANT_ACCESS, ARCHIVE oder DEEP_ARCHIVE. Weitere Informationen finden Sie unter Speicherklasse zur automatischen Optimierung von Daten mit sich ändernden oder unbekannten Zugriffsmustern.

  • S3 Buckt Key status (Status des S3-Bucket-Schlüssels) – Auf ENABLED oder DISABLED gesetzt. Gibt an, ob das Objekt einen S3-Bucket-Schlüssel für - verwendet. SSE KMS Weitere Informationen finden Sie unter Verwenden von Amazon-S3-Bucket-Schlüssel.

  • Prüfsummen-Algorithmus – Gibt den Algorithmus an, mit dem die Prüfsumme für das Objekt erstellt wurde. Weitere Informationen finden Sie unter Verwenden unterstützter Prüfsummenalgorithmen.

  • Objektzugriffskontrollliste — Eine Zugriffskontrollliste (ACL) für jedes Objekt, die definiert, welchen AWS-Konten Gruppen Zugriff auf dieses Objekt gewährt wird und welche Art von Zugriff gewährt wird. Das ACL Objektfeld ist im JSON Format definiert. Ein S3-Inventarbericht enthält ObjekteACLs, die Objekten in Ihrem Quell-Bucket zugeordnet ACLs sind, auch wenn sie für den Bucket deaktiviert sind. Weitere Informationen erhalten Sie unter Mit dem ACL Objektfeld arbeiten und Übersicht über die Zugriffskontrollliste (ACL).

    Anmerkung

    Das ACL Objektfeld ist im JSON Format definiert. In einem Inventarbericht wird der Wert für das ACL Objektfeld als Base64-kodierte Zeichenfolge angezeigt.

    Nehmen wir beispielsweise an, Sie haben das folgende ACL Objektfeld im Format: JSON

    {
        "version": "2022-11-10",
        "status": "AVAILABLE",
        "grants": [{
            "canonicalId": "example-canonical-user-ID",
            "type": "CanonicalUser",
            "permission": "READ"
        }]
}

    Das ACL Objektfeld ist codiert und wird als folgende Base64-kodierte Zeichenfolge angezeigt:

    eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3siY2Fub25pY2FsSWQiOiJleGFtcGxlLWNhbm9uaWNhbC11c2VyLUlEIiwidHlwZSI6IkNhbm9uaWNhbFVzZXIiLCJwZXJtaXNzaW9uIjoiUkVBRCJ9XX0=

    Um den dekodierten Wert JSON für das ACL Objektfeld zu erhalten, können Sie dieses Feld in Amazon Athena abfragen. Abfragebeispiele finden Sie unter Abfragen von Amazon S3 Inventory mit Amazon Athena.

  • Objekteigentümer — Die kanonische Benutzer-ID des Besitzers des Objekts. Weitere Informationen finden Sie unter Finden Sie die kanonische Benutzer-ID für Ihr AWS Konto im Referenzhandbuch zur KontoverwaltungAWS .

Anmerkung

Wenn ein Objekt basierend auf seiner Lebenszykluskonfiguration das Ende seiner Lebensdauer erreicht hat, stellt Amazon S3 das Objekt zum Entfernen in eine Warteschlange und entfernt es asynchron. Daher kann es eine Verzögerung zwischen dem Ablaufdatum und dem Datum geben, an dem Amazon S3 ein Objekt entfernt. Der Bestandsbericht enthält die Objekte, die abgelaufen sind, aber noch nicht entfernt wurden. Weitere Informationen über die Ablaufaktionen im S3-Lebenszyklus finden Sie unter Auslaufende Objekte.

Im Folgenden finden Sie ein Beispiel für einen Inventarbericht mit zusätzlichen Metadatenfeldern, der aus vier Datensätzen besteht.

amzn-s3-demo-bucket1    example-object-1    EXAMPLEDC8l.XJCENlF7LePaNIIvs001    TRUE        1500    2024-08-15T15:28:26.0004    EXAMPLE21e1518b92f3d92773570f600    STANDARD    FALSE    COMPLETED    SSE-KMS    2025-01-25T15:28:26.000Z    COMPLIANCE    Off        ENABLED        eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3sicGVybWlzc2lvbiI6IkZVTExfQ09OVFJPTCIsInR5cGUiOiJDYW5vbmljYWxVc2VyIiwiY2Fub25pY2FsSWQiOiJFWEFNUExFNzY2ZThmNmIxMTVkOTNkNDFkZjJlYWM0MjBhYTRhNDY1ZDE3N2MxMzk4YmM2YTA4OGM3NmI3MDAwIn1dfQ==    EXAMPLE766e8f6b115d93d41df2eac420aa4a465d177c1398bc6a088c76b7000
amzn-s3-demo-bucket1    example-object-2    EXAMPLEDC8l.XJCENlF7LePaNIIvs002    TRUE        200    2024-08-21T15:28:26.000Z    EXAMPLE21e1518b92f3d92773570f601    INTELLIGENT_TIERING    FALSE    COMPLETED    SSE-KMS    2025-01-25T15:28:26.000Z    COMPLIANCE    Off    INFREQUENT    ENABLED    SHA-256    eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3sicGVybWlzc2lvbiI6IkZVTExfQ09OVFJPTCIsInR5cGUiOiJDYW5vbmljYWxVc2VyIiwiY2Fub25pY2FsSWQiOiJFWEFNUExFNzY2ZThmNmIxMTVkOTNkNDFkZjJlYWM0MjBhYTRhNDY1ZDE3N2MxMzk4YmM2YTA4OGM3NmI3MDAwIn1dfQ==    EXAMPLE766e8f6b115d93d41df2eac420aa4a465d177c1398bc6a088c76b7001
amzn-s3-demo-bucket1    example-object-3    EXAMPLEDC8l.XJCENlF7LePaNIIvs003    TRUE        12500    2023-01-15T15:28:30.000Z    EXAMPLE21e1518b92f3d92773570f602    STANDARD    FALSE    REPLICA    SSE-KMS    2025-01-25T15:28:26.000Z    GOVERNANCE    On        ENABLED        eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3sicGVybWlzc2lvbiI6IkZVTExfQ09OVFJPTCIsInR5cGUiOiJDYW5vbmljYWxVc2VyIiwiY2Fub25pY2FsSWQiOiJFWEFNUExFNzY2ZThmNmIxMTVkOTNkNDFkZjJlYWM0MjBhYTRhNDY1ZDE3N2MxMzk4YmM2YTA4OGM3NmI3MDAwIn1dfQ==    EXAMPLE766e8f6b115d93d41df2eac420aa4a465d177c1398bc6a088c76b7002
amzn-s3-demo-bucket1    example-object-4    EXAMPLEDC8l.XJCENlF7LePaNIIvs004    TRUE        100    2021-02-15T15:28:27.000Z    EXAMPLE21e1518b92f3d92773570f603    STANDARD    FALSE    COMPLETED    SSE-KMS    2025-01-25T15:28:26.000Z    COMPLIANCE    Off        ENABLED        eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3sicGVybWlzc2lvbiI6IkZVTExfQ09OVFJPTCIsInR5cGUiOiJDYW5vbmljYWxVc2VyIiwiY2Fub25pY2FsSWQiOiJFWEFNUExFNzY2ZThmNmIxMTVkOTNkNDFkZjJlYWM0MjBhYTRhNDY1ZDE3N2MxMzk4YmM2YTA4OGM3NmI3MDAwIn1dfQ==    EXAMPLE766e8f6b115d93d41df2eac420aa4a465d177c1398bc6a088c76b7003

Wir empfehlen, eine Lebenszyklusrichtlinie einzurichten, die alte Bestandslisten löscht. Weitere Informationen finden Sie unter Verwaltung des Lebenszyklus von Objekten.

Die s3:PutInventoryConfiguration-Berechtigung ermöglicht es einem Benutzer, beim Konfigurieren einer Bestandsliste sowohl alle Metadatenfelder auszuwählen, die zuvor für jedes Objekt aufgelistet wurden, als auch den Ziel-Bucket zum Speichern des Bestands anzugeben. Ein Benutzer mit Lesezugriff auf Objekte im Ziel-Bucket kann auf alle Objektmetadatenfelder zugreifen, die in der Bestandsliste verfügbar sind. Informationen zum Einschränken des Zugriffs auf Bestandsberichte finden Sie unter Gewähren von Berechtigungen für S3 Inventory und S3 Analytics.

Bestandskonsistenz

Möglicherweise erscheinen nicht alle Ihre Objekte in jeder Bestandsliste. Die Bestandsliste bietet letztendliche Datenkonsistenz für PUT-Anforderungen (sowohl neuer als auch überschriebener Objekte) sowie für DELETE-Anforderungen. Jede Bestandsliste für einen Bucket ist ein Snapshot der Bucket-Elemente. Diese Listen sind letztendlich konsistent (das heißt, eine Liste enthält möglicherweise keine kürzlich hinzugefügten oder gelöschten Objekte).

Um den Status eines Objekts zu überprüfen, bevor Sie Maßnahmen für das Objekt ergreifen, empfehlen wir Ihnen, eine HeadObject REST API Anfrage zum Abrufen von Metadaten für das Objekt durchzuführen oder die Eigenschaften des Objekts in der Amazon S3 S3-Konsole zu überprüfen. Sie können Objektmetadaten auch mit dem AWS CLI oder dem überprüfen AWS SDKS. Weitere Informationen finden Sie HeadObjectin der Amazon Simple Storage Service API Reference.

Weitere Informationen zur Arbeit mit Amazon S3 Inventory finden Sie in den folgenden Themen.

Themen