Compartiments d'inventaire Amazon S3 Listes d'inventaire

Catalogage et analyse de vos données avec S3 Inventory

Vous pouvez utiliser l'inventaire Amazon S3 pour vous aider à gérer votre stockage. Par exemple, vous pouvez l'utiliser pour contrôler et signaler le statut de réplication et de chiffrement de vos objets à des fins professionnelles, de conformité et d'obligations réglementaires. Vous pouvez également simplifier et accélérer les flux de travail commerciaux et les tâches liées au Big Data en utilisant Amazon S3 Inventory, qui fournit une alternative planifiée aux List API opérations synchrones d'Amazon S3. Amazon S3 Inventory n'utilise pas les List API opérations pour auditer vos objets et n'affecte pas le taux de demandes de votre compartiment.

Amazon S3 Inventory fournit des valeurs séparées par des virgules ()CSV, Apache colonne de ligne optimisée (ORC) ou Apache Parquetdes fichiers de sortie qui répertorient vos objets et leurs métadonnées correspondantes sur une base quotidienne ou hebdomadaire pour un compartiment S3 ou des objets avec un préfixe partagé (c'est-à-dire des objets dont le nom commence par une chaîne commune). Si vous configurez un inventaire hebdomadaire, un rapport est généré tous les dimanches (UTCfuseau horaire) après le rapport initial. Pour plus d’informations sur la tarification de l’inventaire Amazon S3, consultez Tarification Amazon S3.

Vous pouvez configurer plusieurs listes d'inventaire d'un compartiment. Lorsque vous configurez une liste d'inventaire, vous pouvez spécifier les éléments suivants :

Quelles métadonnées d'objet inclure dans l'inventaire
S'il faut répertorier toutes les versions de l'objet ou uniquement les versions actuelles
Où stocker la sortie du fichier de liste d'inventaire
S'il faut générer l'inventaire de manière quotidienne ou hebdomadaire
S'il faut chiffrer le fichier de liste d'inventaire

Vous pouvez interroger Amazon S3 Inventory avec des SQL requêtes standard en utilisant Amazon Athena, Amazon Redshift Spectrum et d'autres outils, tels que Presto, Apache Hive, et Apache Spark. Pour plus d'informations sur l'utilisation d'Athena pour interroger vos fichiers d'inventaire, consultez. Interrogation d'un inventaire Amazon S3 avec Amazon Athena

Note

La distribution du premier rapport d'inventaire pour Amazon S3 peut prendre jusqu'à 48 heures.

Compartiments source et de destination

Le compartiment pour lequel l'inventaire répertorie les objets est appelé compartiment source. Le compartiment dans lequel le fichier de liste d'inventaire est stocké est appelé compartiment de destination.

Compartiment source

L'inventaire répertorie les objets qui sont stockés dans le compartiment source. Vous pouvez obtenir une liste d'inventaire d'un compartiment entier ou vous pouvez filtrer par liste par préfixe de nom de la clé d'objet.

Le compartiment source :

Contient les objets qui sont répertoriés dans l'inventaire
Contient la configuration de l'inventaire

Compartiment de destination

Les fichiers de liste d'inventaire Amazon S3 sont écrits dans le compartiment de destination. Vous pouvez spécifier un préfixe de destination dans la configuration de l'inventaire pour regrouper tous les fichiers de liste d'inventaire dans un emplacement commun au sein du compartiment de destination.

Le compartiment de destination :

Contient les listes de fichiers d'inventaire.
Contient les fichiers manifeste qui répertorient tous les fichiers de listes d'inventaire stockés dans le compartiment de destination. Pour plus d’informations, consultez Manifeste d'inventaire.
Doit avoir une stratégie de compartiment pour donner à Amazon S3 l'autorisation de vérifier la propriété du compartiment et l'autorisation d'écrire des fichiers dans le compartiment.
Doit se trouver dans le même compartiment Région AWS que le compartiment source.
Peut être le même que le compartiment source.
Peut appartenir à un compte différent Compte AWS de celui qui possède le compartiment source.

Liste d'inventaire Amazon S3

Un fichier de liste d'inventaire contient une liste des objets figurant dans le compartiment source et les métadonnées de chaque objet. Un fichier de liste d'inventaire est stocké dans le compartiment de destination sous l'un des formats suivants :

En tant que CSV fichier compressé avec GZIP
En tant que Apache fichier row columnar (ORC) optimisé compressé avec ZLIB
En tant que Apache Parquet fichier compressé avec Snappy

Note

Le tri des objets n'est pas garanti dans les rapports d'inventaire Amazon S3.

Un fichier de liste d'inventaire contient une liste des objets figurant dans le compartiment source et les métadonnées de chaque objet figurant dans la liste :

Nom du compartiment – Le nom du compartiment pour lequel l'inventaire est effectué.
Nom de clé – Nom de la clé d'objet (ou clé) qui identifie de manière unique l'objet dans le compartiment. Lorsque vous utilisez le format de CSV fichier, le nom de la clé est URL codé et doit être décodé avant de pouvoir l'utiliser.
ID de version – ID de version de l'objet. Lorsque vous activez la gestion des versions sur un compartiment, Amazon S3 attribue un numéro de version aux objets qui sont ajoutés au compartiment. Pour plus d’informations, consultez Conservation de plusieurs versions d'objets grâce au versionnement S3. (Ce champ n'est pas inclus si la liste est configurée uniquement pour la version actuelle des objets.)
IsLatest— Défini sur True si l'objet est la version actuelle de l'objet. (Ce champ n'est pas inclus si la liste est configurée uniquement pour la version actuelle des objets.)
Marqueur de suppression – Défini sur True, si l'objet est un marqueur de suppression. Pour plus d’informations, consultez Conservation de plusieurs versions d'objets grâce au versionnement S3. (Ce champ est automatiquement ajouté à votre rapport si vous avez configuré celui-ci pour qu’il inclue toutes les versions de vos objets).
Taille : la taille de l'objet en octets, à l'exclusion de la taille des chargements partitionnés incomplets, des métadonnées de l'objet et des marqueurs de suppression.
Date de la dernière modification – Date de création de l'objet ou date de la dernière modification, la plus récente étant retenue.
ETag— La balise d'entité (ETag) est un hachage de l'objet. Le ETag reflète les modifications apportées uniquement au contenu d'un objet, et non à ses métadonnées. Il ETag peut s'agir d'un MD5 condensé des données de l'objet. Cela dépend de la façon dont l'objet a été créé et de la manière dont il est chiffré. Pour plus d’informations, consultez .Objectdans le Amazon Simple Storage Service API Reference.
Classe de stockage : classe de stockage utilisée pour stocker l'objet. Défini sur STANDARD, REDUCED_REDUNDANCY, STANDARD_IA, ONEZONE_IA, INTELLIGENT_TIERING, GLACIER, DEEP_ARCHIVE, OUTPOSTS, GLACIER_IR ou SNOW. Pour de plus amples informations, veuillez consulter Comprendre et gérer les classes de stockage Amazon S3.

Note
S3 Inventory ne prend pas en charge S3 Express One Zone.
Indicateur de chargement partitionné – Défini sur True si l'objet a été chargé dans un chargement partitionné. Pour plus d’informations, consultez Chargement et copie d'objets à l'aide d'un chargement partitionné.
Statut de réplication – Défini sur PENDING, COMPLETED, FAILED ou REPLICA. Pour de plus amples informations, veuillez consulter Obtention d'informations sur le statut de la réplication.
État du chiffrement — État du chiffrement côté serveur, en fonction du type de clé de chiffrement utilisé : chiffrement côté serveur avec des clés gérées par Amazon S3 (-S3), chiffrement côté serveur avec des clés (SSE) (-), chiffrement côté serveur double couche avec AWS Key Management Service des clés (SSE-KMS) ou chiffrement côté serveur avec des AWS KMS clés fournies par le client (DSSE-CKMS).AWS KMS SSE Définissez sur SSE-S3, SSE-KMS, DSSE-KMS, SSE-C ou NOT-SSE. Le statut NOT-SSE signifie que l'objet n'est pas chiffré avec le chiffrement côté serveur. Pour plus d’informations, consultez Protection des données à l'aide du chiffrement.
Date de fin de conservation du verrouillage d'objet S3 : date jusqu'à laquelle l'objet verrouillé ne peut pas être supprimé. Pour plus d’informations, consultez Verrouiller des objets avec Object Lock.
Mode de rétention de verrouillage d'objet S3 : défini sur Governance ou Compliance pour les objets qui sont verrouillés. Pour plus d’informations, consultez Verrouiller des objets avec Object Lock.
Statut de suspension juridique du verrouillage d'objet S3 : défini sur On si une suspension juridique a été appliquée à un objet. Sinon, elle est définie sur Off. Pour plus d’informations, consultez Verrouiller des objets avec Object Lock.
Niveau d'accès S3 Intelligent-Tiering : niveau d'accès (fréquent ou peu fréquent) de l'objet s'il est stocké dans S3 Intelligent-Tiering. Définissez sur FREQUENT, INFREQUENT, ARCHIVE_INSTANT_ACCESS, ARCHIVE ou DEEP_ARCHIVE. Pour plus d’informations, consultez Classe de stockage pour l'optimisation automatique des données avec des modèles d'accès inconnus ou irréguliers.
Statut de clé de compartiment S3 – Défini sur ENABLED ou DISABLED. Indique si l'objet utilise une clé de compartiment S3 pour SSE -KMS. Pour de plus amples informations, veuillez consulter Utilisation de clés de compartiment Amazon S3..
Algorithme de total de contrôle : algorithme utilisé pour créer le total de contrôle de l'objet. Pour de plus amples informations, veuillez consulter Utilisation des algorithmes de total de contrôle pris en charge.
Liste de contrôle d'accès aux objets : liste de contrôle d'accès (ACL) pour chaque objet qui définit le Comptes AWS ou les groupes autorisés à accéder à cet objet et le type d'accès accordé. Le ACL champ Objet est défini au JSON format. Un rapport d'inventaire S3 inclut ACLs les objets associés aux objets de votre compartiment source, même lorsqu'ils ACLs sont désactivés pour le compartiment. Pour plus d’informations, consultez Utilisation du ACL champ Objet et Vue d'ensemble de la liste de contrôle d'accès (ACL).
Note
Le ACL champ Objet est défini au JSON format. Un rapport d'inventaire affiche la valeur du ACL champ Objet sous forme de chaîne codée en base64.
Supposons, par exemple, que le JSON format du ACL champ Objet suivant soit le suivant :
```
{
        "version": "2022-11-10",
        "status": "AVAILABLE",
        "grants": [{
            "canonicalId": "example-canonical-user-ID",
            "type": "CanonicalUser",
            "permission": "READ"
        }]
}    
```
Le ACL champ Object est codé et affiché sous la forme de la chaîne codée en base64 suivante :
```
eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3siY2Fub25pY2FsSWQiOiJleGFtcGxlLWNhbm9uaWNhbC11c2VyLUlEIiwidHlwZSI6IkNhbm9uaWNhbFVzZXIiLCJwZXJtaXNzaW9uIjoiUkVBRCJ9XX0=
```
Pour obtenir la valeur décodée du ACL champ Objet, vous pouvez interroger ce champ dans Amazon Athena. JSON Pour d'autres exemples de requête, consultez Interrogation d'un inventaire Amazon S3 avec Amazon Athena.
Propriétaire de l'objet : ID utilisateur canonique du propriétaire de l'objet. Pour plus d'informations, voir Trouver l'ID utilisateur canonique de votre AWS compte dans le Guide de référence sur la gestion des AWS comptes.

Note

Lorsqu'un objet est en fin de vie selon la configuration de son cycle de vie, Amazon S3 le place dans une file d'attente en vue de sa suppression et le supprime de manière asynchrone. Cependant, un certain retard est possible entre la date d'expiration et la date à laquelle Amazon S3 supprime l'objet. Le rapport d'inventaire inclut les objets qui ont expiré mais qui n'ont pas encore été supprimés. Pour plus d'informations sur les actions d'expiration dans le cycle de vie S3, consultez Objets en cours d’expiration.

Voici un exemple de rapport d'inventaire avec des champs de métadonnées supplémentaires composés de quatre enregistrements.


amzn-s3-demo-bucket1    example-object-1    EXAMPLEDC8l.XJCENlF7LePaNIIvs001    TRUE        1500    2024-08-15T15:28:26.0004    EXAMPLE21e1518b92f3d92773570f600    STANDARD    FALSE    COMPLETED    SSE-KMS    2025-01-25T15:28:26.000Z    COMPLIANCE    Off        ENABLED        eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3sicGVybWlzc2lvbiI6IkZVTExfQ09OVFJPTCIsInR5cGUiOiJDYW5vbmljYWxVc2VyIiwiY2Fub25pY2FsSWQiOiJFWEFNUExFNzY2ZThmNmIxMTVkOTNkNDFkZjJlYWM0MjBhYTRhNDY1ZDE3N2MxMzk4YmM2YTA4OGM3NmI3MDAwIn1dfQ==    EXAMPLE766e8f6b115d93d41df2eac420aa4a465d177c1398bc6a088c76b7000
amzn-s3-demo-bucket1    example-object-2    EXAMPLEDC8l.XJCENlF7LePaNIIvs002    TRUE        200    2024-08-21T15:28:26.000Z    EXAMPLE21e1518b92f3d92773570f601    INTELLIGENT_TIERING    FALSE    COMPLETED    SSE-KMS    2025-01-25T15:28:26.000Z    COMPLIANCE    Off    INFREQUENT    ENABLED    SHA-256    eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3sicGVybWlzc2lvbiI6IkZVTExfQ09OVFJPTCIsInR5cGUiOiJDYW5vbmljYWxVc2VyIiwiY2Fub25pY2FsSWQiOiJFWEFNUExFNzY2ZThmNmIxMTVkOTNkNDFkZjJlYWM0MjBhYTRhNDY1ZDE3N2MxMzk4YmM2YTA4OGM3NmI3MDAwIn1dfQ==    EXAMPLE766e8f6b115d93d41df2eac420aa4a465d177c1398bc6a088c76b7001
amzn-s3-demo-bucket1    example-object-3    EXAMPLEDC8l.XJCENlF7LePaNIIvs003    TRUE        12500    2023-01-15T15:28:30.000Z    EXAMPLE21e1518b92f3d92773570f602    STANDARD    FALSE    REPLICA    SSE-KMS    2025-01-25T15:28:26.000Z    GOVERNANCE    On        ENABLED        eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3sicGVybWlzc2lvbiI6IkZVTExfQ09OVFJPTCIsInR5cGUiOiJDYW5vbmljYWxVc2VyIiwiY2Fub25pY2FsSWQiOiJFWEFNUExFNzY2ZThmNmIxMTVkOTNkNDFkZjJlYWM0MjBhYTRhNDY1ZDE3N2MxMzk4YmM2YTA4OGM3NmI3MDAwIn1dfQ==    EXAMPLE766e8f6b115d93d41df2eac420aa4a465d177c1398bc6a088c76b7002
amzn-s3-demo-bucket1    example-object-4    EXAMPLEDC8l.XJCENlF7LePaNIIvs004    TRUE        100    2021-02-15T15:28:27.000Z    EXAMPLE21e1518b92f3d92773570f603    STANDARD    FALSE    COMPLETED    SSE-KMS    2025-01-25T15:28:26.000Z    COMPLIANCE    Off        ENABLED        eyJ2ZXJzaW9uIjoiMjAyMi0xMS0xMCIsInN0YXR1cyI6IkFWQUlMQUJMRSIsImdyYW50cyI6W3sicGVybWlzc2lvbiI6IkZVTExfQ09OVFJPTCIsInR5cGUiOiJDYW5vbmljYWxVc2VyIiwiY2Fub25pY2FsSWQiOiJFWEFNUExFNzY2ZThmNmIxMTVkOTNkNDFkZjJlYWM0MjBhYTRhNDY1ZDE3N2MxMzk4YmM2YTA4OGM3NmI3MDAwIn1dfQ==    EXAMPLE766e8f6b115d93d41df2eac420aa4a465d177c1398bc6a088c76b7003

Nous vous recommandons de créer une stratégie de cycle de vie qui supprime les anciennes listes d'inventaire. Pour plus d’informations, consultez Gestion du cycle de vie des objets.

L'autorisation s3:PutInventoryConfiguration permet à l'utilisateur de sélectionner tous les champs de métadonnées répertoriés précédemment pour chaque objet lors de la configuration d'une liste d'inventaire et de spécifier le compartiment de destination pour stocker l'inventaire. Un utilisateur disposant d'un accès en lecture aux objets du compartiment de destination peut accéder à tous les champs de métadonnées d'objets disponibles dans la liste d'inventaire. Pour restreindre l'accès à un rapport d'inventaire, consultez Accorder des autorisations pour l'inventaire S3 et les analyses S3..

Cohérence de l'inventaire

Tous vos objets peuvent ne pas apparaître dans chaque liste d'inventaire. La liste d'inventaire fournit une cohérence à terme pour des requêtes PUT (des objets nouveaux et de remplacement) et pour des requêtes DELETE. Chaque liste d'inventaire d'un compartiment est un instantané des articles du compartiment. Ces listes sont finalement cohérentes (c'est-à-dire qu'une liste peut ne pas inclure les objets récemment ajoutés ou supprimés).

Pour valider l'état d'un objet avant d'agir sur celui-ci, nous vous recommandons d'exécuter une HeadObject REST API demande pour récupérer les métadonnées de l'objet ou pour vérifier les propriétés de l'objet dans la console Amazon S3. Vous pouvez également vérifier les métadonnées des objets à l'aide du AWS CLI ou du AWS SDKS. Pour plus d'informations, consultez HeadObjectle manuel Amazon Simple Storage Service API Reference.

Pour plus d'informations sur l'utilisation de l'inventaire Amazon S3, consultez les rubriques suivantes.

Rubriques

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Suppression d'un groupe Storage Lens

Configuration d'Amazon S3 Inventory