Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Spécifications de performance

S3 Files adapte automatiquement le débit et les IOPS en fonction de votre charge de travail sans que vous ayez à provisionner ou à gérer la capacité. Cette page décrit les caractéristiques de performance des fichiers S3.

Récapitulatif des performances

Comment S3 Files offre des performances

S3 Files gère les données provenant de deux niveaux de stockage et achemine automatiquement chaque opération vers le niveau qui lui convient le mieux.

High-performance stockage  : couche de stockage à faible latence de votre système de fichiers où résident les données de fichiers et les métadonnées utilisées activement. S3 Files gère automatiquement ce stockage, en y copiant les données lorsque vous accédez à des fichiers et en supprimant les données qui n'ont pas été lues dans une fenêtre d'expiration configurable. Vous payez un tarif de stockage pour les données stockées sur le stockage haute performance.

Directement depuis S3 — S3 Files diffuse les lectures de fichiers directement depuis votre compartiment S3 dans deux cas : lorsque les données du fichier ne sont pas stockées dans le stockage haute performance du système de fichiers et pour les lectures volumineuses >= 1 Mo, même lorsque les données se trouvent également sur le stockage haute performance du système de fichiers. Le compartiment S3 est optimisé pour un débit élevé, tandis que la couche de stockage haute performance du système de fichiers est optimisée pour un accès à faible latence. Cette approche hiérarchisée pour le streaming de données directement à partir du compartiment S3 fournit un débit élevé pour les lectures séquentielles, ce qui la rend parfaitement adaptée à l'analyse, au traitement multimédia et à d'autres charges de travail de streaming. S3 Files importe de manière asynchrone les données des petits fichiers (< 128 Ko par défaut) vers le stockage haute performance du système de fichiers pour un accès à faible latence lors des lectures suivantes.

Étant donné que S3 Files applique automatiquement ce modèle à deux niveaux, vous n'avez pas à choisir entre la latence et le débit. Small-file les charges de travail améliorent les performances du système de fichiers. Large-file les charges de travail bénéficient d'un débit S3. Les charges de travail mixtes permettent d'obtenir les deux.

Lire les performances

Le débit de lecture varie en fonction du nombre d'instances de calcul connectées et du degré de parallélisme au sein de chaque instance. Le débit de lecture maximal par client est de 3 GiB/s. S3 Files prend en charge jusqu'à téraoctets par seconde de débit de lecture agrégé et jusqu'à 250 000 IOPS en lecture par système de fichiers.

Rédiger des performances

Les écritures sont transférées vers le stockage haute performance et sont durables immédiatement. Selon la région, S3 Files prend en charge 1 à 5 % du débit GiB/s d'écriture agrégé et jusqu'à 50 000 IOPS en écriture par système de fichiers. Écrivez des échelles de performance de manière élastique en fonction de l'activité de la charge de travail

Lorsque vous modifiez un fichier dans le système de fichiers, S3 Files attend environ 60 secondes, agrégeant toutes les modifications successives apportées au fichier pendant cette période, avant de le copier dans votre compartiment S3. Cela signifie que les écritures successives rapides dans le même fichier sont capturées dans une seule requête PUT S3 au lieu de générer une nouvelle version de l'objet pour chaque modification individuelle, ce qui réduit les coûts de vos requêtes S3 et vos coûts de stockage. Si vous continuez à modifier le fichier après que S3 Files ait copié vos modifications dans le compartiment S3, S3 copiera les modifications suivantes si nécessaire.

Latence du premier accès

La première fois que vous accédez à un répertoire, S3 Files importe les métadonnées de tous les fichiers de ce répertoire et, selon votre configuration d'importation, les données des petits fichiers. Votre accès initial prend donc plus de temps que les opérations suivantes. Une fois importées, toutes les listes de répertoires et tous les accès aux fichiers suivants sont renvoyés avec une faible latence.

Performance de synchronisation

S3 Files synchronise les modifications entre votre système de fichiers et le compartiment S3 en arrière-plan.

Importer des modifications depuis S3  : lorsqu'une autre application ajoute ou modifie un objet dans votre compartiment S3, S3 Files reflète généralement les modifications apportées à votre système de fichiers en quelques secondes. S3 Files traite jusqu'à 2 400 modifications d'objets par seconde et par système de fichiers, avec un débit de données d'importation pouvant atteindre 700 mégaoctets par seconde.

Exportation des modifications vers S3 — Lorsque vous écrivez un fichier via le système de fichiers, S3 Files regroupe vos modifications pendant environ 60 secondes afin de consolider les écritures successives rapides en une seule version d'objet S3, réduisant ainsi vos coûts de requête S3 et de version de stockage. Après la fenêtre de traitement par lots, S3 Files copie le fichier dans votre compartiment S3. S3 Files exporte jusqu'à 800 fichiers par seconde par système de fichiers, avec un débit de données d'exportation pouvant atteindre 2 700 mégaoctets par seconde.

Amazon S3 utilise une structure de stockage plate dans laquelle les objets sont identifiés par leur nom de clé. Alors que S3 Files vous permet d'organiser vos données dans des répertoires, S3 n'a pas de concept natif de répertoires. Ce qui apparaît comme un répertoire dans votre système de fichiers est un préfixe commun partagé par les clés des objets du compartiment S3. De plus, les objets S3 sont immuables et ne prennent pas en charge les renommages atomiques. Par conséquent, lorsque vous renommez ou déplacez un fichier, S3 Files doit écrire les données dans un nouvel objet avec la clé mise à jour et supprimer l'original. Lorsque vous renommez ou déplacez un répertoire, S3 Files doit répéter ce processus pour chaque objet qui partage ce préfixe. Par conséquent, lorsque vous renommez ou déplacez un répertoire contenant des dizaines de millions de fichiers, les coûts de votre requête S3 et le temps de synchronisation augmentent considérablement. Le changement de nom d'un répertoire de 100 000 fichiers prend quelques minutes pour être entièrement reflété dans le compartiment S3, bien que le changement de nom soit instantané sur le système de fichiers. Pour de plus amples informations, veuillez consulter Comprendre l'impact des opérations de renommage et de déplacement.

Si votre charge de travail génère des modifications plus rapidement que le taux de synchronisation, S3 Files met les modifications en file d'attente et les traite dans l'ordre. Vous pouvez suivre le nombre d'exportations en attente à l'aide de cette PendingExports CloudWatch métrique. Pour de plus amples informations, veuillez consulter Surveillance des fichiers S3 avec Amazon CloudWatch.

Surveillance des performances

Vous pouvez surveiller les performances de votre système de fichiers à l'aide d'Amazon CloudWatch. S3 Files publie des mesuresDataReadBytes, notammentDataWriteBytes, et MetadataReadBytesMetadataWriteBytes, que vous pouvez utiliser pour suivre le débit et les IOPS au fil du temps. Pour de plus amples informations, veuillez consulter Surveillance des fichiers S3 avec Amazon CloudWatch.