Massenausführung von Objektoperationen mit Batch Operations - Amazon Simple Storage Service

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Massenausführung von Objektoperationen mit Batch Operations

Sie können S3-Batch-Vorgänge verwenden, um umfangreiche Batch-Vorgänge für Amazon S3-Objekte durchzuführen. S3-Batch-Vorgänge kann eine einzelne Operation für Listen von Amazon S3-Objekten durchführen, die Sie angeben. Ein einziger Auftrag kann eine festgelegte Operation auf Milliarden von Objekten mit mehreren Exabytes an Daten durchführen. Amazon S3 verfolgt den Fortschritt, versendet Benachrichtigungen und speichert einen detaillierten Abschlussbericht zu allen Aktionen. So profitieren Sie von einer vollständig verwalteten, prüfbaren und serverlosen Umgebung. Sie können S3 Batch Operations über die Amazon S3-Konsole AWS CLI, AWS SDKs, oder Amazon S3 verwenden RESTAPI.

Verwenden Sie S3 Batch Operations, um Objekte zu kopieren und Objekt-Tags oder Zugriffskontrolllisten festzulegen (ACLs). Sie können Objekt-Wiederherstellungen auch von S3 Glacier Flexible Retrieval aus initiieren oder eine AWS Lambda -Funktion aufrufen, um benutzerdefinierte Aktionen mit Ihren Objekten durchzuführen. Sie können diese Vorgänge für eine benutzerdefinierte Liste von Objekten durchführen oder mit einem Amazon S3 Inventory einfach Objektlisten erzeugen. Amazon S3 Batch Operations verwendet dieselben Amazon API S3-Operationen, die Sie bereits mit Amazon S3 verwenden.

Anmerkung

Weitere Informationen zur Verwendung der Speicherklasse Amazon S3 Express One Zone mit Verzeichnis-Buckets finden Sie unter Verzeichnis-Buckets und S3 Express One Zone und Übersicht über Verzeichnis-Buckets. Weitere Informationen zur Verwendung von Batch Operations mit S3 Express One Zone und Verzeichnis-Buckets finden Sie unter Verwenden von Batch Operations mit S3 Express One Zone.

Grundlagen von S3-BatchVorgänge

Sie können S3-Batch-Vorgänge verwenden, um umfangreiche Batch-Vorgänge für Amazon S3-Objekte durchzuführen. S3-Batch-Vorgänge kann eine einzelne Operation oder Aktion in Listen von Amazon S3-Objekten ausführen, die Sie angeben.

Terminologie

In diesem Abschnitt werden die Begriffe Manifeste, Jobs, Operationen und Aufgaben verwendet, die wie folgt definiert sind:

Manifest

Ein Manifest ist ein Amazon-S3-Objekt, das Objektschlüssel enthält, die Amazon S3 bearbeiten soll. Wenn Sie einen Batch Operations-Job erstellen möchten, müssen Sie ein Manifest angeben. Ihr benutzergeneriertes Manifest muss den Bucket-Namen, den Objektschlüssel und optional die Objektversion für jedes Objekt enthalten. Wenn Sie ein benutzergeneriertes Manifest bereitstellen, muss es in Form eines Amazon S3 S3-Lagerberichts oder einer CSV Datei vorliegen.

Sie können Amazon S3 auch automatisch ein Manifest auf der Grundlage von Objektfilterkriterien generieren lassen, die Sie bei der Erstellung Ihres Jobs angeben. Diese Option ist für S3-Batch-Replikationsaufträge verfügbar, die Sie in der Amazon S3-Konsole erstellen, oder für jeden Auftragstyp, den Sie mit AWS Command Line Interface (AWS CLI) AWS SDKs, oder Amazon S3 erstellen RESTAPI.

Aufgabe

Ein Auftrag ist die grundlegende Arbeitseinheit für S3-BatchVorgänge. Eine Aufgabe enthält alle Informationen, die erforderlich sind, um die angegebene Operation für die im Manifest aufgeführten Objekte auszuführen. Sobald Sie diese Informationen bereitgestellt und den Beginn des Auftrags angefordert haben, führt die Aufgabe die Operation für alle Objekte im Manifest durch.

Operation

Bei dem Vorgang handelt es sich um die Art der API Aktion, z. B. das Kopieren von Objekten, die der Job Batch Operations ausführen soll. Jeder Auftrag führt einen einzelnen Typ von Operation für alle Objekte aus, die im Manifest angegeben sind.

Aufgabe

Eine Aufgabe ist die Ausführungseinheit für einen Auftrag. Eine Aufgabe stellt einen einzelnen Aufruf an einen Amazon S3 oder eine AWS Lambda API Operation dar, um den Vorgang des Auftrags für ein einzelnes Objekt auszuführen. Während der Lebensdauer eines Auftrag erstellt S3-Batch-Vorgänge eine Aufgabe für jedes Objekt, das im Manifest angegeben ist.

Funktionsweise eines S3-Batchoperations-Auftrags

Ein Auftrag ist die grundlegende Arbeitseinheit für S3-BatchVorgänge. Eine Aufgabe enthält alle Informationen, die erforderlich sind, um die angegebene Operation für eine Liste von Objekten auszuführen. Um einen Auftrag zu erstellen, übergeben Sie S3-Batch-Vorgänge eine Liste von Objekten und geben die Aktion an, die für diese Objekte ausgeführt werden soll.

Informationen zu den Vorgängen, die S3 Batch Operations unterstützt, finden Sie unter Von S3 Batch-Vorgänge unterstützte Vorgänge.

Ein Batch-Job führt einen bestimmten Vorgang für jedes Objekt aus, das in seinem Manifest enthalten ist. Ein Manifest listet die Objekte auf, die ein Batch-Auftrag verarbeiten soll, und es wird als Objekt in einem Bucket gespeichert. Sie können einen Katalogisieren und Analysieren Ihrer Daten mit S3 Inventory Bericht im Format mit kommagetrennten Werten (CSV) als Manifest verwenden, wodurch es einfach ist, große Listen von Objekten zu erstellen, die sich in einem Bucket befinden. Sie können auch ein Manifest in einem einfachen CSV Format angeben, das es Ihnen ermöglicht, Batch-Operationen für eine benutzerdefinierte Liste von Objekten durchzuführen, die in einem einzelnen Bucket enthalten sind.

Nachdem Sie einen Auftrag erstellt haben, verarbeitet Amazon S3 die Liste der Objekte in dem Manifest und führt die festgelegte Operation für jedes Objekt aus. Während ein Auftrag ausgeführt wird, können Sie den Fortschritt programmgesteuert oder über die Amazon S3-Konsole überwachen. Sie können einen Auftrag auch so konfigurieren, dass er nach Ende der Ausführung einen Abschlussbericht erzeugt. Der Abschlussbericht beschreibt die Ergebnisse jeder Aufgabe, die von dem Auftrag durchgeführt wurde. Weitere allgemeine Informationen zur Überwachung von Aufträgen finden Sie unter Verwalten von S3-Batch-Vorgangsaufträgen.

Tutorial zu S3-Batchvorgängen

Das folgende Tutorial enthält vollständige end-to-end Verfahren für einige Batch-Operationsaufgaben.