Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Daten aus Amazon S3 uploaden

Informationen zum Hochladen von Objekten in Amazon S3 finden Sie unter Ein Objekts zu Ihrem Bucket hinzufügen im Benutzerhandbuch zu Amazon Simple Storage Service. Weitere Informationen zur Verwendung von Amazon S3 mit Hadoop finden Sie unter http://wiki.apache.org/hadoop/AmazonS3.

Erstellen und Konfigurieren eines Amazon S3-Buckets

Amazon EMR verwendet das AWS SDK for Java zusammen mit Amazon S3, um Eingabedaten, Protokolldateien und Ausgabedaten zu speichern. Amazon S3 bezeichnet diese Speicherorte als Buckets. Buckets unterliegen bestimmten Einschränkungen und Beschränkungen, um Amazon S3 und DNS den Anforderungen zu entsprechen. Weitere Informationen finden Sie unter Bucket-Einschränkungen und -Limits im Benutzerhandbuch zu Amazon Simple Storage Service.

In diesem Abschnitt erfahren Sie, wie Sie Amazon S3 verwenden AWS Management Console , um Berechtigungen für einen Amazon S3 S3-Bucket zu erstellen und anschließend festzulegen. Sie können auch mit Amazon S3 API oder Berechtigungen für einen Amazon S3-Bucket erstellen und festlegen AWS CLI. Sie können Curl auch zusammen mit einer Änderung verwenden, um die entsprechenden Authentifizierungsparameter für Amazon S3 zu übergeben.

Weitere Informationen finden Sie in den folgenden Ressourcen:

Während der Bucket-Erstellung oder danach können Sie die entsprechenden Berechtigungen für den Zugriff auf den Bucket festlegen, abhängig von Ihrer Anwendung. Hierbei sollten Sie sich selbst (als Eigentümer) Lese- und Schreibzugriff und anderen autorisierten Benutzern Lesezugriff erteilen.

Erforderliche Amazon-S3-Buckets müssen vorhanden sein, bevor Sie einen Cluster erstellen können. Sie müssen alle erforderlichen Skripts und Daten auf Amazon S3 hochladen, auf die im Cluster verwiesen wird. In der folgenden Tabelle werden Beispiele für Speicherorte für Daten, Skripts und Protokolldateien beschrieben.

Konfigurieren von mehrteiligen Uploads für Amazon S3

Amazon EMR unterstützt den mehrteiligen Amazon S3-Upload über das AWS SDK für Java. Mit dem mehrteiligen Upload können Sie ein einzelnes Objekt in mehreren Teilen hochladen. Sie können diese Objektteile unabhängig und in beliebiger Reihenfolge hochladen. Wenn die Übertragung eines Teils fehlschlägt, können Sie das Teil erneut übertragen, ohne dass dies Auswirkungen auf andere Teile hat. Nachdem alle Teile Ihres Objekts hochgeladen sind, fügt Amazon S3 diese Teile zusammen und erstellt das Objekt.

Weitere Informationen finden Sie unter Mehrteiliger Upload – Übersicht im Benutzerhandbuch zu Amazon Simple Storage Service.

Darüber hinaus EMR bietet Amazon Funktionen, mit denen Sie die Bereinigung fehlgeschlagener mehrteiliger Upload-Teile genauer steuern können.

In der folgenden Tabelle werden die EMR Amazon-Konfigurationseigenschaften für den mehrteiligen Upload beschrieben. Sie können diese mit der Konfigurationsklassifizierung core-site konfigurieren. Weitere Informationen finden Sie unter Anwendungen konfigurieren im EMRAmazon-Versionshandbuch.

So deaktivieren Sie mehrteilige Uploads

Console

Um mehrteilige Uploads mit der Konsole zu deaktivieren

1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

2. Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Clusters und anschließend Create cluster aus.

3. Geben Sie in Softwareeinstellungen bearbeiten die folgende Konfiguration ein: classification=core-site,properties=[fs.s3n.multipart.uploads.enabled=false].

4. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

5. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

CLI

Um den mehrteiligen Upload zu deaktivieren, verwenden Sie den AWS CLI

In diesem Verfahren wird erläutert, wie Sie mehrteilige Uploads mithilfe der AWS CLI deaktivieren. Um mehrteilige Uploads zu deaktivieren, geben Sie den Befehl create-cluster mit dem Parameter --bootstrap-actions ein.

1. Erstellen Sie eine Datei mit dem Namen myConfig.json und dem folgenden Inhalt und speichern Sie sie in dem Verzeichnis, in dem Sie den Befehl ausführen:

   [
     {
       "Classification": "core-site",
       "Properties": {
         "fs.s3n.multipart.uploads.enabled": "false"
       }
     }
   ]

2. Geben Sie den folgenden Befehl ein und ersetzen Sie myKey mit dem Namen Ihres EC2 key pair.

   Anmerkung

   Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

   aws emr create-cluster --name "Test cluster" \
   --release-label emr-7.2.0 --applications Name=Hive Name=Pig \
   --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
   --instance-count 3 --configurations file://myConfig.json

API

Um den mehrteiligen Upload zu deaktivieren, verwenden Sie API

• Informationen zur programmgesteuerten Verwendung von mehrteiligen Amazon S3 S3-Uploads finden Sie unter Using the AWS SDK for Java for Multipart Upload im Amazon Simple Storage Service-Benutzerhandbuch.

  Weitere Informationen über das für Java finden Sie unter AWS SDK für Java.AWS SDK

Bewährte Methoden

Im Folgenden finden Sie Empfehlungen für die Verwendung von Amazon S3 S3-Buckets mit EMR Clustern.

Aktivieren von Versioning

Versioning ist eine empfohlene Konfiguration für Ihre Amazon S3-Buckets. Durch das Aktivieren von Versioning stellen Sie sicher, dass Sie auch versehentlich gelöschte oder überschriebene Daten wiederhergestellt werden können. Weitere Informationen finden Sie unter Verwenden von Versionsverwaltung im Benutzerhandbuch für Amazon Simple Storage Service.

Bereinigung mehrteiliger Uploads fehlgeschlagen

EMRCluster-Komponenten verwenden standardmäßig mehrteilige Uploads über Java mit Amazon S3APIs, um Protokolldateien zu schreiben und Daten in Amazon S3 auszugeben. AWS SDK Informationen zum Ändern der Eigenschaften dieser Konfiguration mithilfe von Amazon EMR finden Sie unterKonfigurieren von mehrteiligen Uploads für Amazon S3. Es kann vorkommen, dass das Hochladen einer großen Datei zu einem unvollständigen mehrteiligen Upload in Amazon S3 führt. Wenn ein mehrteiliger Upload nicht erfolgreich abgeschlossen werden kann, belegt der laufende Vorgang Ihren Bucket und es fallen Speichergebühren an. Wir empfehlen die folgenden Optionen, um eine übermäßige Dateispeicherung zu vermeiden:

Versionsmarkierungen verwalten

Wir empfehlen Ihnen, eine Lebenszyklus-Konfigurationsregel in Amazon S3 zu aktivieren, um Markierungen zum Löschen abgelaufener Objekte für versionierte Buckets zu entfernen, die Sie mit Amazon verwenden. EMR Beim Löschen eines Objekts in einem versionierten Bucket wird eine Löschmarkierung erstellt. Wenn anschließend alle vorherigen Versionen des Objekts ablaufen, verbleibt eine Löschmarkierung für abgelaufene Objekte im Bucket. Für Löschmarkierungen fallen zwar keine Gebühren an, aber das Entfernen abgelaufener Markierungen kann die Leistung von LIST Anfragen verbessern. Weitere Informationen finden Sie unter Lebenszykluskonfiguration für einen Bucket mit Versionsverwaltung im Benutzerhandbuch zu Amazon Simple Storage Service.

Bewährte Methoden zur Leistungssteigerung

Abhängig von Ihren Workloads können bestimmte Arten der Nutzung von EMR Clustern und Anwendungen auf diesen Clustern zu einer hohen Anzahl von Anfragen an einen Bucket führen. Weitere Informationen finden Sie unter Erwägungen zur Anforderungsrate und Leistung im Benutzerhandbuch zu Amazon Simple Storage Service.