DistCp S3 (s3-dist-cp)

Der Speicherort der zu kopierenden Daten. Hierbei kann es sich entweder um einen HDFS- oder Amazon-S3-Speicherort handeln.

Beispiel: ‑‑src=s3://amzn-s3-demo-bucket/logs/j-3GYXXXXXX9IOJ/node

Das Ziel für die Daten. Hierbei kann es sich entweder um einen HDFS- oder Amazon-S3-Speicherort handeln.

Beispiel: ‑‑dest=hdfs:///output

Ein regulärer Ausdruck, der die Kopieroperation auf eine Teilmenge der Daten unter ‑‑src filtert. Wenn weder ‑‑srcPattern noch ‑‑groupBy angegeben ist, werden alle Daten unter ‑‑src in ‑‑dest kopiert.

Wenn das Argument des regulären Ausdrucks Sonderzeichen wie Sternchen (*) enthält, muss entweder der reguläre Ausdruck oder die gesamte ‑‑args-Zeichenfolge in einfache Anführungszeichen (') gesetzt werden.

Beispiel: ‑‑srcPattern=.*daemons.*-hadoop-.*

Ein regulärer Ausdruck, der S3 veranlasst, Dateien DistCp zu verketten, die dem Ausdruck entsprechen. Sie können mit dieser Option beispielsweise alle Protokolldateien kombinieren, die innerhalb einer Stunde in einer einzigen Datei geschrieben wurden. Der verkettete Dateiname ist der Wert, der dem regulären Ausdruck für die Gruppe entspricht.

Klammern geben an, wie Dateien gruppiert werden soll, wobei alle Elemente, die der eingeklammerten Anweisung entsprechen, zu einer einzigen Ausgabedatei kombiniert werden. Wenn der reguläre Ausdruck keine Anweisung in Klammern enthält, schlägt der Cluster beim Schritt S3 DistCp fehl und gibt einen Fehler zurück.

Wenn das Argument des regulären Ausdrucks Sonderzeichen wie Sternchen (*) enthält, muss entweder der reguläre Ausdruck oder die gesamte ‑‑args-Zeichenfolge in einfache Anführungszeichen (') gesetzt werden.

Wenn ‑‑groupBy angegeben ist, werden nur Dateien kopiert, die dem angegebenen Muster entsprechen. Sie müssen ‑‑groupBy und ‑‑srcPattern nicht gleichzeitig angeben.

Beispiel: ‑‑groupBy=.*subnetid.*([0-9]+-[0-9]+-[0-9]+-[0-9]+).*

Die Größe (in Mebibyte (MiB)) der Dateien, die basierend auf der ‑‑groupBy-Option erstellt werden sollen. Dieser Wert muss eine Ganzzahl sein. Wenn dieser ‑‑targetSize Wert gesetzt ist, DistCp versucht S3, dieser Größe zu entsprechen. Die tatsächliche Größe der kopierten Dateien kann größer oder kleiner als dieser Wert sein. Aufträge werden basierend auf der Größe der Datendatei aggregiert. Deshalb ist es möglich, dass die Zieldateigröße der Quelldateigröße entspricht.

Wenn die durch ‑‑groupBy verketteten Dateien größer als der Wert ‑‑targetSize sind, werden sie in Teildateien aufgelöst und sequenziell mit einem an das Ende angefügten numerischen Wert benannt. Eine Datei, die beispielsweise zu myfile.gz verkettet ist, wird wie folgt in mehrere Teile unterteilt: myfile0.gz, myfile1.gz usw.

Beispiel: ‑‑targetSize=2

Gibt das Verhalten von S3 DistCp beim Kopieren von Dateien von Amazon S3 nach HDFS an, die bereits vorhanden sind. Es werden neue Dateidaten an vorhandene Dateien angefügt. Wenn Sie ‑‑appendToLastFile mit ‑‑groupBy verwenden, werden neue Daten an Dateien angefügt, die denselben Gruppen entsprechen. Diese Option respektiert auch das ‑‑targetSize-Verhalten, wenn sie mit ‑‑groupBy. verwendet wird.

Gibt den Komprimierungs-Codec für die kopierten Dateien an. Mögliche Werte sind: gzip, gz, lzo, snappy oder none. Sie können diese Option beispielsweise verwenden, um Eingabedateien, die mit Gzip komprimiert sind, in Ausgabedateien mit LZO-Komprimierung zu konvertieren oder um die Dateien im Rahmen der Kopieroperation zu dekomprimieren. Wenn Sie einen Ausgabe-Codec auswählen, wird dem Dateinamen die entsprechende Erweiterung angefügt (z. B. für gz und gzip die Erweiterung .gz). Wenn Sie keinen Wert für ‑‑outputCodec angeben, werden die Dateien ohne Änderung der Komprimierung kopiert.

Beispiel: ‑‑outputCodec=lzo

Stellt sicher, dass die Zieldaten mit SSL übertragen und in Amazon S3 automatisch mit einem AWS serviceseitigen Schlüssel verschlüsselt werden. Beim Abrufen von Daten mit S3 DistCp werden die Objekte automatisch entschlüsselt. Wenn Sie versuchen, ein entschlüsseltes Objekt in einen Amazon-S3-Bucket zu kopieren, für den eine Verschlüsselung erforderlich ist, schlägt die Operation fehl. Weitere Informationen finden Sie unter Verwenden der Datenverschlüsselung.

Beispiel: ‑‑s3ServerSideEncryption

Wenn der Kopiervorgang erfolgreich ist, veranlasst diese Option S3, die kopierten Dateien vom Quellspeicherort DistCp zu löschen. Dies ist nützlich, wenn Sie Ausgabedateien, wie Protokolldateien, von einem Speicherort an einen anderen als geplante Aufgabe kopieren und dieselben Dateien nicht zweimal kopiert werden sollen.

Beispiel: ‑‑deleteOnSuccess

Deaktiviert die Verwendung des mehrteiligen Uploads.

Beispiel: ‑‑disableMultipartUpload

Die Größe jedes Teils in einem mehrteiligen Amazon-S3-Upload in MiB. S3 DistCp verwendet den mehrteiligen Upload, wenn Daten kopiert werden, die multipartUploadChunkSize größer sind als. Um die Arbeitsleistung zu verbessern, können Sie die Größe der einzelnen Teile erhöhen. Die Standardgröße beträgt 128 MiB.

Beispiel: ‑‑multipartUploadChunkSize=1000

Stellt Ausgabedateien sequenzielle Nummern voran. Die Zählung beginnt bei 0, es sei denn, von ‑‑startingIndex wird ein anderer Wert angegeben.

Beispiel: ‑‑numberFiles

Wird mit ‑‑numberFiles verwendet, um die erste Nummer in der Sequenz anzugeben.

Beispiel: ‑‑startingIndex=1

Erstellt eine mit Gzip komprimierte Textdatei, die eine Liste aller von S3 kopierten Dateien enthält. DistCp

Beispiel: ‑‑outputManifest=manifest-1.gz

Liest eine Manifestdatei, die bei einem früheren Aufruf von S3 DistCp mit dem ‑‑outputManifest Flag erstellt wurde. Wenn das ‑‑previousManifest Flag gesetzt ist, DistCp schließt S3 die im Manifest aufgelisteten Dateien vom Kopiervorgang aus. Wenn ‑‑outputManifest zusammen mit ‑‑previousManifest angegeben ist, erscheinen die im vorherigen Manifest aufgeführten Dateien auch in der neuen Manifestdatei, obwohl die Dateien nicht kopiert werden.

Beispiel: ‑‑previousManifest=/usr/bin/manifest-1.gz

Erfordert ein vorheriges Manifest, das während eines vorherigen Aufrufs von S3 DistCp erstellt wurde. Wenn dieser Wert auf "false" festgelegt ist, wird kein Fehler generiert, wenn kein vorheriges Manifest angegeben ist. Der Standardwert ist „true“.

Kehrt das Verhalten ‑‑previousManifest um, dass S3 DistCp die angegebene Manifestdatei als Liste der zu kopierenden Dateien verwendet, anstatt als Liste von Dateien, die vom Kopieren ausgeschlossen werden sollen.

Beispiel: ‑‑copyFromManifest ‑‑previousManifest=/usr/bin/manifest-1.gz

Gibt den Amazon-S3-Endpunkt an, der beim Hochladen einer Datei verwendet werden soll. Mit dieser Option wird der Endpunkt sowohl für die Quelle als auch das Ziel festgelegt. Falls die Option nicht festgelegt ist, wird als Standardendpunkt s3.amazonaws.com verwendet. Eine Liste der Amazon-S3-Endpunkte finden Sie unter Regionen und Endpunkte.

Beispiel: ‑‑s3Endpoint=s3.eu-west-1.amazonaws.com

Die zu verwendende Speicherklasse, wenn das Ziel Amazon S3 ist. Gültige Werte sind STANDARD und REDUCED_REDUNDANCY. Wenn diese Option nicht angegeben ist, DistCp versucht S3, die Speicherklasse beizubehalten.

Beispiel: ‑‑storageClass=STANDARD

Eine Textdatei in Amazon S3 (s3://), HDFS (hdfs:///) oder dem lokalen Dateisystem (file:/) mit einer Liste von src-Präfixen, in der ein Präfix pro Zeile aufgeführt wird.

Wenn srcPrefixesFile angegeben, listet S3 DistCp den src-Pfad nicht auf. Stattdessen wird eine Quellliste als kombiniertes Ergebnis der Auflistung aller in dieser Datei angegebenen Präfixe erstellt. Der relative Pfad im Vergleich zum src-Pfad, wird statt dieser Präfixe verwendet, um die Zielpfade zu generieren. Wenn srcPattern angegeben ist, wird dieser Wert auf die kombinierten Listenergebnisse der Quellpräfixe angewendet, um die Eingabe weiter zu filtern. Wenn copyFromManifest verwendet wird, werden die Objekte im Manifest kopiert und srcPrefixesFile wird ignoriert.

Beispiel: ‑‑srcPrefixesFile=PATH