Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
S3DistCp differenze di utilità con le versioni AMI precedenti di Amazon EMR
S3DistCp versioni supportate in Amazon EMR
Le seguenti S3DistCp versioni sono supportate nelle versioni AMI di Amazon EMR. S3DistCple versioni successive alla 1.0.7 si trovano direttamente nei cluster. Utilizza il file JAR in /home/hadoop/lib per le caratteristiche più recenti.
| Versione | Description | Data di rilascio |
|---|---|---|
| 1.0.8 | Aggiunge le opzioni --appendToLastFile, --requirePreviousManifest e --storageClass. |
3 gennaio 2014 |
| 1.0.7 | Aggiunge l'opzione --s3ServerSideEncryption. |
2 maggio 2013 |
| 1.0.6 | Aggiunge l'opzione --s3Endpoint. |
6 agosto 2012 |
| 1.0.5 | Migliora la capacità di specificare quale versione eseguire. S3DistCp | 27 giugno 2012 |
| 1.0.4 | Migliora l'opzione --deleteOnSuccess. |
19 giugno 2012 |
| 1.0.3 | Aggiunge supporto per le opzioni --numberFiles e --startingIndex. |
12 giugno 2012 |
| 1.0.2 | Migliora la denominazione di file quando si utilizzano gruppi. | 6 giugno 2012 |
| 1.0.1 | Versione iniziale di S3DistCp. | 19 gennaio 2012 |
Aggiungere una fase di S3DistCp copia a un cluster
Per aggiungere una fase di S3DistCp copia a un cluster in esecuzione, digita il comando seguente, sostituiscilo j-3GYXXXXXX9IOK con l'ID del cluster e sostituiscilo amzn-s3-demo-bucket con il nome del tuo bucket Amazon S3.
Nota
I caratteri di continuazione della riga Linux (\) sono inclusi per questioni di leggibilità. Possono essere rimossi o utilizzati nei comandi Linux. Per Windows, rimuovili o sostituiscili con un accento circonflesso (^).
aws emr add-steps --cluster-idj-3GYXXXXXX9IOK\ --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ Args=["--s3Endpoint,s3-eu-west-1.amazonaws.com",\ "--src,s3://amzn-s3-demo-bucket/logs/j-3GYXXXXXX9IOJ/node/",\ "--dest,hdfs:///output",\ "--srcPattern,.*[a-zA-Z,]+"]
Esempio Carica i CloudFront log Amazon in HDFS
Questo esempio carica i CloudFront log di Amazon in HDFS aggiungendo un passaggio a un cluster in esecuzione. Cambia inoltre il formato di compressione da Gzip (l'impostazione predefinita in CloudFront) in LZO. Ciò è utile in quanto i dati compressi con LZO possono essere suddivisi in più mappe non appena vengono decompressi, senza quindi attendere il completamento della compressione, come avviene con Gzip. Di conseguenza, si ha un miglioramento delle prestazioni durante l'analisi dei dati con Amazon EMR. L'esempio migliora le prestazioni anche mediante l'utilizzo dell'espressione regolare specificata nell'opzione --groupBy per combinare tutti i log di una determinata ora in un singolo file. I cluster Amazon EMR sono più efficienti quando si elaborano pochi file di grandi dimensioni rispetto a quando si elaborano molti LZO-compressed file di piccole dimensioni. Gzip-compressed Per suddividere i file LZO, è necessario indicizzarli e utilizzare la libreria di terza parte hadoop-lzo.
Per caricare CloudFront i log Amazon in HDFS, digita il seguente comando, sostituiscilo j-3GYXXXXXX9IOK con l'ID del cluster e sostituiscilo con il nome del tuo amzn-s3-demo-bucket bucket Amazon S3.
Nota
I caratteri di continuazione della riga Linux (\) sono inclusi per questioni di leggibilità. Possono essere rimossi o utilizzati nei comandi Linux. Per Windows, rimuovili o sostituiscili con un accento circonflesso (^).
aws emr add-steps --cluster-idj-3GYXXXXXX9IOK\ --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.jar,\ Args=["--src,s3://amzn-s3-demo-bucket/cf","--dest,hdfs:///local",\ "--groupBy,.*XABCD12345678.([0-9]+-[0-9]+-[0-9]+-[0-9]+).*",\ "--targetSize,128", "--outputCodec,lzo","--deleteOnSuccess"]
Supponiamo che l'esempio precedente sia eseguito sui file di log di CloudFront seguenti.
s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-01.HLUS3JKx.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-01.I9CNAZrg.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-02.YRRwERSA.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-02.dshVLXFE.gz s3://amzn-s3-demo-bucket/cf/XABCD12345678.2012-02-23-02.LpLfuShd.gz
S3DistCp copia, concatena e comprime i file nei due file seguenti, il cui nome è determinato dalla corrispondenza effettuata dall'espressione regolare.
hdfs:///local/2012-02-23-01.lzo hdfs:///local/2012-02-23-02.lzo
