S3DistCp (s3-dist-cp)

Local dos dados a serem copiados. Isso pode ser um local do HDFS ou do Amazon S3.

Exemplo: --src=s3://amzn-s3-demo-bucket/logs/j-3GYXXXXXX9IOJ/node

Destino para os dados. Isso pode ser um local do HDFS ou do Amazon S3.

Exemplo: --dest=hdfs:///output

Uma expressão regular que filtra a operação de cópia para um subconjunto dos dados em --src. Se nenhum --srcPattern nem --groupBy for especificado, todos os dados em --src serão copiados em --dest.

Se o argumento da expressão regular contiver caracteres especiais, como um asterisco (*), a expressão regular ou a string --args inteira deverá ser colocada entre aspas simples (').

Exemplo: --srcPattern=.*daemons.*-hadoop-.*

Uma expressão regular que faz com que os arquivos correspondentes S3DistCp à expressão sejam concatenados. Por exemplo, você pode usar essa opção para combinar todos os arquivos de log gravados em uma hora em um único arquivo. O nome do arquivo concatenado é o valor correspondido pela expressão regular para o agrupamento.

Parênteses indicam como os arquivos devem ser agrupados, com todos os itens que correspondam à instrução parentética sendo combinados em um único arquivo de saída. Se a expressão regular não incluir uma declaração entre parênteses, o cluster falhará na S3DistCp etapa e retornará um erro.

Se o argumento da expressão regular contiver caracteres especiais, como um asterisco (*), a expressão regular ou a string --args inteira deverá ser colocada entre aspas simples (').

Quando --groupBy for especificado, somente os arquivos que correspondam ao padrão especificado serão copiados. Não é necessário especificar --groupBy e --srcPattern ao mesmo tempo.

Exemplo: --groupBy=.*subnetid.*([0-9]+-[0-9]+-[0-9]+-[0-9]+).*

O tamanho, em mebibytes (MiB), dos arquivos a serem criados com base na opção --groupBy. Esse valor deve ser um número inteiro. Quando --targetSize definido, S3DistCp tenta corresponder a esse tamanho; o tamanho real dos arquivos copiados pode ser maior ou menor do que esse valor. Os trabalhos são agregados com base no tamanho do arquivo de dados, portanto, é possível que o tamanho do arquivo de destino corresponda ao tamanho do arquivo de dados de origem.

Se os arquivos concatenados pelo --groupBy forem maiores que o valor do --targetSize, eles serão divididos em arquivos de parte e nomeados sequencialmente com um valor numérico anexado ao final. Por exemplo, um arquivo concatenado em myfile.gz seria dividido em partes como: myfile0.gz, myfile1.gz etc.

Exemplo: --targetSize=2

Especifica o comportamento S3DistCp ao copiar arquivos do Amazon S3 para o HDFS que já estão presentes. Ele acrescenta novos dados de arquivos aos arquivos existentes. Se você usar --appendToLastFile com --groupBy, novos dados serão anexados aos arquivos que correspondam aos mesmos grupos. Essa opção também respeita o comportamento --targetSize quando usada com --groupBy.

Especifica o codec de compactação a ser usado para os arquivos copiados. Isso pode ter os valores: gzip, gz, lzo, snappyou none. Você pode usar essa opção, por exemplo, para converter arquivos de entrada compactados com Gzip em arquivos de saída com compactação LZO ou para descompactar os arquivos como parte da operação de cópia. Se você selecionar um codec de saída, o nome do arquivo será anexado com a extensão apropriada (por exemplo, para gz e gzip, a extensão é .gz) Se você não especificar um valor para --outputCodec, os arquivos serão copiados sem alterações na compactação.

Exemplo: --outputCodec=lzo

Garante que os dados de destino sejam transferidos usando SSL e criptografados automaticamente no Amazon S3 usando uma chave do lado do AWS serviço. Ao recuperar dados usando S3DistCp, os objetos são automaticamente descriptografados. Se você tentar copiar um objeto não criptografado em um bucket do Amazon S3 que exige criptografia, haverá falha na operação. Para obter mais informações, consulte Proteger dados com criptografia.

Exemplo: --s3ServerSideEncryption

Se a operação de cópia for bem-sucedida, essa opção fará com S3DistCp que os arquivos copiados sejam excluídos do local de origem. Isso é útil se você estiver copiando arquivos de saída, como arquivos de log, de um local para outro como uma tarefa programada e não quiser copiar os mesmos arquivos duas vezes.

Exemplo: --deleteOnSuccess

Desativa o uso do multipart upload.

Exemplo: --disableMultipartUpload

O tamanho, em MiB, de cada parte em um upload de várias partes do Amazon S3. S3DistCp usa o upload de várias partes quando copia dados maiores do que o. multipartUploadChunkSize Para melhorar a performance do trabalho, você pode aumentar o tamanho de cada parte. O tamanho padrão é 128 MiB.

Exemplo: --multipartUploadChunkSize=1000

Precede os arquivos de saída com números sequenciais. A contagem inicia em 0, a menos que um valor diferente seja especificado por --startingIndex.

Exemplo: --numberFiles

Usado com --numberFiles para especificar o primeiro número na sequência.

Exemplo: --startingIndex=1

Cria um arquivo de texto, compactado com Gzip, que contém uma lista de todos os arquivos copiados pelo. S3DistCp

Exemplo: --outputManifest=manifest-1.gz

Lê um arquivo de manifesto que foi criado durante uma chamada anterior para S3DistCp usar o --outputManifest sinalizador. Quando o --previousManifest sinalizador é definido, S3DistCp exclui os arquivos listados no manifesto da operação de cópia. Se --outputManifest for especificado juntamente com --previousManifest, os arquivos listados no manifesto anterior também aparecerão no novo arquivo manifesto, embora os arquivos não sejam copiados.

Exemplo: --previousManifest=/usr/bin/manifest-1.gz

Requer um manifesto anterior criado durante uma chamada anterior para S3DistCp o. Se isso for definido como falso, nenhum erro será gerado quando um manifesto anterior não for especificado. O padrão é true.

Inverte o comportamento de --previousManifest S3DistCp fazer com que use o arquivo manifesto especificado como uma lista de arquivos a serem copiados, em vez de uma lista de arquivos a serem excluídos da cópia.

Exemplo: --copyFromManifest --previousManifest=/usr/bin/manifest-1.gz

Especifica o endpoint do Amazon S3 a ser usado ao carregar um arquivo. Essa opção define o endpoint para a origem e o destino. Se não estiver definido, o endpoint padrão será s3.amazonaws.com. Para obter uma lista dos endpoints do Amazon S3, consulte Regions and endpoints.

Exemplo: --s3Endpoint=s3.eu-west-1.amazonaws.com

A classe de armazenamento a ser usada quando o destino é o Amazon S3. Os valores válidos são STANDARD e REDUCED_REDUNDANCY. Se essa opção não for especificada, S3DistCp tentará preservar a classe de armazenamento.

Exemplo: --storageClass=STANDARD

um arquivo de texto no Amazon S3 (s3://), HDFS (hdfs:///) ou sistema de arquivos local (arquivo:/) que contém uma lista de prefixos src, um prefixo por linha.

Se srcPrefixesFile for fornecido, não S3DistCp listará o caminho src. Em vez disso, ele gerará uma lista de fontes como resultado combinado da listagem de todos os prefixos especificados nesse arquivo. O caminho relativo em comparação com o caminho src, em vez desses prefixos, será usado para gerar os caminhos de destino. Se srcPattern também for especificado, ele será aplicado à lista de resultados combinados dos prefixos de origem para filtrar ainda mais a entrada. Se copyFromManifest for usado, os objetos no manifesto serão copiados e srcPrefixesFile será ignorado.

Exemplo: --srcPrefixesFile=PATH