Solução de problemas comAWSDataSync transferências - AWS DataSync

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Solução de problemas comAWSDataSync transferências

Os tópicos a seguir descrevem problemas comuns aAWSDataSync locais e tarefas e como você pode resolvê-los.

Como façoDataSync para configurar o uso de uma versão específica do NFS ou SMB para montar meu compartilhamento de arquivos?

Para locais que oferecem suporte ao Sistema de Arquivos de Rede (NFS) ou ao Bloco de Mensagens do Servidor (SMB),DataSync por padrão, escolhe a versão do protocolo para você. Você também pode especificar a versão usando oDataSync console ou a API.

Ação a ser tomada (DataSyncconsole)

Ao criar sua localização NFS ou SMB, configure a versão do protocolo que vocêDataSync deseja usar. Para obter mais informações, consulteConfigurando AWS DataSync transferências de um servidor de arquivos NFS ouConfigurando AWS DataSync transferências de um servidor de arquivos SMB).

Ação a ser tomada (DataSyncAPI)

Ao criar ou atualizar sua localização NFS ou SMB, especifique oVersion parâmetro. Por exemplo, consulte CreateLocationNfs ou CreateLocationSmb.

OAWS CLI comando de exemplo a seguir cria um local NFS que éDataSync montado usando o NFS versão 4.0.

$ aws datasync create-location-nfs --server-hostname your-server-address \ --on-prem-config AgentArns=your-agent-arns \ --subdirectory nfs-export-path \ --mount-options Version="NFS4_0"

OAWS CLI comando de exemplo a seguir cria um local SMB que éDataSync montado usando o SMB versão 3.

$ aws datasync create-location-smb --server-hostname your-server-address \ --on-prem-config AgentArns=your-agent-arns \ --subdirectory smb-export-path \ --mount-options Version="SMB3"

Erro: SyncOptionvalor inválido. Opção:TransferMode,PreserveDeletedFiles, Valor: ALL, REMOVE.

Esse erro ocorre quando você cria ou edita suaDataSync tarefa e seleciona a opção Transferir todos os dados e desmarca a opção Manter arquivos excluídos. Quando você transfere todos os dados,DataSync não escaneia seu local de destino e não sabe o que excluir.

Minha tarefa continua falhando com um EniNotFounderro

Esse erro ocorre se você excluir uma das interfaces de rede da tarefa em sua nuvem privada virtual (VPC). Se sua tarefa estiver agendada ou em fila, a tarefa falhará se faltar uma interface de rede necessária para transferir seus dados.

Medidas a serem tomadas

Você tem as seguintes opções para contornar:

  • Reinicie a tarefa manualmente. Quando você fizer isso,DataSync criará todas as interfaces de rede ausentes necessárias para executar a tarefa.

  • Se você precisar limpar os recursos em sua VPC, certifique-se de não excluir as interfaces de rede relacionadas a umaDataSync tarefa que você ainda está usando.

    Para ver as interfaces de rede alocadas para a tarefa, siga destes procedimentos:

    • Use a DescribeTaskoperação. Você pode visualizar as interfaces de redeDestinationNetworkInterfaceArns nosSourceNetworkInterfaceArns elementos e.

    • No console do Amazon EC2, pesquise seu ID de tarefa (por exemplotask-f012345678abcdef0) para encontrar suas interfaces de rede.

  • Considere não executar suas tarefas automaticamente. Isso pode incluir a desativação do enfileiramento ou do agendamento de tarefas (por meioDataSync de automação personalizada).

Minha tarefa falhou com um erro de mapeamento de ID NFSv4 do lado do servidor queDataSync atualmente não suporta

Esse erro pode ocorrer se um sistema de arquivos envolvido em sua transferência usar o mapeamento de ID do NFS versão 4, um recurso queDataSync não oferece suporte.

Medida a ser tomada

Você tem algumas opções para contornar:

  • Crie um novoDataSync local para o sistema de arquivos que usa o NFS versão 3.

  • Desative o mapeamento de ID do NFS versão 4 no sistema de arquivos.

Repetir a transferência. Qualquer das opções.

O status da minha tarefa não está disponível e indica um erro de montagem

DataSyncindicará que sua tarefa não está disponível se seu agente não conseguir montar um local NFS.

Medida a ser tomada

Primeiro, verifique se o servidor NFS e a exportação especificados são válidos. Se não forem, exclua a tarefa, crie uma nova usando o servidor NFS correto e exporte. Para obter mais informações, consulte Configurando AWS DataSync transferências de um servidor de arquivos NFS.

Medida a ser tomada Um firewall está impedindo que o agente monte o servidor NFS ou o servidor NFS não está configurado para permitir que o agente o monte.

Certifique-se de que não haja firewall entre o agente e o servidor NFS. Depois, verifique se o servidor NFS está configurado para permitir que o agente monte o final da exportação especificado na tarefa. Para obter informações sobre requisitos de rede e firewall, consulte AWS DataSyncrequisitos de rede.

Se você executar essas ações e o agente ainda não conseguir montar o servidor NFS e exportar, abra um canal deAWS suporte com o Support. Para obter informações sobre como abrir um canal de suporte, consulte Obter ajuda com seu agente deAWS Support.

Minha tarefa falhou com um erro de Não é possível alocar memória

Quando suaDataSync tarefa falha com um erro de Não é possível alocar memória, isso pode significar algumas coisas diferentes.

Medida a ser tomada

Experimente o seguinte até que você não veja mais o problema:

Minha tarefa falhou com um erro de entrada/saída

Você pode receber uma mensagem de erro de entrada/saída se o sistema de armazenamento falhar nas solicitações de E/S doDataSync agente. Os motivos comuns para isso incluem uma falha no disco do servidor, alterações na configuração do firewall ou falha no roteador de rede.

Se o erro envolver um servidor NFS ou um cluster do Hadoop Distributed File System (HDFS), use as etapas a seguir para resolver o erro.

Ação a ser tomada (NFS)

Primeiro, verifique os logs e as métricas do servidor NFS para determinar se o problema originou-se no servidor NFS. Se sim, resolva esse problema.

e verifique se a configuração de rede não foi alterada. Para verificar se o servidor NFS está configurado corretamente e se eleDataSync pode acessá-lo, faça o seguinte:

  1. Configure outro cliente NFS na mesma sub-rede da rede que o agente do .

  2. Monte o compartilhamento nesse cliente.

  3. Valide se o cliente pode ler e gravar no compartilhamento com êxito.

Ação a ser tomada (HDFS)

Certifique-se de que seu cluster HDFS permita que o agente se comunique com o clusterNameNode eDataNode as portas. Na maioria dos clusters, você pode encontrar os números de porta que o cluster usa nos arquivos de configuração a seguir.

  1. Para encontrar aNameNode porta, consulte ocore-site.xml arquivo abaixo dafs.default.name propriedadefs.default or (dependendo da distribuição do Hadoop).

  2. Para encontrar aDataNode porta, procure nohdfs-site.xml arquivo abaixo dadfs.datanode.address propriedade.

Minha execução de tarefa tem um status de inicialização, mas nada parece estar acontecendo

A execução da tarefa pode ficar presa no status de lançamento quando não éDataSync possível instruir o agente de origem especificado a iniciar uma tarefa. Esse problema geralmente ocorre porque o agente foi desligado ou perdeu a conectividade de rede.

Medida a ser tomada

Verifique se o agente está conectado e se o status é ONLINE. Se o status for OFFLINE, o agente não está conectado. Para obter informações sobre como testar a conectividade de rede, consulte Testando a conexão do seu agente comAWS.

Depois verifique se o agente está ativado. Se não estiver, ligue-o.

Se o agente estiver ligado e a tarefa ainda estiver presa no status de inicialização, um problema de conectividade de rede entre o agente e o agenteDataSync é o problema mais provável. Verifique suas configurações de rede e firewall para garantir que o agente possa se conectar ao DataSync.

Se você executar essas ações e o problema não for resolvido, abra um canal de suporte comAWS Support. Para obter informações sobre como abrir um canal de suporte, consulte Obter ajuda com seu agente deAWS Support.

A execução da minha tarefa está no status de preparação há muito tempo

O tempo que o DataSync gasta no status Preparing (Preparando) depende do número de arquivos nos sistemas de arquivos de origem e destino e do desempenho desses sistemas. Quando uma tarefa é iniciada, o DataSync realiza uma listagem recursiva de diretórios para descobrir todos os arquivos e metadados de arquivos nos sistemas de arquivos de origem e destino. Essas listagens são usadas para identificar diferenças e determinar o que copiar. Esse processo normalmente leva entre alguns minutos a algumas horas. Para obter mais informações, consulte Iniciando sua AWS DataSync tarefa.

Medida a ser tomada

Você não deveria ter que fazer nada. Continue aguardando até que o status de preparação mude para Transferência. Se o status ainda não mudar, entre em contatoAWS Support.

Minha tarefa falhou com um erro de permissão negada

Você pode obter a mensagem de erro "permissions denied (permissões negadas)" se configurar o servidor NFS com root_squash ou all_squash ativado e seus arquivos não tiverem todo o acesso de leitura.

Medida a ser tomada

Para corrigir esse problema, você pode configurar a exportação do NFS com no_root_squash. Ou pode garantir que as permissões para todos os arquivos que deseja transferir permitam acesso de leitura para todos os usuários. Isso permite que o agente leia os arquivos. Para que o agente acesse diretórios, você também deverá ativar todo o acesso de execução.

Para garantir que o diretório possa ser montado, primeiro conecte-se a qualquer computador que tenha a mesma configuração de rede que o agente. e execute o seguinte comando da CLI.

mount -t nfs -o nfsvers=<your-nfs-server-version> <your-nfs-server-name>:<nfs-export-path-youspecified> <new-test-folder-on-your-computer>

Se você executar essas ações e o problema não for resolvido, entre em contato comAWS Support.

Quanto tempo leva para verificar uma tarefa?

O tempo que o DataSync gasta no status VERIFYING (Verificando) depende de uma série de fatores. Esses são o número de arquivos, o tamanho total de todos os arquivos nos sistemas de arquivos de origem e de destino e o desempenho desses sistemas. Por padrão, o Verification mode (Modo de verificação) é ativado na configuração de opções. A verificação realizadaDataSync inclui uma soma de verificação SHA256 em todo o conteúdo do arquivo e uma comparação exata de todos os metadados do arquivo.

Medida a ser tomada

Você não deveria ter que fazer nada. Continue aguardando a conclusão do status VERIFICANDO. Se o status ainda não mudar, entre em contatoAWS Support.

Minha tarefa falha ao transferir para um bucket S3 em outroConta da AWS

Diferentemente dasDataSync transferências entre recursos no mesmoConta da AWS, copiar dados para um bucket do S3 em outroConta da AWS requer algumas etapas extras.

  • Se suaDataSync tarefa falhar com um erro relacionado às permissões do bucket do S3: ao criar a tarefa, certifique-se de estar conectadoAWS Management Console usando a mesma função do IAM que você especificou na política do bucket do S3 de destino. (Observação: essa não é a função do IAM que dáDataSync permissão para gravar no bucket do S3.)

  • Se você também estiver copiando dados para um bucket em outroRegião da AWS e receber um erro de conexão do endpoint do S3: crie aDataSync tarefa na mesma região do bucket S3 de destino.

Para obter instruções completas sobre transferências entre contas com o Amazon S3, consulte os seguintes tutoriais:

Minha tarefa falha ao transferir de um bucket do Google Cloud Storage

ComoDataSync se comunica com o Google Cloud Storage usando a API Amazon S3, há uma limitação que pode fazer com que suaDataSync tarefa falhe se você tentar copiar tags de objeto. A seguinte mensagem relacionada ao problema aparece em seusCloudWatch registros:

[AVISO] Falha ao ler os metadados do arquivo/your-bucket/your-object: S3 Falha na marcação de objetos: prosseguir sem marcar

Para evitar isso, desmarque a opção Copiar tags do objeto ao definir as configurações da tarefa.

Os horários de início e término da minha tarefa não coincidem com os registros

Os horários de início e término da execução da tarefa que você vê noDataSync console podem diferir entre os registros de data e hora que você vê em outros lugares relacionados à sua transferência. Isso ocorre porque o console não leva em conta o tempo que a execução de uma tarefa gasta nos estados de inicialização ou de enfileiramento.

Por exemplo, seusCloudWatch registros da Amazon podem indicar que a execução da tarefa terminou mais tarde do que o exibido noDataSync console. Você pode notar uma discrepância semelhante nas seguintes áreas:

  • Registros do sistema de arquivos ou sistema de armazenamento de objetos envolvido em sua transferência

  • A data da última modificação em um objeto do Amazon S3 que foiDataSync gravado para

  • Tráfego de redeDataSync proveniente do agente

  • EventBridgeEventos da Amazon

Erro: SyncTaskDeletedByUser

Você pode ver esse erro inesperadamente ao automatizar algunsDataSync fluxos de trabalho. Por exemplo, talvez você tenha um script que exclua sua tarefa antes que a execução da tarefa seja concluída ou esteja na fila.

Para corrigir esse problema, reconfigure sua automação para que esses tipos de ações não se sobreponham.

Erro: NoMem

O conjunto de dados que você está tentando transferir pode ser muito grande para eleDataSync. Se você ver esse erro, entre em contato com a AWS SupportCentral.

Erro: FsS3UnableToConnectToEndpoint

DataSyncnão consegue se conectar à sua localização do Amazon S3. Isso pode significar que o bucket S3 do local não está acessível ou que o local não está configurado corretamente.

Faça o seguinte até resolver o problema:

Erro: FsS3HeadBucketFailed

DataSyncnão consegue acessar o bucket do S3 para o qual você está transferindo. Verifique seDataSync tem permissão para acessar o bucket usando a HeadBucketoperação Amazon S3.