Comando do carregador do Neptune

source— Um Amazon S3URI.

O SOURCE parâmetro aceita um Amazon S3 URI que identifica um único arquivo, vários arquivos, uma pasta ou várias pastas. O Neptune carrega todos os arquivos de dados em qualquer pasta especificada.

Eles URI podem estar em qualquer um dos formatos a seguir.

O object-key-name elemento do URI é equivalente ao parâmetro de prefixo em uma chamada do Amazon ListObjectsAPIS3. Ele identifica todos os objetos no bucket do Amazon S3 especificado cujos nomes começam com esse prefixo. Pode ser um único arquivo ou pasta, ou vários arquivos e/ou pastas.

A pasta ou as pastas especificadas podem conter vários arquivos de vértice e vários arquivos de borda.

Por exemplo, se você tivesse a seguinte estrutura de pastas e arquivos em um bucket do Amazon S3 chamado: bucket-name

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade
s3://bucket-name/bcd

Se o parâmetro de origem for especificado comos3://bucket-name/a, os três primeiros arquivos serão carregados.

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade

format: o formato dos dados. Para obter mais informações sobre os formatos de dados para o comando Loader do Neptune, consulte Usando o carregador em massa Amazon Neptune para ingerir dados.

iamRoleArn— O Amazon Resource Name (ARN) de uma IAM função a ser assumida pela instância de banco de dados Neptune para acesso ao bucket do S3. Para obter informações sobre como criar um perfil que tenha acesso ao Amazon S3 e associá-lo a um cluster do Neptune, consulte Pré-requisitos: IAM função e acesso ao Amazon S3.

A partir da versão 1.2.1.0.R3 do motor, você também pode encadear várias funções IAM se a instância de banco de dados Neptune e o bucket do Amazon S3 estiverem localizados em contas diferentes. AWS Nesse caso, iamRoleArn contém uma lista de funções separada por vírgulasARNs, conforme descrito em. Encadeamento de IAM funções no Amazon Neptune Por exemplo:

curl -X POST https://localhost:8182/loader \
  -H 'Content-Type: application/json' \
  -d '{
        "source" : "s3://(the target bucket name)/(the target date file name)",
        "iamRoleArn" : "arn:aws:iam::(Account A ID):role/(RoleA),arn:aws:iam::(Account B ID):role/(RoleB),arn:aws:iam::(Account C ID):role/(RoleC)",
        "format" : "csv",
        "region" : "us-east-1"
      }'

region— O region parâmetro deve corresponder à AWS região do cluster e ao bucket do S3.

O Amazon Neptune está disponível nas seguintes regiões da :

mode: o modo do trabalho de carga.

Valores permitidos: RESUME, NEW, AUTO.

Valor padrão: AUTO

failOnError: sinalizador para alternar uma interrupção completa em um erro.

Valores permitidos: "TRUE", "FALSE"

Valor padrão: "TRUE".

Quando este parâmetro estiver configurado como "FALSE", o carregador tentará carregar todos os dados no local especificado, ignorando as entradas com erros.

Quando este parâmetro for definido como "TRUE", o carregador será interrompido assim que encontrar um erro. Os dados carregados até esse momento serão mantidos.

parallelism: é um parâmetro opcional que pode ser definido para reduzir o número de threads usados pelo processo de carregamento em massa.

Valores permitidos:

Valor padrão: HIGH

Às vezes, a parallelism configuração pode resultar em um impasse entre os encadeamentos ao carregar openCypher dados. Quando isso acontece, o Neptune gera o erro LOAD_DATA_DEADLOCK. Geralmente, é possível corrigir o problema definindo uma configuração parallelism mais baixa e tentando novamente o comando de carregamento.

parserConfiguration: um objeto opcional com valores de configuração de analisador adicional. Os parâmetros filho também são opcionais:

Para obter mais informações, consulte SPARQLGráfico padrão e gráficos nomeados.

updateSingleCardinalityProperties: é um parâmetro opcional que controla como o carregador em massa trata um novo valor das propriedades de vértice de cardinalidade única ou de borda. Isso não é compatível com o carregamento openCypher de dados (consulteCarregando openCypher dados).

Valores permitidos: "TRUE", "FALSE"

Valor padrão: "FALSE".

Por padrão, ou quando updateSingleCardinalityProperties está explicitamente definido como "FALSE", o carregador trata um novo valor como um erro, porque ele viola a cardinalidade única.

Quando updateSingleCardinalityProperties está definido como "TRUE", por outro lado, o carregador em massa substitui o valor existente pelo novo. Se vários valores de propriedade de vértice de cardinalidade única ou de ponto forem fornecidos nos arquivos de origem que estão sendo carregados, o valor final quando o carregamento em massa terminar poderá ser qualquer um desses novos valores. O carregador só garante que o valor existente tenha sido substituído por um dos novos.

queueRequest: é um parâmetro de sinalizador opcional que indica se a solicitação de carga pode ser colocada na fila ou não.

Não é necessário esperar um trabalho de carga ser concluído antes de emitir o próximo, porque o Neptune pode colocar na fila até 64 trabalhos por vez, desde que os parâmetros queueRequest estejam todos definidos como "TRUE". A ordem da fila dos trabalhos será first-in-first-out (FIFO).

Se o parâmetro queueRequest for omitido ou definido como "FALSE", a solicitação de carga falhará se outro trabalho de carga já estiver em execução.

Valores permitidos: "TRUE", "FALSE"

Valor padrão: "FALSE".

dependencies: é um parâmetro opcional que pode tornar uma solicitação de carga na fila dependente da conclusão com êxito de um ou mais trabalhos anteriores na fila.

O Neptune poderá colocar na fila até 64 solicitações de carga por vez se os parâmetros queueRequest estiverem definidos como "TRUE". O parâmetro dependencies permite executar a solicitação enfileirada dependente da conclusão com êxito de uma ou mais solicitações anteriores especificadas na fila.

Por exemplo, se as cargas Job-A e Job-B forem interdependentes, mas a carga Job-C precisar que a Job-A e a Job-B sejam concluídas antes de começar, prossiga da seguinte forma:

  "dependencies" : ["job_A_load_id", "job_B_load_id"]

Devido ao parâmetro dependencies, o carregador em massa não iniciará a Job-C até que a Job-A e a Job-B tenham sido concluídas com êxito. Se uma delas falhar, a Job-C não será executada e o status será definido como LOAD_FAILED_BECAUSE_DEPENDENCY_NOT_SATISFIED.

É possível configurar vários níveis de dependência desta forma, para que a falha de um trabalho faça com que todas as solicitações direta ou indiretamente dependentes sejam canceladas.

userProvidedEdgeIds— Esse parâmetro é necessário somente ao carregar openCypher dados que contêm relacionamentoIDs. Ele deve ser incluído e definido para True quando IDs os openCypher relacionamentos são fornecidos explicitamente nos dados de carregamento (recomendado).

Quando userProvidedEdgeIds está ausente ou definido como True, uma coluna :ID deve estar presente em cada arquivo de relacionamento no carregamento.

Quando userProvidedEdgeIds está presente e definido como False, os arquivos de relacionamento no carregamento não devem conter uma coluna :ID. Em vez disso, o carregador do Neptune gera automaticamente um ID para cada relacionamento.

É útil fornecer uma relação IDs explícita para que o carregador possa retomar o carregamento após a correção do erro nos CSV dados, sem precisar recarregar nenhuma relação que já tenha sido carregada. Se o relacionamento não IDs tiver sido atribuído explicitamente, o carregador não poderá retomar um carregamento com falha se algum arquivo de relacionamento precisar ser corrigido e, em vez disso, deverá recarregar todos os relacionamentos.

accessKey— [obsoleto] Um ID de chave de acesso de uma IAM função com acesso ao bucket do S3 e aos arquivos de dados.

Em vez disso, o parâmetro iamRoleArn será recomendado. Para obter informações sobre como criar um perfil que tenha acesso ao Amazon S3 e associá-lo a um cluster do Neptune, consulte Pré-requisitos: IAM função e acesso ao Amazon S3.

Para obter mais informações, consulte Chaves de acesso (ID da chave de acesso e chave de acesso secreta).

secretKey: [obsoleto] O parâmetro iamRoleArn será recomendado em vez disso. Para obter informações sobre como criar um perfil que tenha acesso ao Amazon S3 e associá-lo a um cluster do Neptune, consulte Pré-requisitos: IAM função e acesso ao Amazon S3.

Para obter mais informações, consulte Chaves de acesso (ID da chave de acesso e chave de acesso secreta).

Ao carregar openCypher dados em CSV formato, o parâmetro de formato deve ser definido comoopencypher.

O updateSingleCardinalityProperties parâmetro não é suportado para openCypher cargas porque todas as openCypher propriedades têm cardinalidade única. O formato de openCypher carregamento não suporta matrizes e, se um valor de ID aparecer mais de uma vez, ele será tratado como uma duplicata ou um erro de inserção (veja abaixo).

O carregador Neptune manipula as duplicatas que encontra nos dados da seguinte forma: openCypher

Embora você não precise atribuir IDs a relacionamentos, geralmente é uma boa ideia (veja o userProvidedEdgeIds parâmetro acima). Sem um relacionamento explícitoIDs, o carregador deve recarregar todos os relacionamentos em caso de erro em um arquivo de relacionamento, em vez de retomar o carregamento de onde ele falhou.

Além disso, se os dados de carregamento não contiverem uma relação explícitaIDs, o carregador não tem como detectar relações duplicadas.