As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Exportação nativa para dados RDF

A API de exportação do Neptune permite que você exporte dados do seu banco de dados do Neptune para o Amazon S3. Você pode exportar dados RDF em N-Triples ou em N-Quads formato.

Como funciona a exportação nativa

A exportação nativa é executada na instância de gravação do seu cluster Neptune e grava os dados exportados no Amazon S3 usando uploads de várias partes. Como a exportação usa os recursos computacionais da instância do gravador, é altamente recomendável executar as exportações em um cluster clonado para evitar afetar as cargas de trabalho de produção. Consulte Recomendações para obter mais informações.

Taxa de transferência de exportação

A taxa de transferência de exportação é dimensionada aproximadamente linearmente com o tamanho da instância de até. r7i.16xlarge Como uma estimativa de planejamento conservadora, espere aproximadamente 50.000 declarações por segundo por vCPU.

Use esta fórmula para estimar a duração da exportação:

export_seconds = total_statements / (vCPUs × 50,000)

A taxa de transferência real depende das características do conjunto de dados, incluindo cardinalidade do predicado, complexidade da declaração e tamanho do cluster.

Pré-requisitos

Antes de usar a API de exportação, você deve:

Recomendações

É altamente recomendável executar a operação de exportação em um cluster clonado sem nenhuma read/write carga de trabalho para evitar impacto no desempenho da produção.

Para uma relação preço/desempenho ideal, recomendamos o uso de instâncias 16xlarge para operações de exportação. Esse tipo de instância fornece:

Permissões do IAM

O recurso de exportação envolve duas funções distintas do IAM:

Permissões do chamador (ações de acesso a dados do Neptune)

O principal do IAM que chama a API de exportação deve ter as seguintes ações de acesso a dados do Neptune em sua política de IAM:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowNeptuneExportActions",
      "Effect": "Allow",
      "Action": [
        "neptune-db:StartExportJob",
        "neptune-db:GetExportJobStatus",
        "neptune-db:ListExportJobs",
        "neptune-db:CancelExportJob"
      ],
      "Resource": "arn:aws:neptune-db:us-east-1:123456789012:cluster-resource-id/*"
    }
  ]
}

Para obter mais informações, consulte Como usar declarações de política de acesso a dados do IAM.

Permissões da função de acesso do S3

A função do IAM passada no parâmetro de iamRoleArn solicitação deve estar associada ao seu cluster Neptune e deve conceder permissão ao Neptune para gravar no bucket S3 de destino. Para ver as etapas sobre como criar uma função do IAM e associá-la ao seu cluster, consulte Criar uma função do IAM para permitir que o Neptune acesse o Amazon S3.

Anexe a seguinte política de permissões à função de acesso do S3:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowS3WriteForNeptuneExport",
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:GetObject",
        "s3:PutObject",
        "s3:AbortMultipartUpload",
        "s3:GetBucketPublicAccessBlock"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket",
        "arn:aws:s3:::amzn-s3-demo-bucket/*"
      ]
    }
  ]
}

Permissões opcionais do KMS

Se você especificar um kmsKeyIdentifier na solicitação de exportação, adicione as seguintes permissões à função de acesso do S3:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowKMSForNeptuneExport",
      "Effect": "Allow",
      "Action": [
        "kms:Decrypt",
        "kms:Encrypt",
        "kms:GenerateDataKey"
      ],
      "Resource": "arn:aws:kms:us-east-1:123456789012:key/key-id"
    }
  ]
}

Exportar endpoint

Para exportar dados, você envia solicitações HTTP para o https://your-neptune-endpoint:port/export endpoint.

Sintaxe da solicitação de exportação

POST https://your-neptune-endpoint:port/export

Cabeçalhos de solicitação

Corpo da solicitação

{
  "destination": "string",
  "format": "string",
  "iamRoleArn": "string",
  "region": "string",
  "compression": "string",
  "kmsKeyIdentifier": "string",
  "exportFilter": {
    "namedGraphUris": ["string"]
  }
}

Parâmetros de solicitação

Sintaxe da resposta

{
  "status": "string",
  "payload": {
    "exportId": "string"
  }
}

Endpoint de status de exportação

Para verificar o status de uma tarefa de exportação, você envia uma solicitação HTTP GET para o endpoint de exportação com o ID de exportação.

GET https://your-neptune-endpoint:port/export?exportId=export-id

Parâmetros de solicitação

Sintaxe da resposta

{
  "status": "string",
  "payload": {
    "exportId": "string",
    "destination": "string",
    "status": "string",
    "statusReason": "string",
    "format": "string",
    "iamRoleArn": "string",
    "kmsKeyIdentifier": "string",
    "exportFilter": {
      "namedGraphUris": ["string"]
    },
    "exportTaskDetails": {
      "timeElapsedSeconds": number,
      "startTime": number,
      "numRecordsWritten": number,
      "progressPercentage": number
    }
  }
}

Endpoint de exportação de listas

Para listar todas as tarefas de exportação, você envia uma solicitação HTTP GET para o endpoint de exportação.

GET https://your-neptune-endpoint:port/export

Sintaxe da resposta

{
  "status": "string",
  "payload": [
    "string"
  ]
}

Cancelar endpoint de exportação

Para cancelar uma tarefa de exportação, você envia uma solicitação HTTP DELETE para o endpoint de exportação com o ID de exportação.

DELETE https://your-neptune-endpoint:port/export?exportId=export-id

Parâmetros de solicitação

Sintaxe da resposta

{
  "status": "string",
  "payload": {
    "message": "string"
  }
}

Formato de saída de exportação

Estrutura de diretórios do S3

Os dados exportados são organizados em seu bucket do S3 da seguinte forma:

s3://your-bucket/export-id/
├── data/
│   ├── part-00000.nt
│   ├── part-00001.nt
│   └── ...
└── export_status.json

Respostas de erro

Códigos de erro comuns

Exemplo de resposta de erro

{
  "code": "BadRequestException",
  "requestId": "request-id", 
  "message": "Export already in progress with ID 'existing-id'. Please wait or cancel it first.",
  "detailedMessage": "Detailed error description"
}

Exemplos

Iniciar uma exportação

curl -X POST https://your-cluster-endpoint:8182/export \
  -H "Content-Type: application/json" \
  -d '{
    "destination": "s3://my-bucket/exports/",
    "format": "ntriples", 
    "iamRoleArn": "arn:aws:iam::123456789012:role/neptune-export-role",
    "region": "us-west-2"
  }'

Iniciar uma exportação filtrada (gráficos nomeados)

curl -X POST https://your-cluster-endpoint:8182/export \
  -H "Content-Type: application/json" \
  -d '{
    "destination": "s3://my-bucket/exports/",
    "format": "nquads",
    "iamRoleArn": "arn:aws:iam::123456789012:role/neptune-export-role",
    "region": "us-west-2",
    "exportFilter": {
      "namedGraphUris": [
        "http://example.com/graph1",
        "http://example.com/graph2"
      ]
    }
  }'

Verifique o status da exportação

curl -X GET "https://your-cluster-endpoint:8182/export?exportId=<id>"

Cancelar uma exportação

curl -X DELETE "https://your-cluster-endpoint:8182/export?exportId=<id>"

Limitações

A exportação nativa tem as seguintes limitações: