Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esportazione nativa per dati RDF

L'API di esportazione Neptune ti consente di esportare i dati dal tuo database Neptune in Amazon S3. Puoi esportare dati RDF in formato o. N-Triples N-Quads

Come funziona l'esportazione nativa

L'esportazione nativa viene eseguita sull'istanza di scrittura del cluster Neptune e scrive i dati esportati su Amazon S3 utilizzando caricamenti in più parti. Poiché l'esportazione utilizza le risorse di calcolo dell'istanza writer, consigliamo vivamente di eseguire le esportazioni su un cluster clonato per evitare di influire sui carichi di lavoro di produzione. Per ulteriori informazioni, consulta Raccomandazioni.

Produttività delle esportazioni

Il throughput di esportazione si ridimensiona in modo approssimativamente lineare con dimensioni dell'istanza fino a. r7i.16xlarge Come stima di pianificazione prudente, si prevedono circa 50.000 dichiarazioni al secondo per vCPU.

Usa questa formula per stimare la durata dell'esportazione:

export_seconds = total_statements / (vCPUs × 50,000)

Il throughput effettivo dipende dalle caratteristiche del set di dati, tra cui la cardinalità dei predicati, la complessità delle istruzioni e la dimensione del cluster.

Prerequisiti

Prima di utilizzare l'API di esportazione, devi:

Raccomandazioni

Consigliamo vivamente di eseguire l'operazione di esportazione su un cluster clonato senza carichi di lavoro per evitare l'impatto sulle prestazioni di produzione read/write .

Per un rapporto prezzo/prestazioni ottimale, consigliamo di utilizzare istanze 16xlarge per le operazioni di esportazione. Questo tipo di istanza fornisce:

autorizzazioni IAM

La funzionalità di esportazione prevede due ruoli IAM separati:

Autorizzazioni del chiamante (azioni di accesso ai dati di Neptune)

Il principale IAM che chiama l'API di esportazione deve includere le seguenti azioni di accesso ai dati di Neptune nella sua policy IAM:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowNeptuneExportActions",
      "Effect": "Allow",
      "Action": [
        "neptune-db:StartExportJob",
        "neptune-db:GetExportJobStatus",
        "neptune-db:ListExportJobs",
        "neptune-db:CancelExportJob"
      ],
      "Resource": "arn:aws:neptune-db:us-east-1:123456789012:cluster-resource-id/*"
    }
  ]
}

Per ulteriori informazioni, consulta Using IAM data-access policy statement.

Autorizzazioni per i ruoli di accesso S3

Il ruolo IAM passato nel parametro iamRoleArn request deve essere associato al cluster Neptune e deve concedere a Neptune l'autorizzazione di scrittura nel bucket S3 di destinazione. Per istruzioni su come creare un ruolo IAM e associarlo al cluster, consulta Creare un ruolo IAM per consentire a Neptune di accedere ad Amazon S3.

Allega la seguente politica di autorizzazioni al ruolo di accesso S3:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowS3WriteForNeptuneExport",
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:GetObject",
        "s3:PutObject",
        "s3:AbortMultipartUpload",
        "s3:GetBucketPublicAccessBlock"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket",
        "arn:aws:s3:::amzn-s3-demo-bucket/*"
      ]
    }
  ]
}

Autorizzazioni KMS opzionali

Se specifichi a kmsKeyIdentifier nella richiesta di esportazione, aggiungi le seguenti autorizzazioni al ruolo di accesso S3:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowKMSForNeptuneExport",
      "Effect": "Allow",
      "Action": [
        "kms:Decrypt",
        "kms:Encrypt",
        "kms:GenerateDataKey"
      ],
      "Resource": "arn:aws:kms:us-east-1:123456789012:key/key-id"
    }
  ]
}

Endpoint di esportazione

Per esportare i dati, invii richieste HTTP all'https://your-neptune-endpoint:port/exportendpoint.

Sintassi della richiesta di esportazione

POST https://your-neptune-endpoint:port/export

Intestazioni della richiesta

Corpo della richiesta

{
  "destination": "string",
  "format": "string",
  "iamRoleArn": "string",
  "region": "string",
  "compression": "string",
  "kmsKeyIdentifier": "string",
  "exportFilter": {
    "namedGraphUris": ["string"]
  }
}

Parametri della richiesta

Sintassi della risposta

{
  "status": "string",
  "payload": {
    "exportId": "string"
  }
}

Endpoint sullo stato dell'esportazione

Per verificare lo stato di un'attività di esportazione, invii una richiesta HTTP GET all'endpoint di esportazione con l'ID di esportazione.

GET https://your-neptune-endpoint:port/export?exportId=export-id

Parametri della richiesta

Sintassi della risposta

{
  "status": "string",
  "payload": {
    "exportId": "string",
    "destination": "string",
    "status": "string",
    "statusReason": "string",
    "format": "string",
    "iamRoleArn": "string",
    "kmsKeyIdentifier": "string",
    "exportFilter": {
      "namedGraphUris": ["string"]
    },
    "exportTaskDetails": {
      "timeElapsedSeconds": number,
      "startTime": number,
      "numRecordsWritten": number,
      "progressPercentage": number
    }
  }
}

Elenca l'endpoint delle esportazioni

Per elencare tutte le attività di esportazione, invii una richiesta HTTP GET all'endpoint di esportazione.

GET https://your-neptune-endpoint:port/export

Sintassi della risposta

{
  "status": "string",
  "payload": [
    "string"
  ]
}

Annulla l'endpoint di esportazione

Per annullare un'attività di esportazione, invii una richiesta HTTP DELETE all'endpoint di esportazione con l'ID di esportazione.

DELETE https://your-neptune-endpoint:port/export?exportId=export-id

Parametri della richiesta

Sintassi della risposta

{
  "status": "string",
  "payload": {
    "message": "string"
  }
}

Formato di output per l'esportazione

Struttura delle directory S3

I dati esportati sono organizzati nel bucket S3 come segue:

s3://your-bucket/export-id/
├── data/
│   ├── part-00000.nt
│   ├── part-00001.nt
│   └── ...
└── export_status.json

Risposte agli errori

Codici di errore comuni

Esempio di risposta all'errore

{
  "code": "BadRequestException",
  "requestId": "request-id", 
  "message": "Export already in progress with ID 'existing-id'. Please wait or cancel it first.",
  "detailedMessage": "Detailed error description"
}

Esempi

Avvia un'esportazione

curl -X POST https://your-cluster-endpoint:8182/export \
  -H "Content-Type: application/json" \
  -d '{
    "destination": "s3://my-bucket/exports/",
    "format": "ntriples", 
    "iamRoleArn": "arn:aws:iam::123456789012:role/neptune-export-role",
    "region": "us-west-2"
  }'

Avvia un'esportazione filtrata (denominata grafici)

curl -X POST https://your-cluster-endpoint:8182/export \
  -H "Content-Type: application/json" \
  -d '{
    "destination": "s3://my-bucket/exports/",
    "format": "nquads",
    "iamRoleArn": "arn:aws:iam::123456789012:role/neptune-export-role",
    "region": "us-west-2",
    "exportFilter": {
      "namedGraphUris": [
        "http://example.com/graph1",
        "http://example.com/graph2"
      ]
    }
  }'

Controlla lo stato dell'esportazione

curl -X GET "https://your-cluster-endpoint:8182/export?exportId=<id>"

Annulla un'esportazione

curl -X DELETE "https://your-cluster-endpoint:8182/export?exportId=<id>"

Limitazioni

L'esportazione nativa presenta le seguenti limitazioni: