Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Export natif pour les données RDF

L'API d'exportation Neptune vous permet d'exporter des données depuis votre base de données Neptune vers Amazon S3. Vous pouvez exporter les données RDF au N-Quads format N-Triples ou au format.

Comment fonctionne l'exportation native

L'exportation native s'exécute sur l'instance Writer de votre cluster Neptune et écrit les données exportées vers Amazon S3 à l'aide de téléchargements partitionnés. Étant donné que l'exportation utilise les ressources de calcul de l'instance d'écriture, nous vous recommandons vivement d'exécuter les exportations sur un cluster cloné afin d'éviter tout impact sur les charges de travail de production. Consultez les recommandations pour plus d'informations.

Débit d'exportation

Le débit d'exportation évolue de manière approximativement linéaire avec une taille d'instance allant jusqu'àr7i.16xlarge. À titre d'estimation prudente, attendez-vous à environ 50 000 instructions par seconde et par processeur virtuel.

Utilisez cette formule pour estimer la durée de l'exportation :

export_seconds = total_statements / (vCPUs × 50,000)

Le débit réel dépend des caractéristiques de l'ensemble de données, notamment de la cardinalité des prédicats, de la complexité des instructions et de la taille du cluster.

Conditions préalables

Avant d'utiliser l'API d'exportation, vous devez :

Recommandations

Nous vous recommandons vivement d'exécuter l'opération d'exportation sur un cluster cloné sans aucune read/write charge de travail pour éviter tout impact sur les performances de production.

Pour un rapport prix/performances optimal, nous vous recommandons d'utiliser des instances 16xlarge pour les opérations d'exportation. Ce type d'instance fournit :

Autorisations IAM

La fonctionnalité d'exportation implique deux rôles IAM distincts :

Autorisations de l'appelant (actions d'accès aux données Neptune)

Le principal IAM qui appelle l'API d'exportation doit disposer des actions d'accès aux données Neptune suivantes dans sa politique IAM :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowNeptuneExportActions",
      "Effect": "Allow",
      "Action": [
        "neptune-db:StartExportJob",
        "neptune-db:GetExportJobStatus",
        "neptune-db:ListExportJobs",
        "neptune-db:CancelExportJob"
      ],
      "Resource": "arn:aws:neptune-db:us-east-1:123456789012:cluster-resource-id/*"
    }
  ]
}

Pour plus d'informations, consultez la section Utilisation des déclarations de politique d'accès aux données IAM.

Autorisations de rôle d'accès S3

Le rôle IAM transmis dans le paramètre de iamRoleArn requête doit être associé à votre cluster Neptune et doit accorder à Neptune l'autorisation d'écrire dans le compartiment S3 cible. Pour savoir comment créer un rôle IAM et l'associer à votre cluster, consultez Créer un rôle IAM pour permettre à Neptune d'accéder à Amazon S3.

Associez la politique d'autorisations suivante au rôle d'accès S3 :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowS3WriteForNeptuneExport",
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:GetObject",
        "s3:PutObject",
        "s3:AbortMultipartUpload",
        "s3:GetBucketPublicAccessBlock"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket",
        "arn:aws:s3:::amzn-s3-demo-bucket/*"
      ]
    }
  ]
}

Autorisations KMS facultatives

Si vous spécifiez un kmsKeyIdentifier dans la demande d'exportation, ajoutez les autorisations suivantes au rôle d'accès S3 :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowKMSForNeptuneExport",
      "Effect": "Allow",
      "Action": [
        "kms:Decrypt",
        "kms:Encrypt",
        "kms:GenerateDataKey"
      ],
      "Resource": "arn:aws:kms:us-east-1:123456789012:key/key-id"
    }
  ]
}

Endpoint d'exportation

Pour exporter des données, vous envoyez des requêtes HTTP au https://your-neptune-endpoint:port/export terminal.

Syntaxe des demandes d'exportation

POST https://your-neptune-endpoint:port/export

En-têtes de demandes

Corps de la requête

{
  "destination": "string",
  "format": "string",
  "iamRoleArn": "string",
  "region": "string",
  "compression": "string",
  "kmsKeyIdentifier": "string",
  "exportFilter": {
    "namedGraphUris": ["string"]
  }
}

Paramètres de demande

Syntaxe de réponse

{
  "status": "string",
  "payload": {
    "exportId": "string"
  }
}

Point final de statut d'exportation

Pour vérifier l'état d'une tâche d'exportation, vous envoyez une requête HTTP GET au point de terminaison d'exportation avec l'ID d'exportation.

GET https://your-neptune-endpoint:port/export?exportId=export-id

Paramètres de demande

Syntaxe de réponse

{
  "status": "string",
  "payload": {
    "exportId": "string",
    "destination": "string",
    "status": "string",
    "statusReason": "string",
    "format": "string",
    "iamRoleArn": "string",
    "kmsKeyIdentifier": "string",
    "exportFilter": {
      "namedGraphUris": ["string"]
    },
    "exportTaskDetails": {
      "timeElapsedSeconds": number,
      "startTime": number,
      "numRecordsWritten": number,
      "progressPercentage": number
    }
  }
}

Terminer les exportations de la liste

Pour répertorier toutes les tâches d'exportation, vous envoyez une requête HTTP GET au point de terminaison d'exportation.

GET https://your-neptune-endpoint:port/export

Syntaxe de réponse

{
  "status": "string",
  "payload": [
    "string"
  ]
}

Annuler l'endpoint d'exportation

Pour annuler une tâche d'exportation, vous envoyez une requête HTTP DELETE au point de terminaison d'exportation avec l'ID d'exportation.

DELETE https://your-neptune-endpoint:port/export?exportId=export-id

Paramètres de demande

Syntaxe de réponse

{
  "status": "string",
  "payload": {
    "message": "string"
  }
}

Format de sortie d'exportation

Structure du répertoire S3

Les données exportées sont organisées dans votre compartiment S3 comme suit :

s3://your-bucket/export-id/
├── data/
│   ├── part-00000.nt
│   ├── part-00001.nt
│   └── ...
└── export_status.json

Réponses d'erreur

Codes d'erreur courants

Exemple de réponse d'erreur

{
  "code": "BadRequestException",
  "requestId": "request-id", 
  "message": "Export already in progress with ID 'existing-id'. Please wait or cancel it first.",
  "detailedMessage": "Detailed error description"
}

Exemples

Lancer une exportation

curl -X POST https://your-cluster-endpoint:8182/export \
  -H "Content-Type: application/json" \
  -d '{
    "destination": "s3://my-bucket/exports/",
    "format": "ntriples", 
    "iamRoleArn": "arn:aws:iam::123456789012:role/neptune-export-role",
    "region": "us-west-2"
  }'

Lancer une exportation filtrée (nommée graphes)

curl -X POST https://your-cluster-endpoint:8182/export \
  -H "Content-Type: application/json" \
  -d '{
    "destination": "s3://my-bucket/exports/",
    "format": "nquads",
    "iamRoleArn": "arn:aws:iam::123456789012:role/neptune-export-role",
    "region": "us-west-2",
    "exportFilter": {
      "namedGraphUris": [
        "http://example.com/graph1",
        "http://example.com/graph2"
      ]
    }
  }'

Vérifier l'état de l'exportation

curl -X GET "https://your-cluster-endpoint:8182/export?exportId=<id>"

Annuler une exportation

curl -X DELETE "https://your-cluster-endpoint:8182/export?exportId=<id>"

Limitations

L'exportation native présente les limites suivantes :