Commande de chargeur Neptune

source : URI Amazon S3.

Le paramètre SOURCE accepte un URI Amazon S3 qui identifie un seul fichier, plusieurs fichiers, un dossier ou plusieurs dossiers. Neptune charge tous les fichiers de données dans n'importe quel dossier spécifié.

L'URI peut être à l'un des formats suivants.

L'object-key-nameélément de l'URI est équivalent au paramètre de préfixe dans un appel d'ListObjectsAPI Amazon S3. Il identifie tous les objets du compartiment Amazon S3 spécifié dont le nom commence par ce préfixe. Il peut s'agir d'un seul fichier, d'un seul dossier, de plusieurs fichiers et/ou de plusieurs dossiers.

Le dossier spécifié peut contenir plusieurs fichiers de sommet et plusieurs fichiers d'arête.

Par exemple, si vous disposiez de la structure de dossiers et des fichiers suivants dans un compartiment Amazon S3 nommé bucket-name :

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade
s3://bucket-name/bcd

Si le paramètre source est spécifié commes3://bucket-name/a, les trois premiers fichiers seront chargés.

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade

format : format des données. Pour plus d'informations sur les formats de données pour la commande Loader Neptune, consultez Utilisation du chargeur en vrac Amazon Neptune pour ingérer des données.

iamRoleArn : Amazon Resource Name (ARN) d'un rôle IAM qui doit être endossé par l'instance de base de données Neptune pour accéder au compartiment S3. Pour plus d'informations sur la création d'un rôle ayant accès à Amazon S3 et sur son association à un cluster Neptune, consultez Prérequis : rôle IAM et accès à Amazon S3.

À partir de la version 1.2.1.0.R3 du moteur, vous pouvez également enchaîner plusieurs rôles IAM si l'instance de base de données Neptune et le compartiment Amazon S3 se trouvent dans des comptes différents. AWS Dans ce cas, iamRoleArn contient une liste de rôles séparés par des virgules ARNs, comme décrit dans. Chaînage des rôles IAM dans Amazon Neptune Par exemple :

curl -X POST https://localhost:8182/loader \
  -H 'Content-Type: application/json' \
  -d '{
        "source" : "s3://(the target bucket name)/(the target date file name)",
        "iamRoleArn" : "arn:aws:iam::(Account A ID):role/(RoleA),arn:aws:iam::(Account B ID):role/(RoleB),arn:aws:iam::(Account C ID):role/(RoleC)",
        "format" : "csv",
        "region" : "us-east-1"
      }'

region— Le region paramètre doit correspondre à la AWS région du cluster et au compartiment S3.

Amazon Neptune est disponible dans les régions suivantes :

mode : mode de la tâche de chargement.

Valeurs autorisées : RESUME, NEW, AUTO

Valeur par défaut : AUTO

failOnError : indicateur permettant d'activer un arrêt complet au niveau d'une erreur.

Valeurs autorisées : "TRUE", "FALSE".

Valeur par défaut : "TRUE".

Lorsque ce paramètre est défini sur "FALSE", le chargeur essaie de charger toutes les données à l'emplacement spécifié, en ignorant les entrées contenant des erreurs.

Lorsque ce paramètre est défini sur "TRUE", le chargeur s'arrête dès qu'il rencontre une erreur. Les données chargées jusqu'à ce point persistent.

parallelism : paramètre facultatif qui peut être défini de façon à réduire le nombre de threads utilisés par le processus de chargement en bloc.

Valeurs autorisées :

Valeur par défaut : HIGH

Le paramètre parallelism peut parfois entraîner un blocage entre les threads lors du chargement des données openCypher. Lorsque cela se produit, Neptune renvoie le message d'erreur LOAD_DATA_DEADLOCK. Vous pouvez généralement résoudre le problème en définissant un paramètre parallelism inférieur et en soumettant la commande de chargement à une nouvelle tentative.

parserConfiguration : objet facultatif avec des valeurs de configuration d'analyseur supplémentaires. Chacun des paramètres enfants est également facultatif :

Pour de plus amples informations, veuillez consulter Graphe par défaut SPARQL et graphes nommés.

updateSingleCardinalityProperties : paramètre facultatif qui contrôle la façon dont le chargeur en bloc traite une nouvelle valeur pour les propriétés de sommet ou d'arête à cardinalité unique. Il n'est pas pris en charge pour le chargement de données openCypher (voir Chargement de données openCypher).

Valeurs autorisées : "TRUE", "FALSE".

Valeur par défaut : "FALSE".

Par défaut, ou lorsque updateSingleCardinalityProperties est explicitement défini sur "FALSE", le chargeur traite une nouvelle valeur comme une erreur, car elle ne respecte pas la cardinalité unique.

En revanche, lorsque updateSingleCardinalityProperties est défini sur "TRUE", le chargeur en bloc remplace la valeur existante par la nouvelle. Si plusieurs valeurs de propriété de sommet à cardinalité unique ou d'arête sont fournies dans le ou les fichiers source en cours de chargement, la valeur finale à l'issue du chargement en bloc peut être une de ces nouvelles valeurs. Le chargeur garantit uniquement que la valeur existante a été remplacée par une des nouvelles.

queueRequest : paramètre d'indicateur facultatif qui indique si la demande de chargement peut être mise en file d'attente ou non.

Vous n'avez pas besoin d'attendre qu'une tâche de chargement soit terminée avant d'émettre la suivante, car Neptune peut mettre en file d'attente jusqu'à 64 tâches à la fois, si leurs paramètres queueRequest sont tous définis sur "TRUE". L'ordre de file d'attente des tâches sera first-in-first-out (FIFO).

Si le paramètre queueRequest est omis ou défini sur "FALSE", la demande de chargement échouera si une autre tâche de chargement est déjà en cours d'exécution.

Valeurs autorisées : "TRUE", "FALSE".

Valeur par défaut : "FALSE".

dependencies : paramètre facultatif qui peut subordonner une demande de chargement en file d'attente à la réussite d'une ou de plusieurs tâches précédentes dans la file d'attente.

Neptune peut mettre en file d'attente jusqu'à 64 requêtes de chargement à la fois, si leurs paramètres queueRequest sont définis sur "TRUE". Le paramètre dependencies vous permet de rendre l'exécution d'une telle requête en file d'attente dépendante de la réussite d'une ou de plusieurs requêtes précédentes spécifiées dans la file d'attente.

Par exemple, si les charges Job-A et Job-B sont indépendantes l'une de l'autre, mais que la charge Job-C a besoin que Job-A et Job-B soient terminées avant de commencer, procédez comme suit :

  "dependencies" : ["job_A_load_id", "job_B_load_id"]

En raison du paramètre dependencies, le chargeur en bloc ne démarrera pas Job-C avant que Job-A et Job-B soient terminées avec succès. Si l'une des d'eux échoue, Job-C ne sera pas exécuté et son statut sera défini sur LOAD_FAILED_BECAUSE_DEPENDENCY_NOT_SATISFIED.

Vous pouvez configurer plusieurs niveaux de dépendance de cette façon, de sorte que l'échec d'une tâche entraîne l'annulation de toutes les demandes qui en dépendent directement ou indirectement.

userProvidedEdgeIds— Ce paramètre est obligatoire uniquement lors du chargement de données OpenCypher contenant une relation. IDs Il doit être inclus et défini True lorsque les relations OpenCypher IDs sont explicitement fournies dans les données de chargement (recommandé).

Quand userProvidedEdgeIds est absent ou défini sur True, une colonne :ID doit être présente dans chaque fichier de relations inclus dans le chargement.

Quand userProvidedEdgeIds est présent et défini sur False, les fichiers de relations inclus dans le chargement ne doivent pas contenir de colonne :ID. Au lieu de cela, le chargeur Neptune génère automatiquement un ID pour chaque relation.

Il est utile de fournir une relation de IDs manière explicite afin que le chargeur puisse reprendre le chargement après correction d'une erreur dans les données CSV, sans avoir à recharger les relations déjà chargées. Si aucune relation IDs n'a été explicitement attribuée, le chargeur ne peut pas reprendre un chargement défaillant si un fichier de relations a dû être corrigé, et doit à la place recharger toutes les relations.

accessKey : [obsolète] ID de clé d'accès d'un rôle IAM avec un accès au compartiment S3 et aux fichiers de données.

Le paramètre iamRoleArn est recommandé à la place. Pour plus d'informations sur la création d'un rôle ayant accès à Amazon S3 et sur son association à un cluster Neptune, consultez Prérequis : rôle IAM et accès à Amazon S3.

Pour plus d'informations, consultez Clés d'accès (ID de clé d'accès et clé d'accès secrète).

secretKey : [obsolète] le paramètre iamRoleArn est recommandé à la place. Pour plus d'informations sur la création d'un rôle ayant accès à Amazon S3 et sur son association à un cluster Neptune, consultez Prérequis : rôle IAM et accès à Amazon S3.

Pour plus d'informations, consultez Clés d'accès (ID de clé d'accès et clé d'accès secrète).

Lorsque vous chargez des données openCypher au format CSV, le paramètre de format doit être défini sur opencypher.

Le paramètre updateSingleCardinalityProperties n'est pas pris en charge pour les chargements openCypher, car toutes les propriétés openCypher ont une cardinalité unique. Le format de chargement openCypher ne prend pas en charge les tableaux, et si une valeur d'ID apparaît plusieurs fois, elle est traitée comme un doublon ou comme une erreur d'insertion (voir ci-dessous).

Le chargeur Neptune gère les doublons qu'il trouve dans les données openCypher de la manière suivante :

Bien que vous n'ayez pas à assigner IDs aux relations, c'est généralement une bonne idée (voir le userProvidedEdgeIds paramètre ci-dessus). En l'absence de relation explicite IDs, le chargeur doit recharger toutes les relations en cas d'erreur dans un fichier de relations, plutôt que de reprendre le chargement là où il a échoué.

De plus, si les données de chargement ne contiennent pas de relation explicite IDs, le chargeur n'a aucun moyen de détecter les relations dupliquées.