Neptune ローダーコマンド

source – Amazon S3 URI。

SOURCE パラメータは、単一のファイル、複数のファイル、フォルダ、または複数のフォルダを識別する Amazon S3 URI を受け入れます。Neptune は、指定されたフォルダ内のすべてのデータファイルをロードします。

URI は、次のいずれかの形式にすることができます。

URI の object-key-name要素は、Amazon S3 ListObjects API呼び出しのプレフィックスパラメータと同等です。これは、名前がそのプレフィックスで始まる指定された Amazon S3 バケット内のすべてのオブジェクトを識別します。これは、単一のファイルまたはフォルダ、または複数のファイルやフォルダにすることができます。

特定のフォルダには複数の頂点ファイルおよび複数のエッジファイルが含まれている場合があります。

たとえば、 という名前の Amazon S3 バケットに次のフォルダ構造とファイルがある場合ですbucket-name。

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade
s3://bucket-name/bcd

ソースパラメータが として指定されている場合s3://bucket-name/a、最初の 3 つのファイルがロードされます。

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade

format - データの形式。Neptune Loader コマンドのデータ形式の詳細については、Amazon Neptune バルクローダーを使用したデータの取り込み を参照してください。

iamRoleArn – S3 バケットにアクセスするために Neptune DB インスタンスが引き受ける IAM ロールの Amazon リソースネーム (ARN）。Amazon S3 にアクセスできるロールを作成し、Neptune クラスターに関連付ける方法の詳細については、前提条件: IAM ロールと Amazon S3 アクセス を参照してください。

エンジンリリース 1.2.1.0.R3 以降、Neptune DB インスタンスと Amazon S3 バケットが異なる AWS アカウントにある場合、複数の IAM ロールを連鎖させることもできます。この場合、 iamRoleArnには、「」で説明されているように、ロール ARNs のカンマ区切りリストが含まれていますAmazon Neptune での IAM ロールの連鎖。例えば：

curl -X POST https://localhost:8182/loader \
  -H 'Content-Type: application/json' \
  -d '{
        "source" : "s3://(the target bucket name)/(the target date file name)",
        "iamRoleArn" : "arn:aws:iam::(Account A ID):role/(RoleA),arn:aws:iam::(Account B ID):role/(RoleB),arn:aws:iam::(Account C ID):role/(RoleC)",
        "format" : "csv",
        "region" : "us-east-1"
      }'

region – regionパラメータは、クラスターの AWS リージョンと S3 バケットと一致する必要があります。

Amazon Neptune は、次のリージョンで利用できます。

mode - ロードジョブモード。

使用できる値: RESUME、NEW、AUTO。

デフォルト値: AUTO

failOnError - エラー時に完全な停止を切り替えるフラグ。

使用できる値: "TRUE"、"FALSE"。

デフォルト値: "TRUE"。

このパラメータを "FALSE" に設定すると、ローダーは指定された場所のすべてのデータをロードし、エラーのあるエントリはスキップします。

このパラメータを "TRUE" に設定すると、ローダーはエラー発生時にすぐに停止します。その時点までロードされたデータは保持されます。

parallelism - これは、一括ロードプロセスで使用されるスレッド数を減らすように設定することができるオプションのパラメータです。

許可される値:

デフォルト値: HIGH

parallelism この設定により、 openCypher データをロードするときにスレッド間でデッドロックが発生することがあります。こうなると、Neptune は LOAD_DATA_DEADLOCK というエラーを返します。通常、この問題は次のようにして修正できます。parallelism より低い設定にし、ロードコマンドを再試行します。

parserConfiguration - 追加のパーサー設定値のあるオプションのオブジェクト。それぞれの子パラメータもオプションです。

詳細については、「SPARQL のデフォルトグラフと名前付きグラフ」を参照してください。

updateSingleCardinalityProperties - これは、バルクローダーが単一濃度の頂点またはエッジプロパティの新しい値を処理する方法を制御するオプションのパラメータです。これは Load openCypher データではサポートされていません (「」を参照Loading openCypher データ）。

使用できる値: "TRUE"、"FALSE"。

デフォルト値: "FALSE"。

デフォルトでは、または updateSingleCardinalityProperties が明示的に "FALSE" に設定されている場合、ローダーは単一の濃度に違反するため、新しい値をエラーとして扱います。

一方、updateSingleCardinalityProperties が "TRUE" に設定されている場合、バルクローダーは既存の値を新しい値に置き換えます。ロードされるソースファイルで複数のエッジまたは単一濃度の頂点プロパティ値が指定されている場合、バルクロードの終了時の最終値は、これらの新しい値のいずれかになります。ローダーは、既存の値が新しい値の 1 つに置き換えられたことを保証します。

queueRequest - これは、ロードリクエストをキューに入れることができるかどうかを示すオプションのフラグパラメータです。

queueRequest パラメータをすべて "TRUE"に設定している場合、Neptune は一度に最大 64 個のジョブをキューに入れることができるので、次のジョブを発行する前に 1 つのロードジョブが完了するのを待つ必要はありません。ジョブのキューの順序は first-in-first-out (FIFO) になります。

queueRequest パラメータを省略するるか、"FALSE" に設定した場合、別のロードジョブがすでに実行されていると、ロードリクエストは失敗します。

使用できる値: "TRUE"、"FALSE"。

デフォルト値: "FALSE"。

dependencies - これは、キュー内の 1 つ以上の前のジョブが正常に完了することを条件に、キューに入れられたロードリクエストを作成することができるオプションのパラメータです。

Neptune は、queueRequest パラメータが "TRUE" に設定されている場合、一度に最大 64 個のロードリクエストをキューに入れることができます。dependencies パラメータを使用すると、キュー内で指定された 1 つ以上前のリクエストが正常に完了したかどうかに応じて、キューに入れられたそのようなリクエストを実行できます。

たとえば、ロード Job-A と Job-B が互いに独立しているものの、ロード Job-C を開始する前に Job-A および Job-B を終了する必要がある場合は、次の手順を実行します。

  "dependencies" : ["job_A_load_id", "job_B_load_id"]

dependencies パラメータのため、Job-A と Job-B が正常に完了するまで、バルクローダーは Job-C を起動しません。いずれかが失敗すると、Job-C は実行されず、そのステータスは LOAD_FAILED_BECAUSE_DEPENDENCY_NOT_SATISFIED に設定されます。

この方法で複数のレベルの依存関係を設定できます。これにより、1 つのジョブが失敗すると、直接的または間接的に依存するすべてのリクエストがキャンセルされます。

userProvidedEdgeIds – このパラメータは、リレーションシップ openCypher を含む IDs データをロードする場合にのみ必要です。ロードデータに openCypher リレーションシップ IDs が明示的に指定されているTrue場合は、含めて に設定する必要があります (推奨）。

userProvidedEdgeIds がないか、True に設定されている場合、:ID 列は、ロード内のすべてのリレーションシップファイルにある必要があります。

userProvidedEdgeIds があり、False に設定されている場合、ロード内のリレーションシップファイルに :ID 列があってはなりません。代わりに、Neptune ローダーは各リレーションシップの ID を自動的に生成します。

リレーションシップ IDs を明示的に指定して、ロード済みのリレーションシップを再ロードすることなく、CSV データ内のエラーが修正された後にローダーがロードを再開できるようにしておくと便利です。リレーションシップIDsが明示的に割り当てられていない場合、リレーションシップファイルを修正する必要がある場合、ローダーは失敗したロードを再開できず、代わりにすべてのリレーションシップを再ロードする必要があります。

accessKey – 〔廃止〕 S3 バケットとデータファイルにアクセスできる IAM ロールのアクセスキー ID。

代わりに、iamRoleArn パラメータを使用することをお勧めします。Amazon S3 にアクセスできるロールを作成し、Neptune クラスターに関連付ける方法の詳細については、前提条件: IAM ロールと Amazon S3 アクセス を参照してください。

詳細については、「アクセスキー (アクセスキー ID とシークレットアクセスキー)」を参照してください。

secretKey   –   [非推奨] 代わりに iamRoleArn パラメータを使用することをお勧めします。Amazon S3 にアクセスできるロールを作成し、Neptune クラスターに関連付ける方法の詳細については、前提条件: IAM ロールと Amazon S3 アクセス を参照してください。

詳細については、「アクセスキー (アクセスキー ID とシークレットアクセスキー)」を参照してください。

openCypher 形式で CSV データをロードするときは、 format パラメータを に設定する必要がありますopencypher。

すべての openCypher プロパティのカーディナリティは 1 つであるため、 updateSingleCardinalityPropertiesパラメータは openCypher ロードではサポートされていません。 openCypher ロード形式は配列をサポートしていません。ID 値が複数回表示される場合、重複または挿入エラーとして扱われます (以下を参照）。

Neptune ローダーは、openCypher データで発生した重複を次のように処理します。

関係に IDs を割り当てる必要はありませんが、通常はお勧めします (上記の userProvidedEdgeIdsパラメータを参照）。明示的なリレーションシップ IDs がない場合、ローダーは、障害が発生した場所からロードを再開するのではなく、リレーションシップファイルでエラーが発生した場合にすべてのリレーションシップを再ロードする必要があります。

また、ロードデータに明示的なリレーションシップ IDs が含まれていない場合、ローダーは重複したリレーションシップを検出する方法がありません。