Neptune ローダーコマンド

source – Amazon S3 URI。

SOURCE パラメータは、単一のファイル、複数のファイル、フォルダ、または複数のフォルダURIを識別する Amazon S3 を受け入れます。Neptune は、指定されたフォルダ内のすべてのデータファイルをロードします。

は、次のいずれかの形式URIにすることができます。

の object-key-name要素は、Amazon S3 ListObjectsAPI呼び出しのプレフィックスパラメータと同等URIです。これは、名前がそのプレフィックスで始まる指定された Amazon S3 バケット内のすべてのオブジェクトを識別します。これは、単一のファイルまたはフォルダ、または複数のファイルやフォルダにすることができます。

特定のフォルダには複数の頂点ファイルおよび複数のエッジファイルが含まれている場合があります。

例えば、 という名前の Amazon S3 バケットに次のフォルダ構造とファイルがある場合ですbucket-name。

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade
s3://bucket-name/bcd

ソースパラメータが として指定されている場合s3://bucket-name/a、最初の 3 つのファイルがロードされます。

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade

format - データの形式。Neptune Loader コマンドのデータ形式の詳細については、Amazon Neptune バルクローダーを使用してデータを取り込む を参照してください。

iamRoleArn – S3 バケットにアクセスするために Neptune DB インスタンスが引き受けるIAMロールの Amazon リソースネーム (ARN）。Amazon S3 にアクセスできるロールを作成し、Neptune クラスターに関連付ける方法の詳細については、前提条件: IAMロールと Amazon S3 アクセス を参照してください。

エンジンリリース 1.2.1.0.R3 以降では、Neptune DB インスタンスと Amazon S3 バケットが異なる AWS アカウントにある場合、複数のIAMロールを連鎖させることもできます。この場合、 iamRoleArnには、「」で説明されているようにARNs、ロール のカンマ区切りリストが含まれていますAmazon Neptune でのIAMロールの連鎖。例:

curl -X POST https://localhost:8182/loader \
  -H 'Content-Type: application/json' \
  -d '{
        "source" : "s3://(the target bucket name)/(the target date file name)",
        "iamRoleArn" : "arn:aws:iam::(Account A ID):role/(RoleA),arn:aws:iam::(Account B ID):role/(RoleB),arn:aws:iam::(Account C ID):role/(RoleC)",
        "format" : "csv",
        "region" : "us-east-1"
      }'

region – regionパラメータは、クラスターの AWS リージョンと S3 バケットと一致する必要があります。

Amazon Neptune は、次のリージョンで利用できます。

mode - ロードジョブモード。

使用できる値: RESUME、NEW、AUTO。

デフォルト値: AUTO

failOnError - エラー時に完全な停止を切り替えるフラグ。

使用できる値: "TRUE"、"FALSE"。

デフォルト値: "TRUE"。

このパラメータを "FALSE" に設定すると、ローダーは指定された場所のすべてのデータをロードし、エラーのあるエントリはスキップします。

このパラメータを "TRUE" に設定すると、ローダーはエラー発生時にすぐに停止します。その時点までロードされたデータは保持されます。

parallelism - これは、一括ロードプロセスで使用されるスレッド数を減らすように設定することができるオプションのパラメータです。

許可される値:

デフォルト値: HIGH

parallelism この設定により、 openCypher データのロード時にスレッド間でデッドロックが発生することがあります。こうなると、Neptune は LOAD_DATA_DEADLOCK というエラーを返します。通常、この問題は次のようにして修正できます。parallelism より低い設定にし、ロードコマンドを再試行します。

parserConfiguration - 追加のパーサー設定値のあるオプションのオブジェクト。それぞれの子パラメータもオプションです。

詳細については、「SPARQL デフォルトのグラフと名前付きグラフ」を参照してください。

updateSingleCardinalityProperties - これは、バルクローダーが単一濃度の頂点またはエッジプロパティの新しい値を処理する方法を制御するオプションのパラメータです。これは openCypher データのロードではサポートされていません (「」を参照 openCypher データのロード）。

使用できる値: "TRUE"、"FALSE"。

デフォルト値: "FALSE"。

デフォルトでは、または updateSingleCardinalityProperties が明示的に "FALSE" に設定されている場合、ローダーは単一の濃度に違反するため、新しい値をエラーとして扱います。

一方、updateSingleCardinalityProperties が "TRUE" に設定されている場合、バルクローダーは既存の値を新しい値に置き換えます。ロードされるソースファイルで複数のエッジまたは単一濃度の頂点プロパティ値が指定されている場合、バルクロードの終了時の最終値は、これらの新しい値のいずれかになります。ローダーは、既存の値が新しい値の 1 つに置き換えられたことを保証します。

queueRequest - これは、ロードリクエストをキューに入れることができるかどうかを示すオプションのフラグパラメータです。

queueRequest パラメータをすべて "TRUE"に設定している場合、Neptune は一度に最大 64 個のジョブをキューに入れることができるので、次のジョブを発行する前に 1 つのロードジョブが完了するのを待つ必要はありません。ジョブのキュー順序は () になります first-in-first-outFIFO。

queueRequest パラメータを省略するるか、"FALSE" に設定した場合、別のロードジョブがすでに実行されていると、ロードリクエストは失敗します。

使用できる値: "TRUE"、"FALSE"。

デフォルト値: "FALSE"。

dependencies - これは、キュー内の 1 つ以上の前のジョブが正常に完了することを条件に、キューに入れられたロードリクエストを作成することができるオプションのパラメータです。

Neptune は、queueRequest パラメータが "TRUE" に設定されている場合、一度に最大 64 個のロードリクエストをキューに入れることができます。dependencies パラメータを使用すると、キュー内で指定された 1 つ以上前のリクエストが正常に完了したかどうかに応じて、キューに入れられたそのようなリクエストを実行できます。

たとえば、ロード Job-A と Job-B が互いに独立しているものの、ロード Job-C を開始する前に Job-A および Job-B を終了する必要がある場合は、次の手順を実行します。

  "dependencies" : ["job_A_load_id", "job_B_load_id"]

dependencies パラメータのため、Job-A と Job-B が正常に完了するまで、バルクローダーは Job-C を起動しません。いずれかが失敗すると、Job-C は実行されず、そのステータスは LOAD_FAILED_BECAUSE_DEPENDENCY_NOT_SATISFIED に設定されます。

この方法で複数のレベルの依存関係を設定できます。これにより、1 つのジョブが失敗すると、直接的または間接的に依存するすべてのリクエストがキャンセルされます。

userProvidedEdgeIds – このパラメータは、関係 を含む openCypher データをロードする場合にのみ必要ですIDs。ロードデータに openCypher 関係IDsが明示的に提供されるTrue場合 (推奨）、含めて に設定する必要があります。

userProvidedEdgeIds がないか、True に設定されている場合、:ID 列は、ロード内のすべてのリレーションシップファイルにある必要があります。

userProvidedEdgeIds があり、False に設定されている場合、ロード内のリレーションシップファイルに :ID 列があってはなりません。代わりに、Neptune ローダーは各リレーションシップの ID を自動的に生成します。

すでにロードされているリレーションシップを再ロードしなくても、CSVデータのエラーが修正された後にローダーがロードを再開できるように、リレーションシップをIDs明示的に提供しておくと便利です。関係IDsが明示的に割り当てられていない場合、関係ファイルを修正する必要がある場合、ローダーは失敗したロードを再開できず、代わりにすべての関係を再ロードする必要があります。

accessKey – 〔非推奨〕 S3 バケットとデータファイルにアクセスできるIAMロールのアクセスキー ID。

代わりに、iamRoleArn パラメータを使用することをお勧めします。Amazon S3 にアクセスできるロールを作成し、Neptune クラスターに関連付ける方法の詳細については、前提条件: IAMロールと Amazon S3 アクセス を参照してください。

詳細については、「アクセスキー (アクセスキー ID とシークレットアクセスキー)」を参照してください。

secretKey   –   [非推奨] 代わりに iamRoleArn パラメータを使用することをお勧めします。Amazon S3 にアクセスできるロールを作成し、Neptune クラスターに関連付ける方法の詳細については、前提条件: IAMロールと Amazon S3 アクセス を参照してください。

詳細については、「アクセスキー (アクセスキー ID とシークレットアクセスキー)」を参照してください。