Amazon Neptune 一括ロードの最適化

データを必ずロードする前にサポートされているデータ形式へ変換してください。

重複または既知のエラーをすべて削除します。

一意の述語 (エッジや頂点のプロパティなど) の数をできるだけ減らします。

Amazon S3 バケットから CSV ファイルなどの大きなファイルをロードする場合、ローダーはそれらを並行してロードできるチャンクに解析することによって同時性を管理します。非常に多くの小さなファイルを使用すると、このプロセスが遅くなる可能性があります。

Amazon S3 フォルダから複数のファイルをロードする場合、ローダーは最初に頂点ファイルをロードし、次にエッジファイルをロードします。

ファイルを圧縮すると、転送時間が短縮されます。ローダーは gzip ソースファイルの圧縮をサポートしています。

ロード中に他の操作を行う必要がない場合は、OVERSUBSCRIBEparallelism パラメータを使用します。このパラメータ設定では、一括ローダーは、実行時に使用可能なすべての CPU リソースを使用するようになります。一般に、I/O 制約が許す限り速くオペレーションを実行し続けるには、CPU 容量の 60%～ 70% が必要です。

ロードジョブに複数のロードリクエストが含まれる場合は、queueRequest パラメータを使用します。queueRequest を TRUE に設定すると、Neptune はリクエストをキューに入れるので、別のリクエストを発行する前にリクエストが完了するのを待つ必要がありません。

ロードリクエストがキューに入れられている場合は、dependencies パラメータを指定すると、1 つのジョブが失敗すると、依存ジョブが失敗します。これにより、ロードされたデータの不整合を防ぐことができます。

ロードジョブで以前にロードされた値の更新が含まれる場合は、必ず updateSingleCardinalityProperties パラメータを TRUE に設定してください。そうでない場合、ローダーは既存の単一カーディナリティ値の更新試行をエラーとして扱います。Gremlin データの場合、カーディナリティはプロパティの列ヘッダーにも指定されます (プロパティ列ヘッダー)。

failOnError パラメータを使用して、エラーが発生したときにバルクロード操作が失敗するか、続行するかを決定します。また、mode パラメータを使用して、ロードジョブがすでにロードされたデータをリロードするのではなく、前のジョブが失敗した時点からロードを再開するようにします。