Amazon Neptune 一括ロードの最適化

データを必ずロードする前にサポートされているデータ形式へ変換してください。

重複または既知のエラーをすべて削除します。

一意の述語 (エッジや頂点のプロパティなど) の数をできるだけ減らします。

Amazon S3 バケットからCSVファイルなどの大きなファイルをロードする場合、ローダーは並列にロードできるチャンクにそれらを解析することで、同時実行を管理します。非常に多くの小さなファイルを使用すると、このプロセスが遅くなる可能性があります。

Amazon S3 フォルダから複数のファイルをロードする場合、ローダーは最初に頂点ファイルをロードし、次にエッジファイルをロードします。

ファイルを圧縮すると、転送時間が短縮されます。ローダーは gzip ソースファイルの圧縮をサポートしています。

ロード中に他の操作を行う必要がない場合は、OVERSUBSCRIBEparallelism パラメータを使用します。このパラメータ設定により、一括ローダーは実行時に使用可能なすべてのCPUリソースを使用します。通常、I/O 制約が許容する速度でオペレーションを実行し続けるには、CPU容量の 60%～70% が必要です。

ロードジョブに複数のロードリクエストが含まれる場合は、queueRequest パラメータを使用します。queueRequest を TRUE に設定すると、Neptune はリクエストをキューに入れるので、別のリクエストを発行する前にリクエストが完了するのを待つ必要がありません。

ロードリクエストがキューに入れられている場合は、dependencies パラメータを指定すると、1 つのジョブが失敗すると、依存ジョブが失敗します。これにより、ロードされたデータの不整合を防ぐことができます。

ロードジョブで以前にロードされた値の更新が含まれる場合は、必ず updateSingleCardinalityProperties パラメータを TRUE に設定してください。そうでない場合、ローダーは既存の単一カーディナリティ値の更新試行をエラーとして扱います。Gremlin データの場合、カーディナリティはプロパティの列ヘッダーにも指定されます (プロパティ列ヘッダー)。

failOnError パラメータを使用して、エラーが発生したときにバルクロード操作が失敗するか、続行するかを決定します。また、mode パラメータを使用して、ロードジョブがすでにロードされたデータをリロードするのではなく、前のジョブが失敗した時点からロードを再開するようにします。