Perintah Loader Neptune

source- Amazon S3URI.

SOURCEParameter menerima Amazon URI S3 yang mengidentifikasi satu file, beberapa file, folder, atau beberapa folder. Neptune memuat setiap file data dalam folder yang ditentukan.

URIBisa dalam salah satu format berikut.

object-key-nameElemen URI setara dengan parameter awalan dalam panggilan Amazon ListObjectsAPIS3. Ini mengidentifikasi semua objek dalam bucket Amazon S3 yang ditentukan yang namanya dimulai dengan prefiks itu. Objek itu bisa berupa satu file atau folder, atau beberapa file dan/atau folder.

Folder atau folder-folder yang ditentukan dapat berisi beberapa file vertex dan beberapa file edge.

Misalnya, jika Anda memiliki struktur folder dan file berikut di bucket Amazon S3 bernama: bucket-name

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade
s3://bucket-name/bcd

Jika parameter sumber ditentukan sebagais3://bucket-name/a, tiga file pertama akan dimuat.

s3://bucket-name/a/bc
s3://bucket-name/ab/c
s3://bucket-name/ade

format — Format data. Untuk informasi selengkapnya tentang format data untuk perintah Loader Neptune, lihat Menggunakan pemuat massal Amazon Neptunus untuk menelan data.

iamRoleArn— Amazon Resource Name (ARN) untuk IAM peran yang akan diasumsikan oleh instans DB Neptunus untuk akses ke bucket S3. Untuk informasi tentang membuat peran yang memiliki akses ke Amazon S3 dan kemudian mengaitkannya dengan klaster Neptune, lihat Prasyarat: Peran dan Akses IAM Amazon S3.

Dimulai dengan rilis engine 1.2.1.0.R3, Anda juga dapat merantai beberapa peran IAM jika instans DB Neptunus dan bucket Amazon S3 berada di Akun yang berbeda. AWS Dalam hal ini, iamRoleArn berisi daftar peran yang dipisahkan komaARNs, seperti yang dijelaskan dalam. IAMPeran rantai di Amazon Neptunus Sebagai contoh:

curl -X POST https://localhost:8182/loader \
  -H 'Content-Type: application/json' \
  -d '{
        "source" : "s3://(the target bucket name)/(the target date file name)",
        "iamRoleArn" : "arn:aws:iam::(Account A ID):role/(RoleA),arn:aws:iam::(Account B ID):role/(RoleB),arn:aws:iam::(Account C ID):role/(RoleC)",
        "format" : "csv",
        "region" : "us-east-1"
      }'

region— region Parameter harus cocok dengan AWS Wilayah cluster dan bucket S3.

Amazon Neptune tersedia di Wilayah berikut:

mode — Mode pekerjaan pemuatan.

Nilai yang diizinkan:RESUME,NEW,AUTO.

Nilai default: AUTO

failOnError — Sebuah bendera untuk mengubah berhenti penuh pada kesalahan.

Nilai yang diizinkan: "TRUE", "FALSE".

Nilai default:"TRUE".

Ketika parameter ini diatur ke "FALSE", loader mencoba memuat semua data di lokasi yang ditentukan, melewatkan entri apa pun yang memiliki kesalahan.

Ketika parameter ini diatur ke "TRUE", loader berhenti segera setelah menemukan kesalahan. Data yang dimuat sampai saat itu tetap ada.

parallelism — Ini adalah parameter opsional yang dapat diatur untuk mengurangi jumlah utas yang digunakan oleh proses pemuatan massal.

Nilai yang diizinkan:

Nilai default: HIGH

parallelismPengaturan terkadang dapat mengakibatkan kebuntuan antar utas saat memuat openCypher data. Ketika ini terjadi, Neptunus mengembalikan kesalahan. LOAD_DATA_DEADLOCK Anda biasanya dapat memperbaiki masalah dengan mengatur parallelism ke pengaturan yang lebih rendah dan mencoba kembali perintah load.

parserConfiguration — Sebuah objek opsional dengan nilai konfigurasi parser tambahan. Masing-masing parameter turunan juga opsional:

Untuk informasi selengkapnya, lihat SPARQLGrafik Default dan Grafik Bernama.

updateSingleCardinalityProperties — Ini adalah parameter opsional yang mengontrol bagaimana bulk loader memperlakukan nilai baru untuk properti vertex atau edge single-cardinality. Ini tidak didukung untuk memuat openCypher data (lihatMemuat openCypher data).

Nilai yang diizinkan: "TRUE", "FALSE".

Nilai default:"FALSE".

Secara default, atau saat updateSingleCardinalityProperties secara eksplisit diatur ke "FALSE", loader memperlakukan nilai baru sebagai kesalahan, karena melanggar kardinalitas tunggal.

Saat updateSingleCardinalityProperties diatur ke "TRUE", di sisi lain, loader massal menggantikan nilai yang ada dengan yang baru. Jika beberapa edge atau nilai properti vertex single-cardinality disediakan dalam file sumber yang dimuat, nilai akhir pada akhir pemuatan massal bisa menjadi salah satu dari nilai-nilai baru tersebut. Loader hanya menjamin bahwa nilai yang ada telah digantikan oleh salah satu yang baru.

queueRequest — Ini adalah parameter bendera opsional yang menunjukkan apakah permintaan pemuatan dapat diantrekan atau tidak.

Anda tidak perlu menunggu satu pekerjaan muat selesai sebelum mengeluarkan pekerjaan berikutnya, karena Neptune dapat mengantrekan sebanyak 64 pekerjaan sekaligus, asalkan parameter queueRequest semua diatur ke "TRUE". Urutan antrian pekerjaan adalah first-in-first-out (FIFO).

Jika parameter queueRequest dihilangkan atau diatur ke "FALSE", permintaan pemuatan akan gagal jika pekerjaan pemuatan lain sudah berjalan.

Nilai yang diizinkan: "TRUE", "FALSE".

Nilai default:"FALSE".

dependencies — Ini adalah parameter opsional yang dapat membuat permintaan pemuatan yang mengantre bergantung pada penyelesaian yang berhasil dari satu atau lebih pekerjaan sebelumnya dalam antrean.

Neptune dapat mengantrekan sebanyak 64 permintaan pemuatan sekaligus, jika parameter queueRequest permintaannya diatur ke "TRUE". Parameter dependencies memungkinkan Anda melakukan eksekusi seperti permintaan mengantre yang tergantung pada penyelesaian yang berhasil dari satu atau lebih permintaan ditentukan sebelumnya dalam antrean.

Misalnya, jika pemuatan Job-A dan Job-B independen satu sama lain, namun pemuatan Job-C membutuhkan Job-A dan Job-B harus selesai sebelum dimulai, lanjutkan sebagai berikut:

  "dependencies" : ["job_A_load_id", "job_B_load_id"]

Karena parameter dependencies, loader massal tidak akan memulai Job-C sampai Job-A dan Job-B telah berhasil diselesaikan. Jika salah satu dari mereka gagal, Job-C tidak akan dieksekusi, dan statusnya akan diatur ke LOAD_FAILED_BECAUSE_DEPENDENCY_NOT_SATISFIED.

Anda dapat mengatur beberapa tingkat ketergantungan dengan cara ini, sehingga kegagalan satu pekerjaan akan menyebabkan semua permintaan yang secara langsung atau tidak langsung tergantung padanya untuk dibatalkan.

userProvidedEdgeIds— Parameter ini diperlukan hanya saat memuat openCypher data yang berisi hubunganIDs. Itu harus disertakan dan diatur ke True ketika openCypher hubungan IDs secara eksplisit disediakan dalam data beban (disarankan).

Ketika tidak userProvidedEdgeIds ada atau diatur keTrue, :ID kolom harus ada di setiap file hubungan dalam beban.

Ketika userProvidedEdgeIds hadir dan diatur keFalse, file hubungan dalam beban tidak boleh berisi :ID kolom. Sebagai gantinya, pemuat Neptunus secara otomatis menghasilkan ID untuk setiap hubungan.

Sangat berguna untuk memberikan hubungan secara IDs eksplisit sehingga loader dapat melanjutkan pemuatan setelah kesalahan dalam CSV data diperbaiki, tanpa harus memuat ulang hubungan apa pun yang telah dimuat. Jika hubungan IDs belum ditetapkan secara eksplisit, pemuat tidak dapat melanjutkan pemuatan yang gagal jika ada file hubungan yang harus diperbaiki, dan sebagai gantinya harus memuat ulang semua hubungan.

accessKey— [usang] ID kunci akses IAM peran dengan akses ke bucket S3 dan file data.

Parameter iamRoleArn dianjurkan sebagai gantinya. Untuk informasi tentang membuat peran yang memiliki akses ke Amazon S3 dan kemudian mengaitkannya dengan klaster Neptune, lihat Prasyarat: Peran dan Akses IAM Amazon S3.

Untuk informasi lebih lanjut, lihat Access key (access key ID dan secret access key).

secretKey   –   [usang] Parameter iamRoleArn dianjurkan sebagai gantinya. Untuk informasi tentang membuat peran yang memiliki akses ke Amazon S3 dan kemudian mengaitkannya dengan klaster Neptune, lihat Prasyarat: Peran dan Akses IAM Amazon S3.

Untuk informasi lebih lanjut, lihat Access key (access key ID dan secret access key).

Saat memuat openCypher data dalam CSV format, parameter format harus diatur keopencypher.

updateSingleCardinalityPropertiesParameter tidak didukung untuk openCypher beban karena semua openCypher properti memiliki kardinalitas tunggal. Format openCypher beban tidak mendukung array, dan jika nilai ID muncul lebih dari sekali, itu diperlakukan sebagai duplikat atau kesalahan penyisipan (lihat di bawah).

Pemuat Neptunus menangani duplikat yang ditemuinya openCypher dalam data sebagai berikut:

Meskipun Anda tidak harus menetapkan IDs hubungan, biasanya itu ide yang bagus (lihat userProvidedEdgeIds parameter di atas). Tanpa hubungan eksplisitIDs, pemuat harus memuat ulang semua hubungan jika terjadi kesalahan dalam file hubungan, daripada melanjutkan pemuatan dari tempat gagal.

Selain itu, jika data pemuatan tidak berisi hubungan eksplisitIDs, loader tidak memiliki cara untuk mendeteksi hubungan duplikat.