Menggunakan SPARQL UPDATE LOAD untuk mengimpor data ke Neptune

Memuat file langsung dari Amazon S3 ke Neptune menggunakan SPARQL UPDATE LOAD

Karena Neptune tidak mengizinkan Anda untuk melewatkan IAM role ke Amazon S3 ketika menggunakan SPARQL UPDATE LOAD, baik bucket Amazon S3 yang bersangkutan harus publik atau Anda harus menggunakan URL Amazon S3 pre-signed dalam kueri LOAD.

Untuk menghasilkan URL yang telah ditandatangani sebelumnya untuk file Amazon S3, Anda dapat menggunakan AWS CLI perintah seperti ini:

aws s3 presign --expires-in (number of seconds) s3://(bucket name)/(path to file of data to load)

Kemudian Anda dapat menggunakan URL pre-signed yang dihasilkan di dalam perintah LOAD Anda:

curl https://(a Neptune endpoint URL):8182/sparql \
  --data-urlencode 'update=load (pre-signed URL of the remote Amazon S3 file of data to be loaded) \
                           into graph (named graph)'

Untuk informasi lebih lanjut, lihat Melakukan Autentikasi Permintaan: Menggunakan Parameter Kueri. Dokumentasi Boto3 menunjukkan cara menggunakan script Python untuk menghasilkan URL pre-signed.

Selain itu, jenis konten file yang akan dimuatkan mesti ditetapkan dengan benar.

1. Atur jenis konten file ketika Anda meng-upload mereka ke Amazon S3 dengan menggunakan parameter -metadata, seperti ini:

   aws s3 cp test.nt s3://bucket-name/my-plain-text-input/test.nt --metadata Content-Type=text/plain
   aws s3 cp test.rdf s3://bucket-name/my-rdf-input/test.rdf --metadata Content-Type=application/rdf+xml

2. Konfirmasikan bahwa informasi jenis media benar-benar ada. Jalankan:

   curl -v bucket-name/folder-name

   Output dari perintah ini harus menunjukkan informasi jenis media yang Anda tetapkan saat mengunggah file.

3. Kemudian Anda dapat menggunakan perintah SPARQL UPDATE LOAD untuk mengimpor file-file ini ke Neptune:

   curl https://your-neptune-endpoint:port/sparql \
     -d "update=LOAD <https://s3.amazonaws.com/bucket-name/my-rdf-input/test.rdf>"

Menggunakan server web untuk memuat file ke Neptune dengan SPARQL UPDATE LOAD

1. Instal server web pada mesin yang berjalan di dalam VPC yang menjadi host Neptune dan file yang akan dimuat. Misalnya, menggunakan Amazon Linux, Anda dapat menginstal Apache seperti berikut:

   sudo yum install httpd mod_ssl
   sudo /usr/sbin/apachectl start

2. Tentukan jenis MIME dari konten file RDF yang akan Anda muat. SPARQL menggunakan header Content-type yang dikirim oleh server web untuk menentukan format input konten, sehingga Anda harus menentukan jenis MIME yang relevan untuk Server web.

   Misalnya, misalkan Anda menggunakan ekstensi file berikut untuk mengidentifikasi format file:

   • .nt untuk NTriple.

   • .nq untuk NQuad.

   • .trig untuk Trig.

   • .rdf untuk RDF/XML.

   • .ttl untuk Turtle.

   • .n3 untuk N3.

   • .jsonld untuk JSON-LD.

   Jika Anda menggunakan Apache 2 sebagai server web, Anda akan mengedit /etc/mime.types file dan menambahkan jenis berikut:

    text/plain nt
    application/n-quads nq
    application/trig trig
    application/rdf+xml rdf
    application/x-turtle ttl
    text/rdf+n3 n3
    application/ld+json jsonld

3. Konfirmasikan bahwa pemetaan tipe MIME bekerja. Setelah server web Anda aktif dan berjalan dan meng-hosting file RDF dalam format pilihan Anda, Anda dapat menguji konfigurasi dengan mengirimkan permintaan ke server web dari host lokal Anda.

   Misalnya, Anda dapat mengirim permintaan seperti ini:

   curl -v http://localhost:80/test.rdf

   Kemudian, dalam output detail dari curl, Anda akan melihat baris seperti:

   Content-Type: application/rdf+xml

   Hal ini menunjukkan bahwa pemetaan jenis konten dinyatakan berhasil.

4. Anda sekarang siap memuat data menggunakan perintah SPARQL UPDATE:

   curl https://your-neptune-endpoint:port/sparql \
       -d "update=LOAD <http://web_server_private_ip:80/test.rdf>"