Usando SPARQL UPDATE LOAD para importar dados para o Neptune

Carregando arquivos diretamente do Amazon S3 para o Neptune usando SPARQL UPDATE LOAD

Como o Neptune não permite que você passe IAM uma função para o Amazon S3 durante o uso, o bucket do Amazon S3 em questão deve ser público SPARQL UPDATE LOAD ou você deve usar um Amazon S3 pré-assinado na consulta. URL LOAD

Para gerar um arquivo pré-assinado URL para um Amazon S3, você pode usar AWS CLI um comando como este:

aws s3 presign --expires-in (number of seconds) s3://(bucket name)/(path to file of data to load)

Em seguida, você pode usar o resultado pré-assinado URL em seu LOAD comando:

curl https://(a Neptune endpoint URL):8182/sparql \
  --data-urlencode 'update=load (pre-signed URL of the remote Amazon S3 file of data to be loaded) \
                           into graph (named graph)'

Para obter mais informações, consulte Autenticação de solicitações: usando parâmetros de consulta. A documentação do Boto3 mostra como usar um script Python para gerar um script pré-assinado. URL

Além disso, o tipo de conteúdo dos arquivos a serem carregados deve ser definido corretamente.

1. Defina o tipo de conteúdo de arquivos ao fazer upload deles no Amazon S3 usando o parâmetro -metadata, como:

   aws s3 cp test.nt s3://bucket-name/my-plain-text-input/test.nt --metadata Content-Type=text/plain
   aws s3 cp test.rdf s3://bucket-name/my-rdf-input/test.rdf --metadata Content-Type=application/rdf+xml

2. Confirme se as informações de tipo de mídia estão realmente presentes. Execute:

   curl -v bucket-name/folder-name

   A saída desse comando deve mostrar as informações de tipo de mídia que você define ao carregar os arquivos.

3. Depois, você pode usar o comando SPARQL UPDATE LOAD para importar esses arquivos para o Neptune:

   curl https://your-neptune-endpoint:port/sparql \
     -d "update=LOAD <https://s3.amazonaws.com/bucket-name/my-rdf-input/test.rdf>"

Usando um servidor web para carregar arquivos no Neptune com SPARQL UPDATE LOAD

1. Instale um servidor web em uma máquina rodando dentro do VPC que está hospedando o Neptune e os arquivos a serem carregados. Por exemplo, usando o Amazon Linux, você pode instalar o Apache da seguinte forma:

   sudo yum install httpd mod_ssl
   sudo /usr/sbin/apachectl start

2. Defina o (s) MIME tipo (s) do RDF conteúdo do arquivo que você vai carregar. SPARQLusa o Content-type cabeçalho enviado pelo servidor web para determinar o formato de entrada do conteúdo, então você deve definir os MIME tipos relevantes para o servidor web.

   Por exemplo, suponha que você use as seguintes extensões de arquivo para identificar formatos de arquivo:

   • .ntparaNTriples.

   • .nqparaNQuads.

   • .trig para Trig.

   • .rdfparaRDF/XML.

   • .ttl para Turtle.

   • .n3 para N3.

   • .jsonldpara JSON -LD.

   Se você estiver usando o Apache 2 como servidor da Web, edite o arquivo /etc/mime.types e adicione os seguintes tipos:

    text/plain nt
    application/n-quads nq
    application/trig trig
    application/rdf+xml rdf
    application/x-turtle ttl
    text/rdf+n3 n3
    application/ld+json jsonld

3. Confirme se o mapeamento do MIME tipo -funciona. Depois de ter seu servidor web instalado e funcionando e hospedando RDF arquivos no (s) formato (s) de sua escolha, você pode testar a configuração enviando uma solicitação ao servidor web do seu host local.

   Por exemplo, você pode enviar uma solicitação como esta:

   curl -v http://localhost:80/test.rdf

   Em seguida, na saída detalhada de curl, você deve ver uma linha como:

   Content-Type: application/rdf+xml

   Isso mostra que o mapeamento de tipo de conteúdo foi definido com êxito.

4. Agora você está pronto para carregar dados usando o SPARQL UPDATE comando:

   curl https://your-neptune-endpoint:port/sparql \
       -d "update=LOAD <http://web_server_private_ip:80/test.rdf>"