Usando magia em cadernos Amazon Neptune - Amazon Neptune
Injeção de variávelArgumentos de consulta comuns%seed%load%load_ids%load_status%reset_graph%cancel_load%status%get_graph%gremlin_status%opencypher_status ou %oc_status%sparql_status%stream_viewer%graph_notebook_config%graph_notebook_host%graph_notebook_version%graph_notebook_service%graph_notebook_vis_options%statistics%summary%%graph_notebook_config%%sparql%%gremlin%%opencypher ou %%oc%%graph_notebook_vis_options%neptune_ml%%neptune_ml

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando magia em cadernos Amazon Neptune

A bancada de trabalho do Neptune oferece vários comandos chamados magias nos cadernos que economizam muito tempo e esforço. Eles se enquadram em duas categorias: magias de linha e magias de célula.

Magias de linha são comandos precedidos por um único sinal de porcentagem (%). Eles recebem apenas entrada de linha, não entrada do resto do corpo da célula. A bancada de trabalho do Neptune oferece as seguintes magias de linha:

As magias de célula são precedidas por dois sinais de porcentagem (%%) em vez de um e usa o conteúdo da célula como entrada, embora também possam usar o conteúdo da linha como entrada. A bancada de trabalho do Neptune oferece as seguintes magias de célula:

Há também duas magias, de linha e de célula, para trabalhar com Machine learning no Neptune:

nota

Ao trabalhar com magias do Neptune, geralmente é possível obter um texto de ajuda usando um parâmetro --help ou -h. Com uma magia de célula, o corpo não pode ficar vazio; portanto, ao obter ajuda, coloque um texto de preenchimento, mesmo que seja um único caractere, no corpo. Por exemplo:

%%gremlin --help
  x

Injeção de variável em magia de célula ou de linha

As variáveis definidas em um caderno podem ser referenciadas dentro de qualquer magia de célula ou linha no caderno usando o formato: ${VAR_NAME}.

Por exemplo, suponha que você defina estas variáveis:

c = 'code'
my_edge_labels = '{"route":"dist"}'

Depois, esta consulta do Gremlin em uma magia de célula:

%%gremlin -de $my_edge_labels
g.V().has('${c}','SAF').out('route').values('${c}')

É equivalente ao seguinte:

%%gremlin -de {"route":"dist"}
g.V().has('code','SAF').out('route').values('code')

Argumentos de consulta que funcionam com todas as linguagens de consulta

Os seguintes argumentos de consulta funcionam com as magias %%gremlin, %%opencypher e %%sparql na bancada de trabalho do Neptune:

Argumentos de consulta comuns

  • --store-to (ou -s): especifica o nome de uma variável na qual armazenar os resultados da consulta.

  • --silent: se estiver presente, nenhuma saída será exibida após a conclusão da consulta.

  • --group-by (ou -g): especifica a propriedade usada para agrupar nós (como code ou T.region). Os vértices são coloridos com base no grupo atribuído.

  • --ignore-groups: se estiverem presentes, todas as opções de agrupamento serão ignoradas.

  • --display-property (ou -d): especifica a propriedade cujo valor deve ser exibido para cada vértice.

    O valor padrão para cada linguagem de consulta é o seguinte:

    • Para o Gremlin: T.label.

    • ParaopenCypher:~labels.

    • ParaSPARQL:type.

  • --edge-display-property (ou -t): especifica a propriedade cujo valor deve ser exibido para cada borda.

    O valor padrão para cada linguagem de consulta é o seguinte:

    • Para o Gremlin: T.label.

    • ParaopenCypher:~labels.

    • ParaSPARQL:type.

  • --tooltip-property (ou -de): especifica a propriedade cujo valor deve ser exibido como uma dica de ferramenta para cada nó.

    O valor padrão para cada linguagem de consulta é o seguinte:

    • Para o Gremlin: T.label.

    • ParaopenCypher:~labels.

    • ParaSPARQL:type.

  • --edge-tooltip-property (ou -te): especifica a propriedade cujo valor deve ser exibido como uma dica de ferramenta para cada borda.

    O valor padrão para cada linguagem de consulta é o seguinte:

    • Para o Gremlin: T.label.

    • ParaopenCypher:~labels.

    • ParaSPARQL:type.

  • --label-max-length (ou -l): especifica o tamanho máximo de caracteres de qualquer rótulo de vértice. Padronizado como dez.

  • --edge-label-max-length (ou -le): especifica o tamanho máximo de caracteres de qualquer rótulo de borda. Padronizado como dez.

    No caso de openCypher apenas, isso é --rel-label-max-length ou -rel em vez disso.

  • --simulation-duration (ou -sd): especifica a duração máxima da simulação física de visualização. O padrão é 1.500 ms.

  • --stop-physics (ou -sp): desativa a física de visualização após a estabilização da simulação inicial.

Os valores de propriedade desses argumentos podem consistir em uma única chave de propriedade ou em uma JSON string que pode especificar uma propriedade diferente para cada tipo de rótulo. Uma JSON string só pode ser especificada usando injeção de variável.

A magia de linha %seed

A mágica da %seed linha é uma maneira conveniente de adicionar dados ao seu endpoint do Neptune, que você pode usar para explorar e experimentar com openCypher Gremlin ou consultas. SPARQL Ele fornece um formulário em que você pode selecionar o modelo de dados que deseja explorar (gráfico de propriedades ouRDF) e, em seguida, escolher entre vários conjuntos de dados de amostra diferentes fornecidos por Neptune.

A magia de linha %load

A magia de linha %load gera um formulário que você pode usar para enviar uma solicitação de carregamento em massa ao Neptune (consulte Comando do carregador do Neptune). O arquivo de origem deve ser um caminho do Amazon S3 na mesma região que o cluster do Neptune.

A magia de linha %load_ids

A magia de linha %load_ids recupera os IDs de carga que foram enviados ao endpoint host do caderno (consulte Parâmetros da solicitação Get-Status do carregador do Neptune). A solicitação tem o seguinte formato:

GET https://your-neptune-endpoint:port/loader

A magia de linha %load_status

A magia de linha %load_status recupera o status de carregamento de uma tarefa de carga específica que foi enviada ao endpoint host do caderno, especificado pela entrada de linha (consulte Parâmetros da solicitação Get-Status do carregador do Neptune). A solicitação tem o seguinte formato:

GET https://your-neptune-endpoint:port/loader?loadId=loadId

A magia de linha se assemelha ao seguinte:

%load_status load id

A magia de linha %reset_graph

A mágica de linha %reset_graph (ou%_graph_reset) executa uma ResetGraphchamada no endpoint do Neptune Analytics. Ela aceita a seguinte entrada de linha opcional:

  • -ns ou -- no-skip-snapshot - Se presente, um instantâneo final do gráfico será criado antes que os dados do gráfico sejam excluídos.

  • --silent — Se estiver presente, nenhuma saída será exibida após o envio da chamada de redefinição.

  • --store-to — Usado para especificar uma variável na qual armazenar a resposta. ResetGraph

A magia de linha %cancel_load

A magia de linha %cancel_load cancela um trabalho de carregamento específico (consulte Trabalho de cancelamento do carregador do Neptune). A solicitação tem o seguinte formato:

DELETE https://your-neptune-endpoint:port/loader?loadId=loadId

A magia de linha se assemelha ao seguinte:

%cancel_load load id

A magia de linha %status

Recupera informações de status do endpoint host do caderno (%graph_notebook_config mostra o endpoint host).

Para hosts do Neptune DB, as informações de status serão obtidas do endpoint de status de saúde. Para hosts do Neptune Analytics, o status será recuperado por meio do. GetGraph API Consulte %get_graph Para mais informações.

A magia de linha %get_graph

A %get_graph linha mágica recupera informações sobre um gráfico por meio do GetGraph API. Essa mágica é funcionalmente idêntica à usada com %status o Neptune Analytics.

A magia de linha %gremlin_status

Recupera as informações de status da consulta do Gremlin.

A magia de linha %opencypher_status (também %oc_status)

Recupera o status de uma consulta do opencypher. Essa magia de linha usa os seguintes argumentos opcionais:

  • --queryId ou -q: determina o ID de uma consulta em execução específica para a qual mostrar o status.

  • --cancelQuery ou -c: cancela uma consulta em execução. Não assume um valor.

  • --silent-cancelou -s— Se --silent estiver definido como true ao cancelar uma consulta, a consulta em execução será cancelada com um código de HTTP resposta de. 200 Caso contrário, o código de HTTP resposta seria500.

  • --store-to: especifica o nome de uma variável na qual armazenar os resultados da consulta.

  • -w/--includeWaiting— Somente Neptune DB. Quando definido como verdadeiro e outros parâmetros não estão presentes, faz com que as informações de status das consultas em espera sejam retornadas, bem como para as consultas em execução. Esse parâmetro não usa um valor.

  • --state— Somente o Neptune Analytics. Especifica de qual subconjunto de estados de consulta recuperar o status.

  • -m/--maxResults— Somente o Neptune Analytics. Define um limite superior no conjunto de consultas retornadas que correspondem ao valor de--state.

  • --silent: se estiver presente, nenhuma saída será exibida após a conclusão da consulta.

A magia de linha %sparql_status

Recupera as informações SPARQL de status da consulta.

A magia de linha %stream_viewer

A magia de linha %stream_viewer exibe uma interface que permite examinar interativamente as entradas registradas nos fluxos do Neptune, se os fluxos estiverem habilitados no cluster do Neptune. Ela aceita os seguintes argumentos opcionais:

  • language: a linguagem de consulta dos dados do fluxo: gremlin ou sparql. O padrão, se você não fornecer esse argumento, será gremlin.

  • --limit: especifica o número máximo de entradas de fluxo a serem exibidas por página. O valor padrão, se você não fornecer esse argumento, será 10.

nota

A magia de linha %stream_viewer é totalmente aceita somente nas versões 1.0.5.1 e anteriores do mecanismo.

A magia de linha %graph_notebook_config

Essa linha mágica exibe um JSON objeto contendo a configuração que o notebook está usando para se comunicar com Netuno. A configuração inclui:

  • host: o endpoint ao qual se conectar e emitir comandos.

  • port: a porta usada ao emitir comandos para o Neptune. O padrão é 8182.

  • auth_mode: o modo de autenticação a ser usado ao emitir comandos para o Neptune. Deve ser IAM se estiver se conectando a um cluster que tenha a IAM autenticação ativada ou nãoDEFAULT.

  • load_from_s3_arn: especifica um Amazon ARN S3 para usar %load a mágica. Se esse valor estiver vazio, o ARN deverá ser especificado no %load comando.

  • ssl: Um valor booleano que indica se você deve ou não se conectar a Neptune usando o. TLS O valor padrão é true.

  • aws_region: a região em que esse caderno é implantado. Essas informações são usadas para IAM autenticação e %load solicitações.

É possível alterar a configuração copiando a saída %graph_notebook_config em uma nova célula e fazendo alterações nela. Depois, se você executar a magia de célula %%graph_notebook_config na nova célula, a configuração será alterada adequadamente.

A magia de linha %graph_notebook_host

Define a entrada de linha como host do caderno.

A magia de linha %graph_notebook_version

A magia de linha %graph_notebook_version gera o número de lançamento do caderno da bancada de trabalho do Neptune. Por exemplo, a visualização do grafo foi introduzida na versão 1.27.

A magia de linha %graph_notebook_service

A %graph_notebook_service linha mágica define a entrada da linha como o nome do serviço usado para solicitações do Neptune.

A magia de linha %graph_notebook_vis_options

A magia de linha %graph_notebook_vis_options exibe as configurações de visualização atuais que o caderno está usando. Essas opções são explicadas na documentação do vis.js.

É possível modificar essas configurações copiando a saída em uma nova célula, fazendo as alterações desejadas e, depois, executando a magia de célula %%graph_notebook_vis_options na célula.

Para restaurar os valores padrão das configurações de visualização, você pode executar a magia de linha %graph_notebook_vis_options com um parâmetro reset. Isso redefine todas as configurações de visualização:

%graph_notebook_vis_options reset

A magia de linha %statistics

A mágica de %statistics linha é usada para recuperar ou gerenciar estatísticas DFE do mecanismo (consulteGerenciando estatísticas para o DFE Neptune usar). Essa magia também pode ser usada para recuperar um resumo do grafo.

Ela aceita os seguintes parâmetros:

  • --language: a linguagem de consulta do endpoint de estatísticas: propertygraph (ou pg) ou rdf.

    Se não for fornecido, o padrão será propertygraph.

  • --mode (ou -m): especifica o tipo de solicitação ou ação a ser enviada: uma de status, disableAutoCompute, enableAutoCompute, refresh, delete, detailed ou basic).

    Se não for fornecido, o padrão será status, a menos que --summary seja especificado; nesse caso, o padrão será basic.

  • --summary: recupera o resumo do grafo do endpoint do resumo de estatísticas da linguagem selecionada.

  • --silent: se estiver presente, nenhuma saída será exibida após a conclusão da consulta.

  • --store-to: usado para especificar uma variável na qual armazenar os resultados da consulta.

A magia de linha %summary

A magia de linha %summary é usada para recuperar informações de resumo do grafo. Ela está disponível a partir da versão do mecanismo do Neptune 1.2.1.0.

Ela aceita os seguintes parâmetros:

  • --language: a linguagem de consulta do endpoint de estatísticas: propertygraph (ou pg) ou rdf.

    Se não for fornecido, o padrão será propertygraph.

  • --detailed: ativa ou desativa a exibição dos campos de estruturas na saída.

    Se não for fornecido, o padrão será o modo de exibição de resumo basic.

  • --silent: se estiver presente, nenhuma saída será exibida após a conclusão da consulta.

  • --store-to: usado para especificar uma variável na qual armazenar os resultados da consulta.

A magia de célula %%graph_notebook_config

A magia %%graph_notebook_config celular usa um JSON objeto contendo informações de configuração para modificar as configurações que o notebook está usando para se comunicar com Netuno, se possível. A configuração assume a mesma forma gerada pela magia de linha %graph_notebook_config.

Por exemplo:

%%graph_notebook_config
{
  "host": "my-new-cluster-endpoint.amazon.com",
  "port": 8182,
  "auth_mode": "DEFAULT",
  "load_from_s3_arn": "",
  "ssl": true,
  "aws_region": "us-east-1"
}

A magia de célula %%sparql

A magia %%sparql celular emite uma SPARQL consulta para o endpoint de Neptune. Ela aceita a seguinte entrada de linha opcional:

  • -h ou --help: gera o texto de ajuda sobre esses parâmetros.

  • --path— Prefixa um caminho até o SPARQL endpoint. Por exemplo, se você especificar --path "abc/def", o endpoint chamado será host:port/abc/def.

  • --expand-all: é uma dica de visualização de consulta que diz ao visualizador para incluir todos os resultados ?s ?p ?o no diagrama do grafo, independentemente do tipo de vinculação.

    Por padrão, uma SPARQL visualização inclui apenas padrões triplos em que o? é um uri ou um bnode (nó em branco). Todos os outros tipos de vinculação ?o, como strings literais ou números inteiros, são tratados como propriedades do nó ?s que podem ser visualizadas usando o painel Detalhes na guia Grafo.

    Em vez disso, use a dica de consulta --expand-all quando quiser incluir valores literais como vértices na visualização.

    Não combine essa dica de visualização com os parâmetros de explicação, pois as consultas de explicação não são visualizadas.

  • --explain-type: utilizado para especificar o modo de explicação a ser usado (um dos seguintes: dynamic, static ou details).

  • --explain-format: usado para especificar o formato de resposta para uma consulta de explicação (text/csv ou text/html).

  • --store-to: usado para especificar uma variável na qual armazenar os resultados da consulta.

Exemplo de consulta explain:

%%sparql explain

SELECT * WHERE {?s ?p ?o} LIMIT 10

Exemplo de consulta de visualização com um parâmetro de dica de visualização --expand-all (consulte SPARQLvisualização):

%%sparql --expand-all

SELECT * WHERE {?s ?p ?o} LIMIT 10

A magia de célula %%gremlin

A magia %%gremlin celular emite uma consulta Gremlin para o endpoint de Neptune usando. WebSocket Ela aceita uma entrada de linha opcional para alternar para o modo explain do Gremlin /> ou Gremlin profile API e uma entrada de dica de visualização opcional separada para modificar o comportamento da saída de visualização (consulte Visualização do Gremlin).

Exemplo de consulta explain:

%%gremlin explain

g.V().limit(10)

Exemplo de consulta profile:

%%gremlin profile

g.V().limit(10)

Exemplo de consulta de visualização com um parâmetro de dica de visualização:

%%gremlin -p v,outv

g.V().out().limit(10)
Parâmetros opcionais para consultas %%gremlin profile

  • --profile-chop: especifica o tamanho máximo da string de resultados do perfil. O valor padrão, se você não fornecer esse argumento, será 250.

  • --profile-serializer: especifica o serializador a ser usado para os resultados. Os valores permitidos são qualquer um dos valores de enumeração de “Serializadores” válidos do MIME tipo ou TinkerPop driver. O valor padrão, se você não fornecer esse argumento, será application.json.

  • --profile-no-results: exibe somente a contagem de resultados. Se não for usado, todos os resultados da consulta serão exibidos no relatório do perfil por padrão.

  • --profile-indexOps: mostra um relatório detalhado de todas as operações do índice.

A magia de célula %%opencypher (também %%oc)

A magia %%opencypher celular (que também tem a %%oc forma abreviada) emite uma openCypher consulta para o endpoint de Neptune. Ela aceita os seguintes argumentos de entrada de linha opcionais:

  • mode: o modo de consulta: query ou bolt. O valor padrão, se você não fornecer esse argumento, será query.

  • --group-by ou -g: especifica a propriedade usada para agrupar nós. Por exemplo, code, ~id. O valor padrão, se você não fornecer esse argumento, será ~labels.

  • --ignore-groups: se estiverem presentes, todas as opções de agrupamento serão ignoradas.

  • --display-propery ou -d: especifica a propriedade cujo valor deve ser exibido para cada vértice. O valor padrão, se você não fornecer esse argumento, será ~labels.

  • --edge-display-propery ou -de: especifica a propriedade cujo valor deve ser exibido para cada borda. O valor padrão, se você não fornecer esse argumento, será ~labels.

  • --label-max-length ou -l: especifica o número máximo de caracteres de um rótulo de vértice a ser exibido. O valor padrão, se você não fornecer esse argumento, será 10.

  • --store-to ou -s: especifica o nome de uma variável na qual armazenar os resultados da consulta.

  • --plan-cache ou -pc: especifica o modo de cache do plano a ser usado. O valor padrão é auto.

  • --query-timeout ou -qt: especifica o tempo limite máximo da consulta em milissegundos. O valor padrão é 1800000.

  • --query-parameters ou qp: definições de parâmetros a serem aplicadas à consulta. Essa opção pode aceitar um único nome de variável ou uma representação de string do mapa.

    Exemplo de uso de --query-parameters

    1. Defina um mapa de openCypher parâmetros em uma célula do notebook. 

      params = '''{
 "name":"john",
 "age": 20,
}'''

    2. Passe os parâmetros para --query-parameters em outra célula com %%oc. 

      %%oc --query-parameters params

MATCH (n {name: $name, age: $age}) 
RETURN n

  • --explain-type — Usado para especificar o modo de explicação a ser usado (um dos seguintes: dinâmico, estático ou detalhado).

A magia de célula %%graph_notebook_vis_options

A magia de célula %%graph_notebook_vis_options permite que você defina opções de visualização para o caderno. É possível copiar as configurações geradas pela magia de linha %graph-notebook-vis-options em uma nova célula, fazer alterações nelas e usar a magia de célula %%graph_notebook_vis_options para definir os novos valores.

Essas opções são explicadas na documentação do vis.js.

Para restaurar os valores padrão das configurações de visualização, você pode executar a magia de linha %graph_notebook_vis_options com um parâmetro reset. Isso redefine todas as configurações de visualização:

%graph_notebook_vis_options reset

A magia de linha %neptune_ml

É possível usar a magia de linha %neptune_ml para iniciar e gerenciar várias operações do Neptune ML.

nota

Também é possível iniciar e gerenciar algumas operações do Neptune ML usando a magia de célula %%neptune_ml.

  • %neptune_ml export start: inicia um novo trabalho de exportação.

    Parâmetros

    • --export-url exporter-endpoint   — (opcional) O endpoint do Amazon API Gateway para o qual o exportador pode ser chamado.

    • --export-iam: (opcional) sinalizador indicando que as solicitações para o URL de exportação devem ser assinadas usando SigV4.

    • --export-no-ssl— (opcional) Bandeira indicando que não SSL deve ser usada ao se conectar ao exportador.

    • --wait: (opcional) sinalizador indicando que a operação deve esperar até que a exportação seja concluída.

    • --wait-interval interval-to-wait   — (opcional) Define o tempo, em segundos, entre as verificações de status de exportação (Padrão: 60).

    • --wait-timeout timeout-seconds   — (opcional) Define o tempo, em segundos, para aguardar a conclusão do trabalho de exportação antes de retornar o status mais recente (Padrão: 3.600).

    • --store-to location-to-store-result   — (opcional) A variável na qual armazenar o resultado da exportação. Se --wait for especificado, o status final será armazenado.

  • %neptune_ml export status: recupera o status de um trabalho de exportação.

    Parâmetros

    • --job-id export job ID   — O ID do trabalho de exportação para o qual recuperar o status.

    • --export-url exporter-endpoint   — (opcional) O endpoint do Amazon API Gateway para o qual o exportador pode ser chamado.

    • --export-iam: (opcional) sinalizador indicando que as solicitações para o URL de exportação devem ser assinadas usando SigV4.

    • --export-no-ssl— (opcional) Bandeira indicando que não SSL deve ser usada ao se conectar ao exportador.

    • --wait: (opcional) sinalizador indicando que a operação deve esperar até que a exportação seja concluída.

    • --wait-interval interval-to-wait   — (opcional) Define o tempo, em segundos, entre as verificações de status de exportação (Padrão: 60).

    • --wait-timeout timeout-seconds   — (opcional) Define o tempo, em segundos, para aguardar a conclusão do trabalho de exportação antes de retornar o status mais recente (Padrão: 3.600).

    • --store-to location-to-store-result   — (opcional) A variável na qual armazenar o resultado da exportação. Se --wait for especificado, o status final será armazenado.

  • %neptune_ml dataprocessing start: inicia a etapa de processamento de dados do Neptune ML.

    Parâmetros

    • --job-id ID for this job   — (opcional) ID a ser atribuída a este trabalho.

    • --s3-input-uri S3 URI   — (opcional) O S3 URI no qual encontrar a entrada para esse trabalho de processamento de dados.

    • --config-file-name file name   — (opcional) Nome do arquivo de configuração para esse trabalho de processamento de dados.

    • --store-to location-to-store-result   — (opcional) A variável na qual armazenar o resultado do processamento de dados.

    • --instance-type (instance type)   — (opcional) O tamanho da instância a ser usada para esse trabalho de processamento de dados.

    • --wait: (opcional) sinalizador indicando que a operação deve esperar até que o processamento de dados seja concluído.

    • --wait-interval interval-to-wait   — (opcional) Define o tempo, em segundos, entre as verificações do status do processamento de dados (Padrão: 60).

    • --wait-timeout timeout-seconds   — (opcional) Define o tempo, em segundos, de espera até que o trabalho de processamento de dados seja concluído antes de retornar o status mais recente (Padrão: 3.600).

  • %neptune_ml dataprocessing status: recupera o status de uma tarefa de processamento de dados.

    Parâmetros

    • --job-id ID of the job   — ID do trabalho para o qual recuperar o status.

    • --store-to instance type   — (opcional) A variável na qual armazenar o resultado do treinamento do modelo.

    • --wait: (opcional) sinalizador indicando que a operação deve aguardar até que o treinamento de modelos seja concluído.

    • --wait-interval interval-to-wait   — (opcional) Define o tempo, em segundos, entre as verificações de status do treinamento do modelo (Padrão: 60).

    • --wait-timeout timeout-seconds   — (opcional) Define o tempo, em segundos, de espera até que o trabalho de processamento de dados seja concluído antes de retornar o status mais recente (Padrão: 3.600).

  • %neptune_ml training start: inicia o processo de treinamento de modelos do Neptune ML.

    Parâmetros

    • --job-id ID for this job   — (opcional) ID a ser atribuída a este trabalho.

    • --data-processing-id dataprocessing job ID   — (opcional) ID do trabalho de processamento de dados que criou os artefatos a serem usados no treinamento.

    • --s3-output-uri S3 URI   — (opcional) O S3 URI no qual armazenar a saída desse trabalho de treinamento de modelo.

    • --instance-type (instance type)   — (opcional) O tamanho da instância a ser usada para esse trabalho de treinamento de modelo.

    • --store-to location-to-store-result   — (opcional) A variável na qual armazenar o resultado do treinamento do modelo.

    • --wait: (opcional) sinalizador indicando que a operação deve aguardar até que o treinamento de modelos seja concluído.

    • --wait-interval interval-to-wait   — (opcional) Define o tempo, em segundos, entre as verificações de status do treinamento do modelo (Padrão: 60).

    • --wait-timeout timeout-seconds   — (opcional) Define o tempo, em segundos, de espera até que o trabalho de treinamento do modelo seja concluído antes de retornar ao status mais recente (Padrão: 3.600).

  • %neptune_ml training status: recupera o status de um trabalho de treinamento de modelos do Neptune ML.

    Parâmetros

    • --job-id ID of the job   — ID do trabalho para o qual recuperar o status.

    • --store-to instance type   — (opcional) A variável na qual armazenar o resultado do status.

    • --wait: (opcional) sinalizador indicando que a operação deve aguardar até que o treinamento de modelos seja concluído.

    • --wait-interval interval-to-wait   — (opcional) Define o tempo, em segundos, entre as verificações de status do treinamento do modelo (Padrão: 60).

    • --wait-timeout timeout-seconds   — (opcional) Define o tempo, em segundos, de espera até que o trabalho de processamento de dados seja concluído antes de retornar o status mais recente (Padrão: 3.600).

  • %neptune_ml endpoint create: cria um endpoint de consulta para um modelo do Neptune ML.

    Parâmetros

    • --job-id ID for this job   — (opcional) ID a ser atribuída a este trabalho.

    • --model-job-id model-training job ID   — (opcional) ID do trabalho de treinamento do modelo para o qual criar um endpoint de consulta.

    • --instance-type (instance type)   — (opcional) O tamanho da instância a ser usada para o endpoint de consulta.

    • --store-to location-to-store-result   — (opcional) A variável na qual armazenar o resultado da criação do endpoint.

    • --wait: (opcional) sinalizador indicando que a operação deve aguardar até que a criação do endpoint seja concluída.

    • --wait-interval interval-to-wait   — (opcional) Define o tempo, em segundos, entre as verificações de status (Padrão: 60).

    • --wait-timeout timeout-seconds   — (opcional) Define o tempo, em segundos, para aguardar a conclusão do trabalho de criação do endpoint antes de retornar o status mais recente (Padrão: 3.600).

  • %neptune_ml endpoint status: recupera o status de um endpoint de consulta do Neptune ML.

    Parâmetros

    • --job-id endpoint creation ID   — (opcional) ID de um trabalho de criação de endpoint para o qual relatar o status.

    • --store-to location-to-store-result   — (opcional) A variável na qual armazenar o resultado do status.

    • --wait: (opcional) sinalizador indicando que a operação deve aguardar até que a criação do endpoint seja concluída.

    • --wait-interval interval-to-wait   — (opcional) Define o tempo, em segundos, entre as verificações de status (Padrão: 60).

    • --wait-timeout timeout-seconds   — (opcional) Define o tempo, em segundos, para aguardar a conclusão do trabalho de criação do endpoint antes de retornar o status mais recente (Padrão: 3.600).

A magia de célula %%neptune_ml

A magia de célula %%neptune_ml ignora as entradas de linha, como --job-id ou --export-url. Em vez disso, ela permite que você forneça essas entradas e outras dentro do corpo da célula.

Também é possível salvar essas entradas em outra célula, atribuída a uma variável Jupyter, e depois injetá-las no corpo da célula usando essa variável. Dessa forma, é possível usar essas entradas repetidamente sem precisar inseri-las novamente todas as vezes.

Isso só funcionará se a variável de injeção for o único conteúdo da célula. Você não pode usar várias variáveis em uma célula nem uma combinação de texto e uma variável.

Por exemplo, a magia %%neptune_ml export start celular pode consumir um JSON documento no corpo da célula que contém todos os parâmetros descritos emParâmetros usados para controlar o processo de exportação do Neptune.

No caderno Neptune-ML-01-Introduction-to-Node-Classification-Gremlin, em Configuring Features na seção Export the data and model configuration, é possível ver como a célula a seguir contém os parâmetros de exportação em um documento atribuído a uma variável do Jupyter chamada export-params.

export_params = {
  "command": "export-pg",
  "params": {
    "endpoint": neptune_ml.get_host(),
    "profile": "neptune_ml",
    "useIamAuth": neptune_ml.get_iam(),
    "cloneCluster": False
   },
  "outputS3Path": f'{s3_bucket_uri}/neptune-export',
  "additionalParams": {
    "neptune_ml": {
      "targets": [
        {
          "node": "movie",
          "property": "genre"
        }
      ],
      "features": [
        {
          "node": "movie",
          "property": "title",
          "type": "word2vec"
        },
        {
          "node": "user",
          "property": "age",
          "type": "bucket_numerical",
          "range" : [1, 100],
          "num_buckets": 10
        }
      ]
    }
  },
  "jobSize": "medium"}

Quando você executa essa célula, o Jupyter salva o documento de parâmetros com esse nome. Em seguida, você pode usar ${export_params} para injetar o JSON documento no corpo de um%%neptune_ml export start cell, assim:

%%neptune_ml export start --export-url {neptune_ml.get_export_service_host()} --export-iam --wait --store-to export_results

${export_params}

Formas disponíveis da magia de célula %%neptune_ml

A magia de célula %%neptune_ml pode ser usada das seguintes formas:

  • %%neptune_ml export start: inicia um processo de exportação do Neptune ML.

  • %%neptune_ml dataprocessing start: inicia um trabalho de processamento de dados do Neptune ML.

  • %%neptune_ml training start: inicia um trabalho de treinamento de modelos do Neptune ML.

  • %%neptune_ml endpoint create: cria um endpoint de consulta do Neptune ML para um modelo.