View a markdown version of this page

Traitement des données à l'aide de la commande dataprocessing - Amazon Neptune
Créer une tâche de traitement de donnéesObtenir le statut d'une tâcheArrêter une tâcheListe des tâches

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Traitement des données à l'aide de la commande dataprocessing

Vous utilisez la commande Neptune ML dataprocessing pour créer une tâche de traitement de données, vérifier son statut, l'arrêter ou répertorier toutes les tâches de traitement de données actives.

Création d'une tâche de traitement de données à l'aide de la commande Neptune ML dataprocessing

Une commande Neptune ML dataprocessing typique pour créer une nouvelle tâche ressemble à ceci :

AWS CLI
aws neptunedata start-ml-data-processing-job \
  --endpoint-url https://your-neptune-endpoint:port \
  --input-data-s3-location "s3://(S3 bucket name)/(path to your input folder)" \
  --id "(a job ID for the new job)" \
  --processed-data-s3-location "s3://(S3 bucket name)/(path to your output folder)"

Pour plus d'informations, consultez start-ml-data-processing-job dans le manuel de référence des AWS CLI commandes.

SDK
import boto3
from botocore.config import Config

client = boto3.client(
    'neptunedata',
    endpoint_url='https://your-neptune-endpoint:port',
    config=Config(read_timeout=None, retries={'total_max_attempts': 1})
)

response = client.start_ml_data_processing_job(
    inputDataS3Location='s3://(S3 bucket name)/(path to your input folder)',
    id='(a job ID for the new job)',
    processedDataS3Location='s3://(S3 bucket name)/(path to your output folder)'
)

print(response)
awscurl
awscurl https://your-neptune-endpoint:port/ml/dataprocessing \
  --region us-east-1 \
  --service neptune-db \
  -X POST \
  -H 'Content-Type: application/json' \
  -d '{
        "inputDataS3Location" : "s3://(S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for the new job)",
        "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)"
      }'
Note

Cet exemple suppose que vos AWS informations d'identification sont configurées dans votre environnement. Remplacez us-east-1 par la région de votre cluster Neptune.

curl
curl \
  -X POST https://your-neptune-endpoint:port/ml/dataprocessing \
  -H 'Content-Type: application/json' \
  -d '{
        "inputDataS3Location" : "s3://(S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for the new job)",
        "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)"
      }'

Une commande pour lancer un retraitement incrémentiel ressemble à ceci :

AWS CLI
aws neptunedata start-ml-data-processing-job \
  --endpoint-url https://your-neptune-endpoint:port \
  --input-data-s3-location "s3://(S3 bucket name)/(path to your input folder)" \
  --id "(a job ID for this job)" \
  --processed-data-s3-location "s3://(S3 bucket name)/(path to your output folder)" \
  --previous-data-processing-job-id "(the job ID of a previously completed job to update)"

Pour plus d'informations, consultez start-ml-data-processing-job dans le manuel de référence des AWS CLI commandes.

SDK
import boto3
from botocore.config import Config

client = boto3.client(
    'neptunedata',
    endpoint_url='https://your-neptune-endpoint:port',
    config=Config(read_timeout=None, retries={'total_max_attempts': 1})
)

response = client.start_ml_data_processing_job(
    inputDataS3Location='s3://(S3 bucket name)/(path to your input folder)',
    id='(a job ID for this job)',
    processedDataS3Location='s3://(S3 bucket name)/(path to your output folder)',
    previousDataProcessingJobId='(the job ID of a previously completed job to update)'
)

print(response)
awscurl
awscurl https://your-neptune-endpoint:port/ml/dataprocessing \
  --region us-east-1 \
  --service neptune-db \
  -X POST \
  -H 'Content-Type: application/json' \
  -d '{
        "inputDataS3Location" : "s3://(S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for this job)",
        "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)",
        "previousDataProcessingJobId" : "(the job ID of a previously completed job to update)"
      }'
Note

Cet exemple suppose que vos AWS informations d'identification sont configurées dans votre environnement. Remplacez us-east-1 par la région de votre cluster Neptune.

curl
curl \
  -X POST https://your-neptune-endpoint:port/ml/dataprocessing \
  -H 'Content-Type: application/json' \
  -d '{
        "inputDataS3Location" : "s3://(S3 bucket name)/(path to your input folder)",
        "id" : "(a job ID for this job)",
        "processedDataS3Location" : "s3://(S3 bucket name)/(path to your output folder)",
        "previousDataProcessingJobId" : "(the job ID of a previously completed job to update)"
      }'
Paramètres de création d'une tâche dataprocessing

  • id : (facultatif) identifiant unique de la nouvelle tâche.

    Type : string. Valeur par défaut : un UUID généré automatiquement.

  • previousDataProcessingJobId : (facultatif) ID de tâche d'une tâche de traitement de données terminée, exécutée sur une version antérieure des données.

    Type : string. Valeur par défaut : aucune.

    Remarque : Utilisez-le pour le traitement incrémentiel des données, afin de mettre à jour le modèle quand les données du graphe ont changé (mais pas quand les données ont été supprimées).

  • inputDataS3Location— (Obligatoire) L'URI de l'emplacement Amazon S3 où vous souhaitez qu' SageMaker AI télécharge les données nécessaires à l'exécution de la tâche de traitement des données.

    Type : string.

  • processedDataS3Location— (Obligatoire) L'URI de l'emplacement Amazon S3 où vous souhaitez qu' SageMaker AI enregistre les résultats d'une tâche de traitement de données.

    Type : string.

  • sagemakerIamRoleArn— (Facultatif) L'ARN d'un rôle IAM pour l'exécution de l' SageMaker IA.

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

  • neptuneIamRoleArn— (Facultatif) Le nom de ressource Amazon (ARN) d'un rôle IAM que l' SageMaker IA peut assumer pour effectuer des tâches en votre nom.

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

  • processingInstanceType : (facultatif) type d'instance ML utilisé lors du traitement des données. Sa mémoire doit être suffisamment grande pour contenir le jeu de données traité.

    Type : string. Valeur par défaut : le plus petit type d'instance ml.r5 dont la mémoire est dix fois supérieure à la taille des données de graphe exportées sur le disque.

    Remarque : Neptune ML peut sélectionner le type d'instance automatiquement. Consultez Sélection d'une instance pour le traitement des données.

  • processingInstanceVolumeSizeInGB : (facultatif) taille du volume de disque de l'instance de traitement. Les données d'entrée et les données traitées étant toutes stockées sur disque, la taille du volume doit être suffisante pour contenir les deux jeux de données.

    Type : entier. Par défaut : 0.

    Remarque : Si ce paramètre n'est pas spécifié ou s'il est égal à 0, Neptune ML choisit automatiquement la taille du volume en fonction de la taille des données.

  • processingTimeOutInSeconds : (facultatif) délai d'expiration en secondes pour la tâche de traitement des données.

    Type : entier. Valeur par défaut : 86,400 (1 jour).

  • modelType : (facultatif) l'un des deux types de modèles actuellement pris en charge par Neptune ML : modèles de graphes hétérogènes (heterogeneous) et graphe de connaissances (kge).

    Type : string. Valeur par défaut : aucune.

    Remarque : Si ce paramètre n'est pas spécifié, Neptune ML choisit automatiquement le type de modèle en fonction des données.

  • configFileName : (facultatif) fichier de spécification de données qui décrit comment charger les données de graphe exportées à des fins d'entraînement. Ce fichier est automatiquement généré par la boîte à outils d'exportation Neptune.

    Type : string. Par défaut : training-data-configuration.json.

  • subnets— (Facultatif) Les IDs sous-réseaux du VPC Neptune.

    Type : liste de chaînes. Valeur par défaut : aucune.

  • securityGroupIds— (Facultatif) Le groupe de sécurité VPC. IDs

    Type : liste de chaînes. Valeur par défaut : aucune.

  • volumeEncryptionKMSKey— (Facultatif) La clé AWS Key Management Service (AWS KMS) utilisée par SageMaker AI pour chiffrer les données sur le volume de stockage attaché aux instances de calcul ML qui exécutent la tâche de traitement.

    Type : string. Valeur par défaut : aucune.

  • enableInterContainerTrafficEncryption : (facultatif) activez ou désactivez le chiffrement du trafic entre conteneurs dans les tâches d'entraînement ou de réglage des hyperparamètres.

    Type : booléen. Valeur par défaut : True.

    Note

    Le paramètre enableInterContainerTrafficEncryption est disponible uniquement dans la version 1.2.0.2.R3 du moteur.

  • s3OutputEncryptionKMSKey— (Facultatif) La clé AWS Key Management Service (AWS KMS) utilisée par l' SageMaker IA pour chiffrer le résultat du travail de formation.

    Type : string. Valeur par défaut : aucune.

Obtention du statut d'une tâche de traitement de données à l'aide de la commande Neptune ML dataprocessing

Voici un exemple de commande Neptune ML dataprocessing pour obtenir le statut d'une tâche :

AWS CLI
aws neptunedata get-ml-data-processing-job \
  --endpoint-url https://your-neptune-endpoint:port \
  --id "(the job ID)"

Pour plus d'informations, consultez get-ml-data-processing-job dans le manuel de référence des AWS CLI commandes.

SDK
import boto3
from botocore.config import Config

client = boto3.client(
    'neptunedata',
    endpoint_url='https://your-neptune-endpoint:port',
    config=Config(read_timeout=None, retries={'total_max_attempts': 1})
)

response = client.get_ml_data_processing_job(
    id='(the job ID)'
)

print(response)
awscurl
awscurl https://your-neptune-endpoint:port/ml/dataprocessing/(the job ID) \
  --region us-east-1 \
  --service neptune-db \
  -X GET
Note

Cet exemple suppose que vos AWS informations d'identification sont configurées dans votre environnement. Remplacez us-east-1 par la région de votre cluster Neptune.

curl
curl -s \
  "https://your-neptune-endpoint:port/ml/dataprocessing/(the job ID)" \
  | python -m json.tool
Paramètres d'obtention du statut de la tâche dataprocessing

  • id : (obligatoire) identifiant unique de la tâche de traitement de données.

    Type : string.

  • neptuneIamRoleArn— (Facultatif) L'ARN d'un rôle IAM qui permet à Neptune d'accéder SageMaker aux ressources AI et Amazon S3.

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

Arrêt d'une tâche de traitement de données à l'aide de la commande Neptune ML dataprocessing

Voici un exemple de commande Neptune ML dataprocessing permettant d'arrêter une tâche :

AWS CLI
aws neptunedata cancel-ml-data-processing-job \
  --endpoint-url https://your-neptune-endpoint:port \
  --id "(the job ID)"

Pour également nettoyer les artefacts Amazon S3, procédez comme suit :

aws neptunedata cancel-ml-data-processing-job \
  --endpoint-url https://your-neptune-endpoint:port \
  --id "(the job ID)" \
  --clean

Pour plus d'informations, consultez cancel-ml-data-processing-job dans le manuel de référence des AWS CLI commandes.

SDK
import boto3
from botocore.config import Config

client = boto3.client(
    'neptunedata',
    endpoint_url='https://your-neptune-endpoint:port',
    config=Config(read_timeout=None, retries={'total_max_attempts': 1})
)

response = client.cancel_ml_data_processing_job(
    id='(the job ID)',
    clean=True
)

print(response)
awscurl
awscurl https://your-neptune-endpoint:port/ml/dataprocessing/(the job ID) \
  --region us-east-1 \
  --service neptune-db \
  -X DELETE

Pour également nettoyer les artefacts Amazon S3, procédez comme suit :

awscurl "https://your-neptune-endpoint:port/ml/dataprocessing/(the job ID)?clean=true" \
  --region us-east-1 \
  --service neptune-db \
  -X DELETE
Note

Cet exemple suppose que vos AWS informations d'identification sont configurées dans votre environnement. Remplacez us-east-1 par la région de votre cluster Neptune.

curl
curl -s \
  -X DELETE "https://your-neptune-endpoint:port/ml/dataprocessing/(the job ID)"

Ou encore :

curl -s \
  -X DELETE "https://your-neptune-endpoint:port/ml/dataprocessing/(the job ID)?clean=true"
Paramètres d'arrêt de la tâche dataprocessing

  • id : (obligatoire) identifiant unique de la tâche de traitement de données.

    Type : string.

  • neptuneIamRoleArn— (Facultatif) L'ARN d'un rôle IAM qui permet à Neptune d'accéder SageMaker aux ressources AI et Amazon S3.

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

  • clean : (facultatif) cet indicateur spécifie que tous les artefacts Amazon S3 doivent être supprimés lorsque la tâche est arrêtée.

    Type : booléen. Par défaut : FALSE.

Répertorier les tâches de traitement de données actives à l'aide de la commande Neptune ML dataprocessing

Voici un exemple de commande Neptune ML dataprocessing permettant de répertorier les tâches actives :

AWS CLI
aws neptunedata list-ml-data-processing-jobs \
  --endpoint-url https://your-neptune-endpoint:port

Pour limiter le nombre de résultats :

aws neptunedata list-ml-data-processing-jobs \
  --endpoint-url https://your-neptune-endpoint:port \
  --max-items 3

Pour plus d'informations, consultez list-ml-data-processing-jobs dans le manuel de référence des AWS CLI commandes.

SDK
import boto3
from botocore.config import Config

client = boto3.client(
    'neptunedata',
    endpoint_url='https://your-neptune-endpoint:port',
    config=Config(read_timeout=None, retries={'total_max_attempts': 1})
)

response = client.list_ml_data_processing_jobs(
    maxItems=3
)

print(response)
awscurl
awscurl https://your-neptune-endpoint:port/ml/dataprocessing \
  --region us-east-1 \
  --service neptune-db \
  -X GET

Pour limiter le nombre de résultats :

awscurl "https://your-neptune-endpoint:port/ml/dataprocessing?maxItems=3" \
  --region us-east-1 \
  --service neptune-db \
  -X GET
Note

Cet exemple suppose que vos AWS informations d'identification sont configurées dans votre environnement. Remplacez us-east-1 par la région de votre cluster Neptune.

curl
curl -s "https://your-neptune-endpoint:port/ml/dataprocessing"

Ou encore :

curl -s "https://your-neptune-endpoint:port/ml/dataprocessing?maxItems=3"
Paramètres pour répertorier les tâches dataprocessing

  • maxItems : (facultatif) nombre maximal d'éléments à renvoyer.

    Type : entier. Par défaut : 10. Valeur maximale autorisée : 1024.

  • neptuneIamRoleArn— (Facultatif) L'ARN d'un rôle IAM qui permet à Neptune d'accéder SageMaker aux ressources AI et Amazon S3.

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.