View a markdown version of this page

Esempio di flusso di lavoro in un array - AWS Batch

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esempio di flusso di lavoro in un array

Un flusso di lavoro comune per AWS Batch i clienti devono eseguire un processo di configurazione dei prerequisiti, eseguire una serie di comandi su un gran numero di attività di input e quindi concludere con un processo che aggrega i risultati e scrive i dati di riepilogo su Amazon S3, DynamoDB, Amazon Redshift o Aurora.

Ad esempio:

  • JobA: un processo standard non basato sugli array che esegue un elenco rapido e la convalida dei metadati degli oggetti in un bucket Amazon S3, BucketA. Il SubmitJob La sintassi JSON è la seguente.

    { "jobName": "JobA", "jobQueue": "ProdQueue", "jobDefinition": "JobA-list-and-validate:1" }
  • JobB: un lavoro di array con 10.000 copie da cui dipende JobA che funziona CPU-intensive comandi su ogni oggetto in BucketA e carica i risultati su BucketB. Il SubmitJob La sintassi JSON è la seguente.

    { "jobName": "JobB", "jobQueue": "ProdQueue", "jobDefinition": "JobB-CPU-Intensive-Processing:1", "containerOverrides": { "resourceRequirements": [ { "type": "MEMORY", "value": "4096" }, { "type": "VCPU", "value": "32" } ] } "arrayProperties": { "size": 10000 }, "dependsOn": [ { "jobId": "JobA_job_ID" } ] }
  • JobC: Un altro processo di 10.000 copie in un array che dipende da JobB con un N_TO_N modello di dipendenza, che esegue comandi ad alta intensità di memoria su ogni elemento in BucketB, scrive i metadati su DynamoDB e carica l'output risultante su BucketC. Il SubmitJob La sintassi JSON è la seguente.

    { "jobName": "JobC", "jobQueue": "ProdQueue", "jobDefinition": "JobC-Memory-Intensive-Processing:1", "containerOverrides": { "resourceRequirements": [ { "type": "MEMORY", "value": "32768" }, { "type": "VCPU", "value": "1" } ] } "arrayProperties": { "size": 10000 }, "dependsOn": [ { "jobId": "JobB_job_ID", "type": "N_TO_N" } ] }
  • JobD: un processo di array che esegue 10 passaggi di convalida, ciascuno dei quali richiede l'interrogazione di DynamoDB e potrebbe interagire con uno qualsiasi dei bucket Amazon S3 sopra elencati. Ciascuna delle fasi di JobD esegui lo stesso comando. Tuttavia, il comportamento è diverso in base al valore di AWS_BATCH_JOB_ARRAY_INDEX variabile di ambiente all'interno del contenitore del lavoro. Questi passaggi di convalida vengono eseguiti in sequenza (ad esempio, JobD:0 e poi JobD:1). Il SubmitJob La sintassi JSON è la seguente.

    { "jobName": "JobD", "jobQueue": "ProdQueue", "jobDefinition": "JobD-Sequential-Validation:1", "containerOverrides": { "resourceRequirements": [ { "type": "MEMORY", "value": "32768" }, { "type": "VCPU", "value": "1" } ] } "arrayProperties": { "size": 10 }, "dependsOn": [ { "jobId": "JobC_job_ID" }, { "type": "SEQUENTIAL" }, ] }
  • JobE: un processo finale, non basato sull'array, che esegue alcune semplici operazioni di pulizia e invia una notifica Amazon SNS con un messaggio che indica che la pipeline è stata completata e un link all'URL di output. Il SubmitJob La sintassi JSON è la seguente.

    { "jobName": "JobE", "jobQueue": "ProdQueue", "jobDefinition": "JobE-Cleanup-and-Notification:1", "parameters": { "SourceBucket": "s3://amzn-s3-demo-source-bucket", "Recipient": "pipeline-notifications@mycompany.com" }, "dependsOn": [ { "jobId": "JobD_job_ID" } ] }