Che cos'è AWS Data Pipeline? - AWS Data Pipeline
Accedere AWS Data PipelinePrezzi

AWS Data Pipeline non è più disponibile per i nuovi clienti. Clienti esistenti di AWS Data Pipeline possono continuare a utilizzare il servizio normalmente. Ulteriori informazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Che cos'è AWS Data Pipeline?

Nota

AWS Data Pipeline il servizio è in modalità manutenzione e non sono previste nuove funzionalità o espansioni regionali. Per ulteriori informazioni e per scoprire come migrare i carichi di lavoro esistenti, consulta. Migrazione dei carichi di lavoro da AWS Data Pipeline

AWS Data Pipeline è un servizio web che puoi utilizzare per automatizzare lo spostamento e la trasformazione dei dati. Con AWS Data Pipeline, puoi definire flussi di lavoro basati sui dati, in modo che le attività possano dipendere dal completamento con successo delle attività precedenti. Definisci i parametri delle trasformazioni dei dati e AWS Data Pipeline applichi la logica che hai impostato.

I seguenti componenti AWS Data Pipeline collaborano per gestire i dati:

  • Una pipeline definition (definizione di pipeline) specifica la logica di business della gestione dei dati. Per ulteriori informazioni, consulta Sintassi del file di definizione della pipeline.

  • Una pipeline pianifica ed esegue le attività creando istanze Amazon EC2 per eseguire le attività lavorative definite. È possibile caricare la definizione di pipeline nella e quindi attivarla. È possibile modificare la definizione di pipeline e attivare di nuovo la pipeline affinché abbia effetto. Puoi disattivare la pipeline, modificare un'origine dati e quindi attivare la pipeline di nuovo. Quando la pipeline non è più necessaria, è possibile eliminarla.

  • Task Runner analizza le attività e quindi le esegue. Ad esempio, Task Runner potrebbe copiare i file di registro su Amazon S3 e avviare cluster Amazon EMR. Task Runner viene installato e viene eseguito automaticamente sulle risorse create dalle definizioni della pipeline. È possibile scrivere un'applicazione task runner personalizzata oppure utilizzare l'applicazione Task Runner fornita da. AWS Data Pipeline Per ulteriori informazioni, consulta Runner delle attività.

Ad esempio, puoi AWS Data Pipeline archiviare i log del tuo server Web su Amazon Simple Storage Service (Amazon S3) Simple Storage Service (Amazon S3) ogni giorno e poi eseguire un cluster Amazon EMR (Amazon EMR) settimanale su quei log per generare report sul traffico. AWS Data Pipeline pianifica le attività giornaliere per copiare i dati e l'attività settimanale per avviare il cluster Amazon EMR. AWS Data Pipeline assicura inoltre che Amazon EMR attenda il caricamento dei dati dell'ultimo giorno su Amazon S3 prima di iniziare l'analisi, anche in caso di ritardo imprevisto nel caricamento dei log.

AWS Data Pipeline panoramica funzionale
Indice

Accedere AWS Data Pipeline

È possibile creare, accedere e gestire le pipeline utilizzando una qualsiasi delle seguenti interfacce:

  • AWS Management Console— Fornisce un'interfaccia web che è possibile utilizzare per accedere AWS Data Pipeline.

  • AWS Command Line Interface (AWS CLI) — Fornisce comandi per un'ampia gamma di servizi AWS AWS Data Pipeline, inclusi ed è supportato su Windows, macOS e Linux. Per ulteriori informazioni sull'installazione di AWS CLI, consulta AWS Command Line Interface. Per un elenco di comandi per AWS Data Pipeline, consulta datapipeline.

  • SDK AWS - Forniscono interfacce API specifiche per ogni linguaggio e si prendono carico di molti dettagli della connessione, ad esempio il calcolo delle firme e la gestione dei tentativi di richiesta e degli errori. Per ulteriori informazioni, consulta SDK AWS.

  • API di query: fornisce API di basso livello che puoi chiamare utilizzando richieste HTTPS. L'API di interrogazione è il modo più diretto per accedere al AWS Data Pipeline, ma richiede che la propria applicazione gestisca dettagli di basso livello, come la generazione di un hash per la firma della richiesta e la gestione degli errori. Per ulteriori informazioni, consulta la Documentazione di riferimento delle API di AWS Data Pipeline.

Prezzi

I prezzi di Amazon Web Services sono calcolati in base all'uso effettivo. In effetti AWS Data Pipeline, paghi per la tua pipeline in base alla frequenza con cui è programmata l'esecuzione delle tue attività e dei prerequisiti e al luogo in cui vengono eseguite. Per ulteriori informazioni, consulta la sezione Prezzi di AWS Data Pipeline.

Se l'account AWS è inferiore a 12 mesi, hai diritto a utilizzare il piano gratuito. Il piano gratuito include tre precondizioni a bassa frequenza e cinque attività a bassa frequenza al mese senza alcun costo aggiuntivo. Per ulteriori informazioni, consulta Piano gratuito di AWS.