Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon S3 su Outposts con Amazon on Outposts locale EMR

Amazon EMR è una piattaforma di cluster gestita che semplifica l'esecuzione di framework di big data, come Apache Hadoop e Apache Spark, AWS per elaborare e analizzare grandi quantità di dati. Utilizzando questi framework e i relativi progetti open source, è possibile elaborare i dati per scopi di analisi e carichi di lavoro di business intelligence. Amazon ti aiuta EMR anche a trasformare e spostare grandi quantità di dati da e verso altri archivi di AWS dati e database e supporta Amazon S3 on Outposts. Per ulteriori informazioni su AmazonEMR, consulta Amazon EMR on Outposts nella Amazon EMR Management Guide.

Per Amazon S3 on Outposts, EMR Amazon ha iniziato a supportare il Apache Hadoop Connettore S3A nella versione 7.0.0. Le versioni precedenti di Amazon EMR non supportano S3 locale su Outposts e EMR il File System EMRFS () non è supportato.

Applicazioni supportate

Amazon EMR con Amazon S3 on Outposts supporta le seguenti applicazioni:

Per ulteriori informazioni, consulta la Amazon EMR Release Guide.

Crea e configura un bucket Amazon S3 on Outposts

Amazon EMR utilizza il AWS SDK for Java con Amazon S3 on Outposts per archiviare i dati di input e i dati di output. I tuoi file di EMR log di Amazon sono archiviati in una posizione Amazon S3 regionale selezionata e non sono archiviati localmente su Outpost. Per ulteriori informazioni, consulta Amazon EMR logs nella Amazon EMR Management Guide.

Per conformarsi ad Amazon S3 DNS e ai requisiti, i bucket S3 on Outposts hanno restrizioni e limitazioni di denominazione. Per ulteriori informazioni, consulta Creazione di un bucket S3 su Outposts.

Con la EMR versione 7.0.0 e successive di Amazon, puoi utilizzare Amazon EMR con S3 su Outposts e il file system S3A.

Prerequisiti

Autorizzazioni S3 on Outposts: quando crei il tuo profilo di istanza EMR Amazon, il tuo ruolo deve contenere lo spazio AWS Identity and Access Management dei nomi IAM () per S3 on Outposts. S3 on Outposts ha il proprio spazio dei nomi,. s3-outposts* Per un esempio di politica che utilizza questo spazio dei nomi, vedi. Configurazione IAM con S3 su Outposts

Connettore S3A: per configurare il EMR cluster per accedere ai dati da un bucket Amazon S3 on Outposts, devi utilizzare il Apache Hadoop Connettore S3A. Per utilizzare il connettore, assicurati che tutti i tuoi S3 URIs utilizzino lo schema. s3a In caso contrario, puoi configurare l'implementazione del file system che usi per il EMR cluster in modo che S3 URIs funzioni con il connettore S3A.

Per configurare l'implementazione del file system in modo che funzioni con il connettore S3A, utilizzi le proprietà fs.file_scheme.impl e di fs.AbstractFileSystem.file_scheme.impl configurazione del EMR cluster, dove file_scheme corrisponde al tipo di S3 di cui disponi. URIs Per utilizzare l'esempio seguente, sostituisci segnaposti di input dall'utente con le tue informazioni. Ad esempio, per modificare l'implementazione del file system per S3 URIs che utilizza s3 lo schema, specifica le seguenti proprietà di configurazione del cluster:

[
  {
"Classification": "core-site",
    "Properties": {
    "fs.s3.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem",
    "fs.AbstractFileSystem.s3.impl": "org.apache.hadoop.fs.s3a.S3A"
    }
  }
]
    

Per utilizzare S3A, imposta la proprietà di fs.file_scheme.impl configurazione su org.apache.hadoop.fs.s3a.S3AFileSystem e imposta la fs.AbstractFileSystem.file_scheme.impl proprietà su. org.apache.hadoop.fs.s3a.S3A

Ad esempio, se state accedendo al percorsos3a://bucket/..., impostate la fs.s3a.impl proprietà su e impostate la fs.AbstractFileSystem.s3a.impl proprietà su. org.apache.hadoop.fs.s3a.S3AFileSystem org.apache.hadoop.fs.s3a.S3A

Inizia a usare Amazon EMR con Amazon S3 on Outposts

I seguenti argomenti spiegano come iniziare a usare Amazon EMR con Amazon S3 on Outposts.

Creazione di una policy di autorizzazione

Prima di poter creare un EMR cluster che utilizzi Amazon S3 su Outposts, devi creare una IAM policy da collegare al profilo dell'EC2istanza Amazon per il cluster. La policy deve disporre delle autorizzazioni per accedere al punto di accesso S3 on Outposts Amazon Resource Name (). ARN Per ulteriori informazioni sulla creazione IAM di policy per S3 su Outposts, consulta. Configurazione IAM con S3 su Outposts

La seguente politica di esempio mostra come concedere le autorizzazioni richieste. Dopo aver creato la policy, associa la policy al ruolo del profilo di istanza che utilizzi per creare il EMR cluster, come descritto nella Creazione e configurazione del cluster sezione. Per utilizzare questo esempio, sostituisci il segnaposti di input dall'utente con le tue informazioni.

{
"Version":"2012-10-17", 
  "Statement": [
        {
  "Effect": "Allow",
            "Resource": "arn:aws:s3-outposts:us-west-2:111122223333:outpost/op-01ac5d28a6a232904/accesspoint/access-point-name,
            "Action": [
                "s3-outposts:*"
            ]
        }
    ]
    
 }

Creazione e configurazione del cluster

Per creare un cluster che esegua Spark con S3 su Outposts, completa i seguenti passaggi nella console.

Panoramica delle configurazioni

La tabella seguente descrive le configurazioni S3A e i valori da specificare per i relativi parametri quando si configura un cluster che utilizza S3 su Outposts con Amazon. EMR

La tabella seguente descrive Spark configurazioni e i valori da specificare per i relativi parametri quando configuri un cluster che utilizza S3 su Outposts con Amazon. EMR

Considerazioni

Considera quanto segue quando integri Amazon EMR con i bucket S3 on Outposts: