Bucket di directory e S3 Express One Zone - Amazon Simple Storage Service
PanoramicaFunzionalità di S3 Express One ZoneServizi correlatiPassaggi successivi

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Bucket di directory e S3 Express One Zone

Amazon S3 Express One Zone è una classe di archiviazione Amazon S3 a zona singola ad alte prestazioni, creata appositamente per fornire un accesso ai dati coerente di pochi millisecondi per le applicazioni sensibili alla latenza. S3 Express One Zone è la classe di storage di oggetti cloud con la latenza più bassa disponibile oggi, con velocità di accesso ai dati fino a 10 volte più elevate e con costi di richiesta inferiori del 50% rispetto a S3 Standard. Le applicazioni possono trarre immediatamente vantaggio dal fatto che le richieste vengano completate con una velocità fino a un ordine di grandezza superiore. S3 Express One Zone offre un'elasticità prestazionale simile a quella delle altre classi di storage S3.

Come con altre classi di storage Amazon S3, non è necessario pianificare o fornire in anticipo i requisiti di capacità o throughput. Puoi aumentare o ridurre lo storage in base alle necessità e accedere ai dati tramite Amazon S3API.

S3 Express One Zone è la prima classe di archiviazione S3 in cui è possibile selezionare una singola zona di disponibilità con la possibilità di co-ubicare l'archiviazione di oggetti con le risorse di calcolo, che offre la massima velocità di accesso possibile. Inoltre, per aumentare ulteriormente la velocità di accesso e supportare centinaia di migliaia di richieste al secondo, i dati nella classe di storage S3 Express One Zone vengono archiviati in un nuovo tipo di bucket: un bucket di directory Amazon S3. Ogni bucket di directory può supportare centinaia di migliaia di transazioni al secondo (TPS), indipendentemente dai nomi delle chiavi o dal modello di accesso.

La classe di storage Amazon S3 Express One Zone è progettata per una disponibilità del 99,95% all'interno di una singola zona di disponibilità ed è supportata dal Service Level Agreement di Amazon S3. Con S3 Express One Zone, i dati vengono archiviati in modo ridondante su più dispositivi all'interno di una singola zona di disponibilità. S3 Express One Zone è progettata per gestire guasti simultanei dei dispositivi rilevando e riparando rapidamente l'eventuale ridondanza persa. Se il dispositivo esistente rileva un guasto, S3 Express One Zone sposta automaticamente le richieste in nuovi dispositivi all'interno di una zona di disponibilità. Questa ridondanza garantisce l'accesso ininterrotto ai dati all'interno di una zona di disponibilità.

S3 Express One Zone è ideale per qualsiasi applicazione in cui è importante ridurre al minimo la latenza richiesta per accedere a un oggetto. Tali applicazioni possono essere flussi di lavoro interattivi con l'uomo, come l'editing video, in cui i professionisti creativi necessitano di un accesso reattivo ai contenuti dalle loro interfacce utente. S3 Express One Zone beneficia, inoltre, di carichi di lavoro di analisi e machine learning che hanno requisiti di reattività simili ai relativi dati, in particolare carichi di lavoro con molti accessi più piccoli o un numero elevato di accessi casuali. S3 Express One Zone può essere utilizzato con altri Servizi AWS per supportare carichi di lavoro di analisi e intelligenza artificiale e machine learning (AI/ML), come Amazon, Amazon e Amazon EMR Athena SageMaker.

Diagramma che mostra come funziona S3 Express One Zone.

Quando usi S3 Express One Zone, puoi interagire con il tuo bucket di directory in un cloud privato virtuale (VPC) utilizzando un endpoint gateway. VPC Con un endpoint gateway, puoi accedere ai bucket di directory S3 Express One Zone direttamente da te VPC senza dover utilizzare un gateway o un NAT dispositivo Internet e senza costi aggiuntiviVPC.

Puoi utilizzare molte delle stesse API operazioni e funzionalità di Amazon S3 con i bucket di directory utilizzati con i bucket generici e altre classi di storage. Questi includono Mountpoint per Amazon S3, crittografia lato server con chiavi gestite Amazon S3 (-S3), crittografia lato server con SSE () chiavi (SSE-KMS), S3 Batch Operations AWS Key Management Service e S3 Block Public Access.AWS KMS Puoi accedere a S3 Express One Zone utilizzando la console Amazon S3 AWS Command Line Interface ,AWS CLI() AWS SDKs e Amazon S3. REST API

Per ulteriori informazioni su S3 Express One Zone, consulta i seguenti argomenti.

Panoramica

Per ottimizzare le prestazioni e ridurre la latenza, S3 Express One Zone introduce i seguenti nuovi concetti.

Zona di disponibilità singola

La classe di storage Amazon S3 Express One Zone è progettata per una disponibilità del 99,95% all'interno di una singola zona di disponibilità ed è supportata dal Service Level Agreement di Amazon S3. Con S3 Express One Zone, i dati vengono archiviati in modo ridondante su più dispositivi all'interno di una singola zona di disponibilità. S3 Express One Zone è progettata per gestire guasti simultanei dei dispositivi rilevando e riparando rapidamente l'eventuale ridondanza persa. Se il dispositivo esistente rileva un guasto, S3 Express One Zone sposta automaticamente le richieste in nuovi dispositivi all'interno di una zona di disponibilità. Questa ridondanza garantisce l'accesso ininterrotto ai dati all'interno di una zona di disponibilità.

Una zona di disponibilità consiste in uno o più data center separati con alimentazione, rete e connettività ridondanti in una Regione AWS. Quando crei un bucket di directory, scegli la zona di disponibilità e Regione AWS dove collocare il bucket.

Bucket di directory

Esistono due tipi di bucket Amazon S3: i bucket generici S3 e i bucket di directory S3. I bucket per uso generico sono il tipo di bucket Amazon S3 predefinito utilizzato per la maggior parte dei casi d'uso S3. I bucket di directory utilizzano solo la classe di archiviazione S3 Express One Zone, progettata per carichi di lavoro o applicazioni con prestazioni critiche che richiedono una latenza costante di pochi millisecondi. Scegli il tipo di bucket più adatto alle tue esigenze applicative e prestazionali.

I bucket di directory organizzano i dati gerarchicamente in directory, a differenza della struttura di archiviazione piatta dei bucket generici. Non ci sono limiti di prefissi per i bucket di directory e le singole directory possono essere dimensionate orizzontalmente.

I bucket di directory utilizzano la classe di archiviazione S3 Express One Zone, creata per essere utilizzata da applicazioni sensibili alle prestazioni. Con S3 Express One Zone, puoi selezionare una singola zona di disponibilità con la possibilità di co-localizzare lo storage di oggetti con le tue risorse di elaborazione, il che offre la massima velocità di accesso possibile. Ciò è diverso dai bucket per uso generico, che archiviano oggetti in modo ridondante su più zone di disponibilità in. Regioni AWS

Per ulteriori informazioni sui bucket di directory, consulta Panoramica dei bucket di directory. Per ulteriori informazioni sui bucket per uso generico, consulta Panoramica dei bucket.

Endpoint ed endpoint gateway VPC

APILe operazioni di gestione dei bucket per i bucket di directory sono disponibili tramite un endpoint regionale e sono denominate operazioni sugli endpoint regionali. API Esempi di operazioni sugli endpoint regionali sono e. API CreateBucket DeleteBucket Dopo aver creato un bucket di directory, è possibile utilizzare API le operazioni degli endpoint zonali per caricare e gestire gli oggetti nel bucket di directory. Le API operazioni sugli endpoint zonali sono disponibili tramite un endpoint zonale. Esempi di operazioni sugli endpoint zonali sono e. API PutObject CopyObject

Puoi accedere a S3 Express One Zone dal tuo dispositivo VPC utilizzando gli endpoint gateway. VPC Dopo aver creato un endpoint gateway, puoi aggiungerlo come destinazione nella tabella delle rotte per il traffico destinato dal tuo dispositivo VPC a S3 Express One Zone. Analogamente ad Amazon S3, l'utilizzo di endpoint del gateway non comporta costi supplementari. Per ulteriori informazioni su come configurare gli endpoint del gatewayVPC, consulta Servizi di rete per S3 Express One Zone

Autorizzazione basata sulla sessione

Con S3 Express One Zone, autentichi e autorizzi le richieste tramite un nuovo meccanismo basato sulla sessione ottimizzato per fornire la latenza più bassa. Puoi utilizzare CreateSession per richiedere credenziali temporanee che forniscono un accesso a bassa latenza al bucket. Queste credenziali temporanee sono definite per un bucket di directory S3 specifico. I token di sessione vengono utilizzati solo con operazioni zonali (a livello di oggetto) (ad eccezione di CopyObject). Per ulteriori informazioni, vedereAutorizzazione delle operazioni degli endpoint API zonali con CreateSession.

I servizi supportati AWS SDKs per S3 Express One Zone gestiscono l'impostazione e l'aggiornamento della sessione per tuo conto. Per proteggere le sessioni, le credenziali di sicurezza temporanee scadono dopo 5 minuti. Dopo aver scaricato, installato AWS SDKs e configurato le autorizzazioni necessarie AWS Identity and Access Management (IAM), puoi iniziare immediatamente a utilizzare le operazioni. API

Funzionalità di S3 Express One Zone

Le seguenti funzionalità S3 sono disponibili per S3 Express One Zone. Per un elenco completo delle API operazioni supportate e delle funzionalità non supportate, consulta. Scopri in che modo S3 Express One Zone è diverso

Gestione degli accessi e sicurezza

Con i bucket di directory, puoi utilizzare le seguenti funzionalità per eseguire l'audit e gestire l'accesso. Per impostazione predefinita, i bucket di directory sono privati e l'accesso è possibile solo dagli utenti a cui è concesso esplicitamente l'accesso. A differenza dei bucket per uso generico, che possono impostare il limite di controllo dell'accesso a livello di bucket, prefisso o tag dell'oggetto, il limite di controllo dell'accesso per i bucket di directory viene impostato solo a livello di bucket. Per ulteriori informazioni, consulta Autorizzazione dell'endpoint APIs regionale con IAM.

  • S3 Block Public Access: tutte le impostazioni di S3 Block Public Access sono abilitate per impostazione predefinita a livello di bucket. Questa impostazione predefinita non può essere modificata.

  • S3 Object Ownership (proprietario del bucket applicato per impostazione predefinita): le liste di controllo degli accessi (ACLs) non sono supportate per i bucket di directory. I bucket di directory utilizzano automaticamente l'impostazione imposta dal proprietario del bucket per S3 Object Ownership. L'applicazione del proprietario del bucket significa che ACLs sono disabilitati e il proprietario del bucket possiede automaticamente e ha il pieno controllo su ogni oggetto nel bucket. Questa impostazione predefinita non può essere modificata.

  • AWS Identity and Access Management (IAM): IAM consente di controllare in modo sicuro l'accesso ai bucket di directory. È possibile utilizzare IAM per concedere l'accesso alle operazioni di gestione dei bucket (regionali) e API alle operazioni di gestione degli oggetti (zonali) tramite l'APIazione. s3express:CreateSession Per ulteriori informazioni, consulta Autorizzazione dell'endpoint APIs regionale con IAM. A differenza delle azioni di gestione degli oggetti, le azioni di gestione dei bucket non possono essere multi-account. Solo il proprietario del bucket può eseguire tali azioni.

  • Politiche relative ai bucket: utilizza un linguaggio IAM basato sulle policy per configurare le autorizzazioni basate sulle risorse per i bucket di directory. È inoltre possibile utilizzarlo IAM per controllare l'accesso all'CreateSessionAPIoperazione, il che consente di utilizzare le operazioni zonali o di gestione degli oggetti. API È possibile concedere l'accesso allo stesso account o a più account alle operazioni Zonal. API Per ulteriori informazioni sulle autorizzazioni e le politiche di S3 Express One Zone, consulta. Autorizzazione dell'endpoint APIs regionale con IAM

  • IAMAccess Analyzer for S3: valuta e monitora le tue politiche di accesso per assicurarti che forniscano solo l'accesso previsto alle tue risorse S3.

Registrazione di log e monitoraggio

S3 Express One Zone utilizza i seguenti strumenti di registrazione e monitoraggio S3 che puoi utilizzare per monitorare e controllare il modo in cui vengono utilizzate le tue risorse:

  • CloudWatch Parametri Amazon: monitora AWS le tue risorse e le tue applicazioni utilizzandole CloudWatch per raccogliere e tracciare i parametri. S3 Express One Zone utilizza lo stesso spazio dei CloudWatch nomi delle altre classi di storage Amazon S3 (AWS/S3) e supporta i parametri di storage giornalieri per i bucket di directory: e. BucketSizeBytes NumberOfObjects Per ulteriori informazioni, consulta Monitoraggio delle metriche con Amazon CloudWatch.

  • AWS CloudTrail logs: AWS CloudTrail è uno strumento Servizio AWS che ti aiuta a implementare il controllo operativo e dei rischi, la governance e la conformità della tua azienda registrando le azioni intraprese Account AWS da un utente, ruolo o un. Servizio AWS Per S3 Express One Zone, CloudTrail acquisisce le API operazioni degli endpoint regionali (ad esempio, CreateBucket ePutBucketPolicy) come eventi di gestione e API le operazioni zonali (ad esempio, GetObject e) come eventi relativi ai dati. PutObject Questi eventi includono le azioni intraprese nelle operazioni AWS Management Console, AWS Command Line Interface (AWS CLI) e. AWS SDKs AWS API Per ulteriori informazioni, consulta Logging with AWS CloudTrail for S3 Express One Zone.

Nota

I log di accesso al server Amazon S3 non sono supportati con S3 Express One Zone.

Gestione degli oggetti

Dopo aver creato un bucket di directory, puoi gestire lo storage di oggetti utilizzando la console AWS SDKs Amazon S3 e. AWS CLI Le seguenti funzionalità sono disponibili per la gestione degli oggetti con S3 Express One Zone:

  • Operazioni Batch S3: utilizza le operazioni batch per eseguire operazioni in blocco sugli oggetti nei bucket di directory, ad esempio la funzione Copy and Invoke. AWS Lambda Ad esempio, puoi utilizzare Operazioni in batch per copiare oggetti tra bucket di directory e bucket per uso generico. Con Batch Operations, puoi gestire miliardi di oggetti su larga scala con una singola richiesta S3 utilizzando AWS SDKs AWS CLI o pochi clic nella console Amazon S3.

  • Importa: dopo aver creato un bucket di directory, puoi popolarlo con oggetti utilizzando la funzionalità di importazione nella console Amazon S3. L'importazione è un metodo ottimizzato di creazione di processi Operazioni in batch per copiare oggetti da bucket per uso generico in bucket di directory.

AWS SDKse librerie client

Dopo aver creato un bucket di directory e caricato un oggetto nel bucket, puoi gestire l'archiviazione degli oggetti utilizzando quanto segue.

  • Mountpoint per Amazon S3 — Mountpoint per Amazon S3 è un client di file open source che offre un accesso a throughput elevato, riducendo i costi di elaborazione per i data lake su Amazon S3. Mountpoint per Amazon S3 traduce le chiamate locali del file API system in chiamate a oggetti S3 API come e. GET LIST È ideale per carichi di lavoro di data lake ad alta intensità di lettura che elaborano petabyte di dati e richiedono l'elevata velocità di trasmissione elastica fornita da Amazon S3 per scalare verso l'alto e verso il basso su migliaia di istanze.

  • S3A – S3A è consigliato Hadoop-interfaccia compatibile per l'accesso agli archivi dati in Amazon S3. S3A sostituisce il S3N Hadoop client del file system.

  • PyTorch on AWS — PyTorch on AWS è un framework di deep learning open source che semplifica lo sviluppo di modelli di machine learning e la loro implementazione in produzione.

  • AWS SDKs— È possibile utilizzarlo per sviluppare applicazioni con Amazon S3. AWS SDKs AWS SDKsSemplifica le tue attività di programmazione inserendo l'Amazon REST API S3 sottostante. Per ulteriori informazioni sull'utilizzo di S3 Express One Zone, consulta. AWS SDKs AWS SDKs

Crittografia e protezione dei dati

Gli oggetti archiviati nei bucket di directory vengono crittografati automaticamente utilizzando la crittografia lato server con chiavi gestite di Amazon S3 (-S3). SSE I bucket di directory supportano anche la crittografia lato server con () chiavi (-). AWS Key Management Service AWS KMS SSE KMS I bucket di directory non supportano la crittografia lato server con chiavi di crittografia fornite dal cliente (SSE-C) o la crittografia lato server a doppio livello con (-). AWS KMS keys DSSE KMS Per ulteriori informazioni, consulta Protezione e crittografia dei dati in S3 Express One Zone.

S3 Express One Zone offre la possibilità di scegliere l'algoritmo di checksum utilizzato per convalidare i dati durante il caricamento o il download. È possibile selezionare uno dei seguenti algoritmi di controllo dell'integrità dei dati Secure Hash Algorithms (SHA) o Cyclic Redundancy Check ():,, -1 e -256. CRC CRC32 CRC32C SHA SHA MD5i checksum basati non sono supportati con la classe di storage S3 Express One Zone.

Per ulteriori informazioni, consulta Best practice per il checksum S3 aggiuntivo.

AWS Versione Signature 4 (SigV4)

S3 Express One Zone utilizza AWS la versione Signature 4 (SigV4). SigV4 è un protocollo di firma utilizzato per autenticare le richieste ad Amazon HTTPS S3 tramite. S3 Express One Zone firma le richieste utilizzando AWS Sigv4. Per ulteriori informazioni, consulta Authenticating Requests (AWS Signature Version 4) nell'Amazon Simple Storage Service API Reference.

Forte coerenza

S3 Express One Zone offre una forte read-after-write coerenza per DELETE tutte PUT le richieste di oggetti presenti nei bucket di directory. Regioni AWS Per ulteriori informazioni, consulta Modello di consistenza dati Amazon S3.

Puoi utilizzare quanto segue Servizi AWS con la classe di storage S3 Express One Zone per supportare il tuo caso d'uso specifico a bassa latenza.

  • Amazon Elastic Compute Cloud (AmazonEC2): Amazon EC2 fornisce capacità di elaborazione sicura e scalabile in. Cloud AWS L'utilizzo di Amazon EC2 riduce la necessità di investire in hardware in anticipo, in modo da poter sviluppare e distribuire applicazioni più velocemente. Puoi usare Amazon EC2 per avviare tutti o pochi server virtuali di cui hai bisogno, configurare sicurezza e rete e gestire lo storage.

  • AWS Lambda: Lambda è un servizio di calcolo che consente di eseguire il codice senza provisioning o gestire server. È possibile configurare le impostazioni di notifica su un bucket e concedere ad Amazon S3 l'autorizzazione a invocare una funzione sulla policy di autorizzazione basata sulle risorse della funzione.

  • Amazon Elastic Kubernetes Service (Amazon): EKS EKS Amazon è un servizio gestito che elimina la necessità di installare, utilizzare e mantenere i propri Kubernetes piano di controllo attivo. AWSKubernetesè un sistema open source che automatizza la gestione, la scalabilità e l'implementazione di applicazioni containerizzate.

  • Amazon Elastic Container Service (AmazonECS): Amazon ECS è un servizio di orchestrazione di container completamente gestito che ti aiuta a distribuire, gestire e scalare facilmente le applicazioni containerizzate.

  • Amazon Athena — Athena è un servizio di query interattivo che semplifica l'analisi dei dati direttamente in Amazon S3 utilizzando standard. SQL Puoi anche usare Athena per eseguire analisi dei dati in modo interattivo utilizzando Apache Spark senza dover pianificare, configurare o gestire le risorse. Quando corri Apache Spark candidature su Athena, che invii Spark codice per l'elaborazione e la ricezione diretta dei risultati.

  • Amazon SageMaker Runtime Model Training — Amazon SageMaker Runtime è un servizio di machine learning completamente gestito. Con SageMaker Runtime, data scientist e sviluppatori possono creare e addestrare modelli di machine learning in modo rapido e semplice e poi distribuirli direttamente in un ambiente ospitato pronto per la produzione.

  • AWS Glue— AWS Glue è un servizio di integrazione dei dati senza server che consente agli utenti di analisi di scoprire, preparare, spostare e integrare facilmente i dati provenienti da più fonti. È possibile utilizzarlo AWS Glue per l'analisi, l'apprendimento automatico e lo sviluppo di applicazioni. AWS Glue include anche strumenti di produttività e data-ops aggiuntivi per la creazione, l'esecuzione di lavori e l'implementazione dei flussi di lavoro aziendali.

  • Amazon EMR: Amazon EMR è una piattaforma di cluster gestita che semplifica l'esecuzione di framework di big data, come Apache Hadoop e Apache Spark, AWS per elaborare e analizzare grandi quantità di dati.

Passaggi successivi

Per ulteriori informazioni sull'utilizzo della classe di archiviazione S3 Express One Zone e dei bucket di directory, consulta gli argomenti seguenti: