**Contribuisci a migliorare questa pagina**
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Per contribuire a questa guida per l'utente, scegli il GitHub link **Modifica questa pagina** nel riquadro destro di ogni pagina.
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# Panoramica dell’intelligenza artificiale (IA) e del machine learning (ML) su Amazon EKS
Amazon Elastic Kubernetes Service (EKS) è una piattaforma Kubernetes gestita che consente alle organizzazioni di implementare, gestire e scalare carichi di lavoro di IA e machine learning (ML) con flessibilità e controllo senza precedenti. Basato sull'ecosistema open source Kubernetes, EKS ti consente di sfruttare le tue competenze Kubernetes esistenti, integrandosi perfettamente con strumenti e servizi open source. AWS
Che tu stia addestrando modelli su larga scala, eseguendo inferenze online in tempo reale o implementando applicazioni di intelligenza artificiale generativa, EKS offre le prestazioni, la scalabilità e l'efficienza dei costi richieste dai tuoi progetti. AI/ML
## Perché scegliere EKS per IA/ML?
EKS è una piattaforma Kubernetes gestita che ti aiuta a implementare e gestire carichi di lavoro complessi. AI/ML Basata sull'ecosistema open source Kubernetes, si integra con i AWS servizi, fornendo il controllo e la scalabilità necessari per progetti avanzati. Per i team alle prime armi con le AI/ML implementazioni, le competenze Kubernetes esistenti vengono trasferite direttamente, consentendo un'orchestrazione efficiente di più carichi di lavoro.
EKS supporta tutto, dalla personalizzazione del sistema operativo alla scalabilità del calcolo, e la sua base open source promuove la flessibilità tecnologica, preservando la scelta per le future decisioni sull’infrastruttura. La piattaforma offre le prestazioni e le opzioni di ottimizzazione richieste dai carichi di lavoro, supportando funzionalità come: AI/ML
+ Controllo completo del cluster per ottimizzare costi e configurazioni senza astrazioni nascoste
+ Latenza inferiore al secondo per carichi di lavoro di inferenza in tempo reale in produzione
+ Personalizzazioni avanzate come strategie multiistanza e multi-cloud e GPUs ottimizzazione a livello di sistema operativo
+ Capacità di centralizzare i carichi di lavoro utilizzando EKS come orchestratore unificato tra le pipeline AI/ML
## Casi d’uso principali
Amazon EKS offre una piattaforma robusta per un'ampia gamma di AI/ML carichi di lavoro, supportando varie tecnologie e modelli di implementazione:
+ **Inferenza in tempo reale (online):** [https://aws.amazon.com/ec2/instance-types/inf1/](https://aws.amazon.com/ec2/instance-types/inf1/) Questi carichi di lavoro traggono vantaggio dal dimensionamento dinamico con [Karpenter](https://karpenter.sh/) e [KEDA,](https://keda.sh/) sfruttando al contempo [Amazon EFS](https://aws.amazon.com/efs/) per lo sharding dei modelli tra i pod. [Amazon ECR Pull Through Cache (PTC)](https://docs.aws.amazon.com/AmazonECR/latest/userguide/pull-through-cache-creating-rule.html) accelera gli aggiornamenti dei modelli, mentre i volumi di dati [Bottlerocket](https://aws.amazon.com/bottlerocket/) con volumi ottimizzati per [Amazon EBS](https://docs.aws.amazon.com/ebs/latest/userguide/what-is-ebs.html) garantiscono un accesso rapido ai dati.
+ **Formazione generale sui modelli:** [le organizzazioni sfruttano EKS per addestrare modelli complessi su set di dati di grandi dimensioni per periodi prolungati utilizzando le istanze [Kubeflow Training Operator](https://www.kubeflow.org/docs/components/trainer/), [Ray Serve](https://docs.ray.io/en/latest/serve/index.html) e [Torch Distributed Elastic su istanze Amazon EC2 P4d e Amazon](https://pytorch.org/docs/stable/distributed.elastic.html)[EC2](https://aws.amazon.com/ec2/instance-types/p4/) Trn1.](https://aws.amazon.com/ec2/instance-types/trn1/) Questi carichi di lavoro sono supportati dalla pianificazione in batch con strumenti come [Volcano](https://volcano.sh/en/#home_slider), [Yunikorn](https://yunikorn.apache.org/) e [Kueue](https://kueue.sigs.k8s.io/). [Amazon EFS](https://aws.amazon.com/efs/) consente la condivisione dei checkpoint del modello e [Amazon](https://aws.amazon.com/s3/) S3 gestisce il import/export modello con politiche del ciclo di vita per la gestione delle versioni.
+ **Pipeline di generazione potenziata da recupero dati (RAG):** EKS gestisce chatbot di assistenza clienti e applicazioni simili integrando processi di recupero e generazione. [https://weaviate.io/](https://weaviate.io/) [NVIDIA NIM](https://docs.nvidia.com/nim/index.html) ottimizza l’utilizzo della GPU, mentre [Prometheus](prometheus.md) e [Grafana](https://aws.amazon.com/grafana/) monitorano l’utilizzo delle risorse.
+ **Implementazione di modelli di IA generativa:** le aziende implementano servizi di creazione di contenuti in tempo reale su EKS, come la generazione di testo o immagini, utilizzando [Ray Serve](https://docs.ray.io/en/latest/serve/index.html), [vLLM](https://github.com/vllm-project/vllm) e [Triton Inference Server](https://aws.amazon.com/blogs/containers/quora-3x-faster-machine-learning-25-lower-costs-with-nvidia-triton-on-amazon-eks/) sugli acceleratori Amazon [EC2 G5](https://aws.amazon.com/ec2/instance-types/g5/) e [Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/). Queste implementazioni ottimizzano le prestazioni e l'utilizzo della memoria per modelli su larga scala. [JupyterHub](https://jupyter.org/hub)consente lo sviluppo iterativo, [Gradio](https://www.gradio.app/) fornisce semplici interfacce web e il [driver S3 Mountpoint CSI consente di montare bucket S3](s3-csi.md) come file system per accedere a file di modello di grandi dimensioni.
+ **Inferenza in batch (offline):** le organizzazioni elaborano set di dati di grandi dimensioni in modo efficiente tramite processi pianificati con [AWS Batch](https://docs.aws.amazon.com/batch/latest/userguide/what-is-batch.html) o [Volcano](https://volcano.sh/en/docs/schduler_introduction/). Questi carichi di lavoro utilizzano spesso istanze EC2 [Inf1](https://aws.amazon.com/ec2/instance-types/inf1/) e [Inf2](https://aws.amazon.com/ec2/instance-types/inf2/) per chip AWS [Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/), istanze [Amazon](https://aws.amazon.com/ec2/instance-types/g4/) EC2 G4dn per GPUs NVIDIA T4 o istanze CPU [c5 e c6i](https://aws.amazon.com/ec2/instance-types/c6i)[,](https://aws.amazon.com/ec2/instance-types/c5/) massimizzando l'utilizzo delle risorse durante le ore non di punta per le attività di analisi. [AWS I driver](https://aws.amazon.com/ai/machine-learning/neuron/) Neuron SDK e NVIDIA GPU ottimizzano le prestazioni, MIG/TS abilitando al contempo la condivisione della GPU. Le soluzioni di storage includono [Amazon S3](https://aws.amazon.com/s3/) e Amazon [EFS](https://aws.amazon.com/efs/) e [FSx for Lustre](https://aws.amazon.com/fsx/lustre/), con driver CSI per varie classi di storage. La gestione dei modelli sfrutta strumenti come [Kubeflow Pipelines](https://www.kubeflow.org/docs/components/pipelines/), [Argo Workflows](https://argoproj.github.io/workflows/) e [Ray Cluster](https://docs.ray.io/en/latest/cluster/getting-started.html), mentre il monitoraggio è gestito da [Prometheus](prometheus.md), [Grafana](https://aws.amazon.com/grafana/) e strumenti di monitoraggio dei modelli personalizzati.
## Casi di studio
I clienti scelgono Amazon EKS per vari motivi, come l’ottimizzazione dell’utilizzo della GPU o l’esecuzione di carichi di lavoro di inferenza in tempo reale con latenza inferiore al secondo, come dimostrato nei seguenti casi di studio. Per un elenco di tutti i casi di studio relativi ad Amazon EKS, consulta [AWS Customer Success Stories](https://aws.amazon.com/solutions/case-studies/browse-customer-success-stories/?refid=cr_card&customer-references-cards.sort-by=item.additionalFields.sortDate&customer-references-cards.sort-order=desc&awsf.customer-references-location=*all&awsf.customer-references-industry=*all&awsf.customer-references-use-case=*all&awsf.language=language%23english&awsf.customer-references-segment=*all&awsf.content-type=*all&awsf.customer-references-product=product%23eks&awsm.page-customer-references-cards=1).
+ [Unitary](https://aws.amazon.com/solutions/case-studies/unitary-eks-case-study/?did=cr_card&trk=cr_card) elabora 26 milioni di video al giorno utilizzando l’IA per la moderazione dei contenuti, richiedendo un’inferenza ad alto throughput e bassa latenza e ha ottenuto una riduzione dell’80% dei tempi di avvio dei container, garantendo una risposta rapida agli eventi di scalabilità in base alle fluttuazioni del traffico.
+ [Miro](https://aws.amazon.com/solutions/case-studies/miro-eks-case-study/), la piattaforma di collaborazione visiva che supporta 70 milioni di utenti in tutto il mondo, ha registrato una riduzione dell’80% dei costi di elaborazione rispetto ai precedenti cluster Kubernetes autogestiti.
+ [Synthesia](https://aws.amazon.com/solutions/case-studies/synthesia-case-study/?did=cr_card&trk=cr_card), che offre ai clienti la creazione di video con IA generativa come servizio per consentire ai clienti di creare video realistici a partire da prompt di testo, ha ottenuto un miglioramento di 30 volte nel throughput per l’addestramento dei modelli ML.
+ [Harri](https://aws.amazon.com/solutions/case-studies/harri-eks-case-study/?did=cr_card&trk=cr_card), che fornisce tecnologia HR per il settore alberghiero, ha raggiunto una riduzione orizzontale più rapida del 90% in risposta ai picchi di domanda e ha ridotto i costi di elaborazione del 30% eseguendo la migrazione ai [processori AWS Graviton](https://aws.amazon.com/ec2/graviton/).
+ [Ada Support](https://aws.amazon.com/solutions/case-studies/ada-support-eks-case-study/), una società di automazione del servizio clienti basata sull’IA, ha ottenuto una riduzione del 15% dei costi di elaborazione insieme a un aumento del 30% dell’efficienza nell’elaborazione.
+ [Snorkel AI](https://aws.amazon.com/blogs/startups/how-snorkel-ai-achieved-over-40-cost-savings-by-scaling-machine-learning-workloads-using-amazon-eks/), che consente alle aziende di creare e adattare modelli di base e modelli linguistici di grandi dimensioni, ha ottenuto risparmi sui costi di oltre il 40% implementando meccanismi di scalabilità intelligenti per le risorse GPU.
## Inizia a usare il machine learning su EKS
Per iniziare a pianificare e utilizzare le piattaforme e i carichi di lavoro di Machine Learning su EKS sul AWS cloud, vai alla [Risorse per iniziare a utilizzare IA/ML su Amazon EKS](ml-resources.md) sezione.