**Aidez à améliorer cette page**
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien **Modifier cette page sur** qui se trouve dans le volet droit de chaque page.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Présentation de l’intelligence artificielle (IA) et du Machine Learning (ML) sur Amazon EKS
Amazon Elastic Kubernetes Service (EKS) est une plateforme Kubernetes gérée qui permet aux entreprises de déployer, gérer et adapter les charges de travail liées à l’intelligence artificielle et au machine learning (ML) avec une flexibilité et un contrôle inégalés. Construit sur l'écosystème open source Kubernetes, EKS vous permet de tirer parti de votre expertise Kubernetes existante, tout en s'intégrant parfaitement aux outils et services open source. AWS
Que vous entraîniez des modèles à grande échelle, que vous exécutiez des inférences en ligne en temps réel ou que vous déployiez des applications d'IA génératives, EKS fournit les performances, l'évolutivité et la rentabilité qu'exigent vos AI/ML projets.
## Pourquoi choisir EKS pour l’IA/ML ?
EKS est une plateforme Kubernetes gérée qui vous aide à déployer et à gérer des charges de travail complexes. AI/ML Construit sur l'écosystème open source Kubernetes, il s'intègre AWS aux services, fournissant le contrôle et l'évolutivité nécessaires aux projets avancés. Pour les équipes qui découvrent AI/ML les déploiements, les compétences Kubernetes existantes sont transférées directement, ce qui permet une orchestration efficace de plusieurs charges de travail.
EKS prend en charge tout, depuis la personnalisation des systèmes d’exploitation jusqu’à la mise à l’échelle des ressources informatiques, et sa base open source favorise la flexibilité technologique, préservant ainsi le choix pour les décisions futures en matière d’infrastructure. La plate-forme fournit les performances et les options de réglage requises par les AI/ML charges de travail, en prenant en charge des fonctionnalités telles que :
+ Contrôle complet du cluster pour affiner les coûts et les configurations sans abstractions cachées
+ Latence inférieure à la seconde pour les charges de travail d’inférence en temps réel en production
+ Personnalisations avancées telles que le multi-instance GPUs, les stratégies multi-cloud et le réglage au niveau du système d'exploitation
+ Possibilité de centraliser les charges de travail à l'aide d'EKS en tant qu'orchestrateur unifié entre les pipelines AI/ML
## Principaux cas d’utilisation
Amazon EKS fournit une plate-forme robuste pour un large éventail de AI/ML charges de travail, prenant en charge diverses technologies et modèles de déploiement :
+ **Inférence en temps réel (en ligne) :** [https://aws.amazon.com/ec2/instance-types/inf1/](https://aws.amazon.com/ec2/instance-types/inf1/) Ces charges de travail bénéficient d’une mise à l’échelle dynamique avec [Karpenter](https://karpenter.sh/) et [KEDA](https://keda.sh/), tout en tirant parti d’Amazon [EFS pour le découpage](https://aws.amazon.com/efs/) des modèles entre les pods. [Amazon ECR Pull Through Cache (PTC)](https://docs.aws.amazon.com/AmazonECR/latest/userguide/pull-through-cache-creating-rule.html) accélère les mises à jour des modèles, et les volumes de données [Bottlerocket](https://aws.amazon.com/bottlerocket/) avec les volumes optimisés [Amazon EBS](https://docs.aws.amazon.com/ebs/latest/userguide/what-is-ebs.html) garantissent un accès rapide aux données.
+ **Formation générale sur les modèles :** [les organisations utilisent EKS pour former des modèles complexes sur de grands ensembles de données sur de longues périodes à l'aide de [Kubeflow Training Operator](https://www.kubeflow.org/docs/components/trainer/), [Ray Serve](https://docs.ray.io/en/latest/serve/index.html) et [Torch Distributed Elastic](https://pytorch.org/docs/stable/distributed.elastic.html) sur des instances Amazon EC2 [P4d et Amazon EC2](https://aws.amazon.com/ec2/instance-types/p4/) Trn1.](https://aws.amazon.com/ec2/instance-types/trn1/) Ces charges de travail sont prises en charge par la planification par lots avec des outils tels que [Volcano](https://volcano.sh/en/#home_slider), [Yunikorn](https://yunikorn.apache.org/) et [Kueue](https://kueue.sigs.k8s.io/). [Amazon EFS](https://aws.amazon.com/efs/) permet de partager les points de contrôle des modèles, tandis qu'[Amazon S3](https://aws.amazon.com/s3/) gère les politiques relatives au cycle de vie import/export des modèles pour la gestion des versions.
+ **Fénération à enrichissement contextuel (RAG) :** EKS gère les chatbots de support client et les applications similaires en intégrant des processus de récupération et de génération. [https://weaviate.io/](https://weaviate.io/) [NVIDIA NIM](https://docs.nvidia.com/nim/index.html) optimise l’utilisation du GPU, tandis que [Prometheus](prometheus.md) et [Grafana](https://aws.amazon.com/grafana/) surveillent l’utilisation des ressources.
+ **Déploiementde modèles d’IA générative** : Les entreprises déploient des services de création de contenu en temps réel sur EKS, tels que la génération de texte ou d’images, à l’aide de [Ray Serve](https://docs.ray.io/en/latest/serve/index.html), [vLLM](https://github.com/vllm-project/vllm) et [Triton Inference Server](https://aws.amazon.com/blogs/containers/quora-3x-faster-machine-learning-25-lower-costs-with-nvidia-triton-on-amazon-eks/) sur Amazon EC2[ G5](https://aws.amazon.com/ec2/instance-types/g5/) et les accélérateurs [Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/). Ces déploiements optimisent les performances et l'utilisation de la mémoire pour les modèles à grande échelle. [JupyterHub](https://jupyter.org/hub)permet le développement itératif, [Gradius](https://www.gradio.app/) fournit des interfaces Web simples et le [pilote S3 Mountpoint CSI](s3-csi.md) permet de monter des compartiments S3 en tant que systèmes de fichiers pour accéder à des fichiers de modèles volumineux.
+ **Inférence par lots (hors ligne)** : les organisations traitent efficacement de grands jeux de données grâce à des tâches planifiées avec [AWS Batch](https://docs.aws.amazon.com/batch/latest/userguide/what-is-batch.html) ou [Volcano](https://volcano.sh/en/docs/schduler_introduction/). Ces charges de travail utilisent souvent des instances [Inf1](https://aws.amazon.com/ec2/instance-types/inf1/) et [Inf2 EC2](https://aws.amazon.com/ec2/instance-types/inf2/) pour les puces AWS [Inferentia,](https://aws.amazon.com/ai/machine-learning/inferentia/) des instances Amazon EC2 [G4dn](https://aws.amazon.com/ec2/instance-types/g4/) pour NVIDIA T4 ou des instances de processeur [c5 et [c6i GPUs](https://aws.amazon.com/ec2/instance-types/c6i)](https://aws.amazon.com/ec2/instance-types/c5/), maximisant ainsi l'utilisation des ressources pendant les heures creuses pour les tâches d'analyse. Le [SDK AWS Neuron](https://aws.amazon.com/ai/machine-learning/neuron/) et les pilotes GPU NVIDIA optimisent les performances, tout en MIG/TS permettant le partage du GPU. Les solutions de stockage incluent [Amazon S3](https://aws.amazon.com/s3/), Amazon [EFS](https://aws.amazon.com/efs/) et [FSx pour Lustre](https://aws.amazon.com/fsx/lustre/), avec des pilotes CSI pour différentes classes de stockage. La gestion des modèles s’appuie sur des outils tels que [Kubeflow Pipelines](https://www.kubeflow.org/docs/components/pipelines/), [Argo Workflows](https://argoproj.github.io/workflows/) et [Ray Cluster](https://docs.ray.io/en/latest/cluster/getting-started.html), tandis que la surveillance est assurée par [Prometheus](prometheus.md), [Grafana](https://aws.amazon.com/grafana/) et des outils de surveillance des modèles personnalisés.
## Études de cas
Les clients choisissent Amazon EKS pour diverses raisons, telles que l’optimisation de l’utilisation des GPU ou l’exécution de charges de travail d’inférence en temps réel avec une latence inférieure à la seconde, comme le montrent les études de cas suivantes. Pour obtenir la liste de toutes les études de cas relatives à Amazon EKS, consultez la rubrique [Témoignages clients AWS](https://aws.amazon.com/solutions/case-studies/browse-customer-success-stories/?refid=cr_card&customer-references-cards.sort-by=item.additionalFields.sortDate&customer-references-cards.sort-order=desc&awsf.customer-references-location=*all&awsf.customer-references-industry=*all&awsf.customer-references-use-case=*all&awsf.language=language%23english&awsf.customer-references-segment=*all&awsf.content-type=*all&awsf.customer-references-product=product%23eks&awsm.page-customer-references-cards=1).
+ [Unitary](https://aws.amazon.com/solutions/case-studies/unitary-eks-case-study/?did=cr_card&trk=cr_card) traite quotidiennement 26 millions de vidéos à l’aide de l’IA pour la modération de contenu, ce qui nécessite une inférence à haut débit et à faible latence. L’entreprise a réduit de 80 % le temps de démarrage des conteneurs, garantissant ainsi une réponse rapide aux événements de mise à l’échelle lorsque le trafic fluctue.
+ [Miro](https://aws.amazon.com/solutions/case-studies/miro-eks-case-study/), la plateforme de collaboration visuelle qui compte 70 millions d’utilisateurs dans le monde, a annoncé une réduction de 80 % de ses coûts informatiques par rapport à ses anciens clusters Kubernetes autogérés.
+ [Synthesia](https://aws.amazon.com/solutions/case-studies/synthesia-case-study/?did=cr_card&trk=cr_card), qui propose un service de création vidéo par IA générative permettant aux clients de créer des vidéos réalistes à partir de suggestions textuelles, a multiplié par 30 le débit de l’entraînement de ses modèles de machine learning.
+ [Harri](https://aws.amazon.com/solutions/case-studies/harri-eks-case-study/?did=cr_card&trk=cr_card), fournisseur de technologies RH pour le secteur de l’hôtellerie, a accéléré de 90 % sa mise à l’échelle en réponse aux pics de demande et a réduit ses coûts de calcul de 30 % en migrant vers les [processeurs AWS Graviton](https://aws.amazon.com/ec2/graviton/).
+ [Ada Support](https://aws.amazon.com/solutions/case-studies/ada-support-eks-case-study/), une entreprise spécialisée dans l’automatisation du service client grâce à l’intelligence artificielle, a réduit ses coûts informatiques de 15 % tout en augmentant son efficacité informatique de 30 %.
+ [Snorkel AI](https://aws.amazon.com/blogs/startups/how-snorkel-ai-achieved-over-40-cost-savings-by-scaling-machine-learning-workloads-using-amazon-eks/), qui permet aux entreprises de créer et d’adapter des modèles de base et des modèles linguistiques à grande échelle, a réalisé plus de 40 % d’économies en mettant en œuvre des mécanismes de mise à l’échelle intelligents pour ses ressources GPU.
## Commencez à utiliser Machine learning sur EKS
Pour commencer à planifier et à utiliser les plateformes et les charges de travail de Machine Learning sur EKS AWS dans le cloud, passez à la [Ressources pour démarrer avec l’IA/ML sur Amazon EKS](ml-resources.md) section.