Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

# Amazon Kendra robot d'exploration Web
<a name="data-source-web-crawler"></a>

Vous pouvez utiliser Amazon Kendra Web Crawler pour explorer et indexer des pages Web.

Vous ne pouvez explorer que les sites Web destinés au public ou les sites Web internes de l'entreprise qui utilisent le protocole de communication sécurisé Hypertext Transfer Protocol Secure (HTTPS). Si vous recevez un message d’erreur lors de l’indexation d’un site web, cela signifie peut-être que l’indexation du site web est bloquée. Pour indexer des sites Web internes, vous pouvez configurer un proxy Web. Le proxy Web doit être accessible au public. Vous pouvez également utiliser l’authentification pour accéder à des sites Web et les indexer.

*Lorsque vous sélectionnez des sites web à indexer, vous devez respecter les [Politiques d'Amazon en matière d'utilisation acceptable](https://aws.amazon.com/aup/) et toutes les autres conditions d'Amazon. N'oubliez pas que vous ne devez utiliser Amazon Kendra Web Crawler que pour indexer vos propres pages Web ou les pages Web que vous êtes autorisé à indexer. Pour savoir comment empêcher Amazon Kendra Web Crawler d'indexer vos sites Web, consultez. [Configuration du `robots.txt` fichier pour Amazon Kendra Web Crawler](stop-web-crawler.md)*

**Note**  
L'utilisation abusive de Amazon Kendra Web Crawler pour explorer agressivement des sites Web ou des pages Web qui ne vous appartiennent pas n'est **pas** considérée comme une utilisation acceptable.

Amazon Kendra possède deux versions du web crawler connecteur. Les fonctionnalités prises en charge par chaque version incluent :

**Amazon Kendra Connecteur Web Crawler v1.0/API [https://docs.aws.amazon.com/kendra/latest/dg/API_WebCrawlerConfiguration.html](https://docs.aws.amazon.com/kendra/latest/dg/API_WebCrawlerConfiguration.html)**
+ Proxy Web
+ Filtres d’inclusion et d’exclusion

**Amazon Kendra Connecteur Web Crawler v2.0/API [https://docs.aws.amazon.com/kendra/latest/dg/API_TemplateConfiguration.html](https://docs.aws.amazon.com/kendra/latest/dg/API_TemplateConfiguration.html)**
+ Mappages de champs
+ Filtres d’inclusion et d’exclusion
+ Synchronisation complète et incrémentielle du contenu
+ Proxy Web
+ Authentification de base, NTLM/Kerberos, SAML et par formulaire pour vos sites Web
+ Cloud privé virtuel (VPC)

**Important**  
La création de connecteurs Web Crawler v2.0 n'est pas prise en charge par. CloudFormation Utilisez le connecteur Web Crawler v1.0 si vous avez besoin d' CloudFormation assistance.

Pour résoudre les problèmes liés au connecteur de source de données de votre robot d'exploration Amazon Kendra Web, consultez[Dépannage des sources de données](troubleshooting-data-sources.md).

**Topics**
+ [Amazon Kendra Connecteur Web Crawler v1.0](data-source-v1-web-crawler.md)
+ [Amazon Kendra Connecteur Web Crawler v2.0](data-source-v2-web-crawler.md)
+ [Configuration du `robots.txt` fichier pour Amazon Kendra Web Crawler](stop-web-crawler.md)