Plug-ins et options pris en charge pour les pipelines OpenSearch Amazon Ingestion - Amazon OpenSearch Service
Plugins pris en chargeProcesseurs apatrides et processeurs dynamiquesExigences et contraintes de configuration

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Plug-ins et options pris en charge pour les pipelines OpenSearch Amazon Ingestion

Amazon OpenSearch Ingestion prend en charge un sous-ensemble de sources, de processeurs et de récepteurs par rapport à Data Prepper open source. En outre, OpenSearch Ingestion impose certaines contraintes aux options disponibles pour chaque plugin pris en charge. Les sections suivantes décrivent les plugins et les options associées pris en charge OpenSearch par Ingestion.

Note

OpenSearch Ingestion ne prend en charge aucun plug-in de mémoire tampon car elle configure automatiquement une mémoire tampon par défaut. Vous recevez une erreur de validation si vous incluez une mémoire tampon dans la configuration de votre pipeline.

Plugins pris en charge

OpenSearch Ingestion prend en charge les plug-ins Data Prepper suivants :

Les sources :

Processeurs :

Éviers :

  • OpenSearch(prend en charge OpenSearch Service, OpenSearch Serverless et Elasticsearch 6.8 ou version ultérieure)

  • S3

Codecs Sink :

Processeurs apatrides et processeurs dynamiques

Les processeurs sans état exécutent des opérations telles que les transformations et le filtrage, tandis que les processeurs statiques exécutent des opérations telles que des agrégations, qui mémorisent le résultat de l'exécution précédente. OpenSearch L'ingestion prend en charge les processeurs dynamiques Aggregate et Service-MAP. Tous les autres processeurs pris en charge sont apatrides.

Pour les pipelines contenant uniquement des processeurs apatrides, la limite de capacité maximale est de 96 ingestions. OCUs Si un pipeline contient des processeurs dynamiques, la limite de capacité maximale est de 48 OCUs ingestions. Toutefois, si la mise en mémoire tampon persistante est activée sur un pipeline, il peut avoir un maximum de 384 ingestions OCUs avec uniquement des processeurs sans état, ou de 192 ingestions OCUs s'il contient des processeurs statiques. Pour de plus amples informations, veuillez consulter Dimensionnement des pipelines.

End-to-end l'accusé de réception n'est pris en charge que pour les processeurs sans état. Pour de plus amples informations, veuillez consulter End-to-end accusé de réception.

Exigences et contraintes de configuration

Sauf indication contraire ci-dessous, toutes les options décrites dans la référence de configuration de Data Prepper pour les plug-ins pris en charge répertoriés ci-dessus sont autorisées dans les pipelines OpenSearch d'ingestion. Les sections suivantes expliquent les contraintes imposées OpenSearch par Ingestion à certaines options du plugin.

Note

OpenSearch Ingestion ne prend en charge aucun plug-in de mémoire tampon car elle configure automatiquement une mémoire tampon par défaut. Vous recevez une erreur de validation si vous incluez une mémoire tampon dans la configuration de votre pipeline.

De nombreuses options sont configurées et gérées en interne par OpenSearch Ingestion, telles que authentication etacm_certificate_arn. D'autres options, telles que thread_count etrequest_timeout, ont un impact sur les performances si elles sont modifiées manuellement. Par conséquent, ces valeurs sont définies en interne afin de garantir des performances optimales de vos pipelines.

Enfin, certaines options ne peuvent pas être transmises à OpenSearch Ingestion, comme ism_policy_file etsink_template, car il s'agit de fichiers locaux lorsqu'ils sont exécutés dans Data Prepper open source. Ces valeurs ne sont pas prises en charge.

Options générales en matière de pipeline

Les options générales de pipeline suivantes sont définies par OpenSearch Ingestion et ne sont pas prises en charge dans les configurations de pipeline :

  • workers

  • delay

Processeur Grok

Les options de processeur Grok suivantes ne sont pas prises en charge :

  • patterns_directories

  • patterns_files_glob

HTTPsource

Le plugin HTTPsource présente les exigences et contraintes suivantes :

  • L'pathoption est obligatoire. Le chemin est une chaîne telle que/log/ingest, qui représente le URI chemin d'ingestion du journal. Ce chemin définit le chemin URI que vous utilisez pour envoyer des données au pipeline. Par exemple, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Le chemin doit commencer par une barre oblique (/) et peut contenir les caractères spéciaux « - », « _ », « » . ', et'/', ainsi que l'${pipelineName}espace réservé.

  • Les options de HTTP source suivantes sont définies par OpenSearch Ingestion et ne sont pas prises en charge dans les configurations de pipeline :

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch évier

Le plugin OpenSearchsink présente les exigences et limites suivantes.

  • L'awsoption est obligatoire et doit contenir les options suivantes :

    • sts_role_arn

    • region

    • hosts

    • serverless(si le récepteur est une collection OpenSearch sans serveur)

  • L'sts_role_arnoption doit pointer vers le même rôle pour chaque récepteur dans un fichier de YAML définition.

  • L'hostsoption doit spécifier un point de terminaison OpenSearch de domaine de service ou un point de terminaison de collecte OpenSearch sans serveur. Vous ne pouvez pas spécifier de point de terminaison personnalisé pour un domaine ; il doit s'agir du point de terminaison standard.

  • Si l'hostsoption est un point de terminaison de collecte sans serveur, vous devez définir l'serverlessoption surtrue. De plus, si votre fichier de YAML définition contient l'index_typeoption, elle doit être définie surmanagement_disabled, sinon la validation échoue.

  • Les options suivantes ne sont pas prises en charge :

    • username

    • password

    • cert

    • proxy

    • dlq_file- Si vous souhaitez transférer les événements ayant échoué vers une file d'attente lettre morte (DLQ), vous devez utiliser l'dlqoption et spécifier un compartiment S3.

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

    • bulk_size

OTelsource des métriques, source de OTel trace et source OTel des journaux

Les plug-ins source de OTelmétriques, source de OTeltrace et source de OTeljournaux présentent les exigences et limites suivantes :

  • L'pathoption est obligatoire. Le chemin est une chaîne telle que/log/ingest, qui représente le URI chemin d'ingestion du journal. Ce chemin définit le chemin URI que vous utilisez pour envoyer des données au pipeline. Par exemple, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Le chemin doit commencer par une barre oblique (/) et peut contenir les caractères spéciaux « - », « _ », « » . ', et'/', ainsi que l'${pipelineName}espace réservé.

  • Les options suivantes sont définies par OpenSearch Ingestion et ne sont pas prises en charge dans les configurations de pipeline :

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

OTelprocesseur de groupe de traces

Le processeur de groupe de OTel traces présente les exigences et limites suivantes :

  • L'awsoption est obligatoire et doit contenir les options suivantes :

    • sts_role_arn

    • region

    • hosts

  • L'sts_role_arnoption spécifie le même rôle que le rôle de pipeline que vous spécifiez dans la configuration du OpenSearch récepteur.

  • Les insecure optionsusername, passwordcert, et ne sont pas prises en charge.

  • L'aws_sigv4option est obligatoire et doit être définie sur true.

  • L'serverlessoption du plugin OpenSearch sink n'est pas prise en charge. Le processeur de groupe de traces Otel ne fonctionne pas actuellement avec les collections OpenSearch sans serveur.

  • Le nombre de otel_trace_group processeurs dans le corps de configuration du pipeline ne peut pas dépasser 8.

OTelprocesseur de traçage

Le processeur de OTelsuivi présente les exigences et limites suivantes :

  • La valeur de l'trace_flush_intervaloption ne peut pas dépasser 300 secondes.

Processeur Service-Map

Le processeur Service-Map présente les exigences et limites suivantes :

  • La valeur de l'window_durationoption ne peut pas dépasser 300 secondes.

Source S3

Le plugin source S3 présente les exigences et limites suivantes :

  • L'awsoption est obligatoire et doit contenir region des sts_role_arn options.

  • La valeur de l'records_to_accumulateoption ne peut pas dépasser 200.

  • La valeur de l'maximum_messagesoption ne peut pas dépasser 10.

  • Si elle est spécifiée, l'disable_bucket_ownership_validationoption doit être définie sur false.

  • Si elle est spécifiée, l'input_serializationoption doit être définie surparquet.