Amazon OpenSearch Ingestion パイプラインでサポートされているプラグインとオプション - Amazon OpenSearch サービス
サポートされているプラグインステートレスプロセッサとステートフルプロセッサ設定の要件と制限

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon OpenSearch Ingestion パイプラインでサポートされているプラグインとオプション

Amazon OpenSearch Ingestion は、オープンソース Data Prepper と比較して、ソース、プロセッサ、シンクのサブセットをサポートしています。さらに、サポートされているプラグインごとに利用可能なオプションに Ingestion OpenSearch が置く制約があります。以下のセクションでは、 OpenSearch Ingestion がサポートするプラグインと関連するオプションについて説明します。

注記

OpenSearch 取り込みは、デフォルトのバッファを自動的に設定するため、バッファプラグインをサポートしていません。パイプラインの設定にバッファーを含めると、検証エラーが発生します。

サポートされているプラグイン

OpenSearch Ingestion は、次の Data Prepper プラグインをサポートしています。

ソース:

プロセッサ:

シンク:

  • OpenSearch ( OpenSearch Service、 OpenSearch Serverless、Elasticsearch 6.8 以降をサポート）

  • S3

シンクコーデック:

ステートレスプロセッサとステートフルプロセッサ

ステートレスプロセッサは変換やフィルタリングなどのオペレーションを実行し、ステートフルプロセッサは以前の実行結果を記憶する集約などのオペレーションを実行します。 OpenSearch 取り込みはステートフルプロセッサの集約とサービスマップ をサポートします。その他のサポートされているプロセッサは、すべてステートレスです。

ステートレスプロセッサのみを含むパイプラインの場合、最大容量制限は 96 取り込み ですOCUs。パイプラインにステートフルプロセッサが含まれている場合、最大容量制限は 48 取り込み ですOCUs。ただし、パイプラインで永続的バッファリングが有効になっている場合、ステートレスプロセッサのみOCUsを使用して最大 384 の取り込み、またはステートフルプロセッサが含まれているOCUs場合は 192 の取り込みが可能です。詳細については、「パイプラインのスケーリング」を参照してください。

End-to-end 確認はステートレスプロセッサでのみサポートされています。詳細については、「End-to-end 確認」を参照してください。

設定の要件と制限

以下に特に指定しない限り、上記のサポートされているプラグインの Data Prepper OpenSearch 設定リファレンスに記載されているすべてのオプションは、取り込みパイプラインで許可されます。以下のセクションでは、Ingestion OpenSearch が特定のプラグインオプションに配置する制約について説明します。

注記

OpenSearch 取り込みは、デフォルトのバッファを自動的に設定するため、バッファプラグインをサポートしていません。パイプラインの設定にバッファーを含めると、検証エラーが発生します。

や など、多くのオプションは OpenSearch 取り込みによって内部的に設定authenticationおよび管理されますacm_certificate_arn。thread_count や request_timeout など、その他のオプションは、手動で変更するとパフォーマンスに影響します。したがって、これらの値は、パイプラインの最適なパフォーマンスを確保するために内部で設定されます。

最後に、 ism_policy_fileや などの一部のオプションは、オープンソースの Data Prepper OpenSearch で実行されるとローカルファイルであるためsink_template、取り込みに渡せません。こうした値はサポートされていません。

一般的なパイプラインのオプション

次の一般的なパイプラインオプションは Ingestion OpenSearch によって設定され、パイプライン設定ではサポートされていません。

  • workers

  • delay

Grok プロセッサ

以下の Grok プロセッサオプションはサポートされていません。

  • patterns_directories

  • patterns_files_glob

HTTP ソース

HTTP ソースプラグインには、以下の要件と制約があります。

  • path のオプションは必須です。パスは、ログ取り込みのURIパスを表す /log/ingestなどの文字列です。このパスURIは、パイプラインにデータを送信するために使用する を定義します。例えば、https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest と指定します。パスは、スラッシュ (/) から開始し、「-」、「_」、「.」、「/」などの特殊文字や ${pipelineName} プレースホルダーを含めることができます。

  • 次のHTTPソースオプションは OpenSearch 取り込みによって設定され、パイプライン設定ではサポートされていません。

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch シンク

OpenSearch シンクプラグインには、以下の要件と制限があります。

  • aws のオプションは必須であり、次のオプションを含んでいる必要があります。

    • sts_role_arn

    • region

    • hosts

    • serverless (シンクが OpenSearch サーバーレスコレクションの場合）

  • sts_role_arn オプションは、YAML定義ファイル内の各シンクで同じロールを指す必要があります。

  • hosts オプションでは、 OpenSearch サービスドメインエンドポイントまたは OpenSearch サーバーレスコレクションエンドポイントを指定する必要があります。ドメインのカスタムエンドポイントは指定できません。こちらは、標準エンドポイントでなければなりません。

  • hosts のオプションがサーバーレスコレクションのエンドポイントである場合は、serverless のオプションを true に設定する必要があります。さらに、YAML定義ファイルに index_typeオプションが含まれている場合は、 に設定する必要があります。設定されていない場合management_disabled、検証は失敗します。

  • 次のオプションはサポートされていません。

    • username

    • password

    • cert

    • proxy

    • dlq_file - 失敗したイベントをデッドレターキュー (DLQ) にオフロードする場合は、 dlqオプションを使用して S3 バケットを指定する必要があります。

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

    • bulk_size

OTel メトリクスソース、OTelトレースソース、OTelログソース

OTel メトリクスソース、OTelトレースソース、OTelログソースプラグインには、以下の要件と制限があります。

  • path のオプションは必須です。パスは、ログ取り込みのURIパスを表す /log/ingestなどの文字列です。このパスURIは、パイプラインにデータを送信するために使用する を定義します。例えば、https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest と指定します。パスは、スラッシュ (/) から開始し、「-」、「_」、「.」、「/」などの特殊文字や ${pipelineName} プレースホルダーを含めることができます。

  • 次のオプションは OpenSearch 取り込みによって設定され、パイプライン設定ではサポートされていません。

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

OTel トレースグループプロセッサ

OTel トレースグループプロセッサには、次の要件と制限があります。

  • aws のオプションは必須であり、次のオプションを含んでいる必要があります。

    • sts_role_arn

    • region

    • hosts

  • sts_role_arn オプションは、 OpenSearch シンク設定で指定したパイプラインロールと同じロールを指定します。

  • username、password、cert、insecure のオプションはサポートされていません。

  • aws_sigv4 のオプションは必須であり、true に設定する必要があります。

  • OpenSearch シンクプラグイン内のserverlessオプションはサポートされていません。Otel トレースグループプロセッサは現在、 OpenSearch Serverless コレクションでは動作しません。

  • パイプライン設定本体内の otel_trace_group プロセッサの数は、8 を超えることはできません。

OTel トレースプロセッサ

OTel トレースプロセッサには、以下の要件と制限があります。

  • trace_flush_interval オプションの値は、300 秒を超えることはできません。

サービスマッププロセッサ

サービスマッププロセッサには、次の要件および制限があります。

  • window_duration オプションの値は、300 秒を超えることはできません。

S3 ソース

S3 ソースのプラグインには、次の要件および制限があります。

  • aws のオプションは必須であり、region と sts_role_arn のオプションを含んでいる必要があります。

  • records_to_accumulate オプションの値は、200 を超えることはできません。

  • maximum_messages オプションの値は、10 を超えることはできません。

  • 指定する場合は、disable_bucket_ownership_validation オプションを false に設定する必要があります。

  • 指定する場合は、input_serialization オプションを parquet に設定する必要があります。