Amazon OpenSearch Ingestion 管道支援的外掛程式和選項 - Amazon OpenSearch Service
支援的外掛程式無狀態處理器與具狀態處理器組態需求和限制條件

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon OpenSearch Ingestion 管道支援的外掛程式和選項

相較於開放原始碼 Data Prepper，Amazon OpenSearch Ingestion 支援部分來源、處理器和接收器。此外， OpenSearch 擷取會針對每個支援的外掛程式，將一些限制放在可用的選項上。下列各節說明 OpenSearch Ingestion 支援的外掛程式和相關選項。

注意

OpenSearch 擷取不支援任何緩衝區外掛程式，因為它會自動設定預設緩衝區。如果您在管道組態中包含緩衝區，則會收到驗證錯誤。

支援的外掛程式

OpenSearch 擷取支援下列 Data Prepper 外掛程式：

來源：

處理器：

接收器：

  • OpenSearch （支援 OpenSearch Service、 OpenSearch Serverless 和 Elasticsearch 6.8 或更新版本）

  • S3

接收轉碼器：

無狀態處理器與具狀態處理器

無狀態處理器會執行轉換和篩選等操作，而具狀態處理器會執行彙總等操作，以記住先前執行的結果。 OpenSearch Ingestion 支援具狀態處理器彙總和服務映射。所有其他支援的處理器都是無狀態處理器。

對於僅包含無狀態處理器的管道，最大容量限制為 96 擷取 OCUs。如果管道包含任何具狀態的處理器，則最大容量限制為 48 擷取 OCUs。不過，如果管道已啟用持久性緩衝，則最多只能OCUs使用無狀態處理器的 384 個擷取，OCUs如果包含任何具狀態的處理器，則最多可以有 192 個擷取。如需詳細資訊，請參閱擴展管道。

End-to-end 僅支援無狀態處理器的確認。如需詳細資訊，請參閱End-to-end 確認。

組態需求和限制條件

除非以下另有說明，否則上述支援外掛程式的資料準備程式組態參考中所述的所有選項都允許 OpenSearch 在擷取管道中。下列各節說明 OpenSearch 擷取對特定外掛程式選項的限制。

注意

OpenSearch 擷取不支援任何緩衝區外掛程式，因為它會自動設定預設緩衝區。如果您在管道組態中包含緩衝區，則會收到驗證錯誤。

許多選項是由 OpenSearch Ingestion 在內部設定和管理，例如 authentication和 acm_certificate_arn。如果手動變更request_timeout， thread_count和 等其他選項會影響效能。因此，這些值會在內部設定，以確保您管道的最佳效能。

最後，某些選項無法傳遞至 OpenSearch 擷取，例如 ism_policy_file和 sink_template，因為在開放原始碼 Data Prepper 中執行時，它們是本機檔案。不支援這些值。

一般管道選項

下列一般管道選項由 OpenSearch 擷取設定，管道組態不支援：

  • workers

  • delay

Grok 處理器

不支援下列 Grok 處理器選項：

  • patterns_directories

  • patterns_files_glob

HTTP 來源

HTTP 來源外掛程式有下列需求和限制：

  • 選項為必要path項目。路徑是字串，例如 /log/ingest，代表日誌擷取的URI路徑。此路徑會定義URI您用來將資料傳送至管道的 。例如：https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest。路徑必須以斜線 (/) 開頭，可包含特殊字元 '-'、'_'、'.' 和 '/'，以及${pipelineName}預留位置。

  • 下列HTTP來源選項是由 OpenSearch 擷取設定，管道組態不支援：

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch 接收器

OpenSearch 接收器外掛程式有下列需求和限制。

  • 選項為必要aws項目，且必須包含下列選項：

    • sts_role_arn

    • region

    • hosts

    • serverless （如果接收器是 Serverless OpenSearch 集合）

  • sts_role_arn 選項必須指向YAML定義檔案中每個接收的相同角色。

  • hosts 選項必須指定 OpenSearch Service 網域端點或 OpenSearch Serverless 集合端點。您無法指定網域的自訂端點；它必須是標準端點。

  • 如果 hosts選項是無伺服器集合端點，您必須將 serverless選項設定為 true。此外，如果您YAML的定義檔案包含 index_type選項，則必須將其設定為 management_disabled，否則驗證會失敗。

  • 不支援下列選項：

    • username

    • password

    • cert

    • proxy

    • dlq_file - 如果您想要將失敗的事件卸載至無效字母佇列 (DLQ)，您必須使用 dlq選項並指定 S3 儲存貯體。

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

    • bulk_size

OTel 指標來源、OTel追蹤來源和OTel日誌來源

OTel 指標來源、OTel追蹤來源和OTel日誌來源外掛程式有下列需求和限制：

  • 選項為必要path項目。路徑是字串，例如 /log/ingest，代表日誌擷取的URI路徑。此路徑會定義URI您用來將資料傳送至管道的 。例如：https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest。路徑必須以斜線 (/) 開頭，可包含特殊字元 '-'、'_'、'.' 和 '/'，以及${pipelineName}預留位置。

  • 下列選項是由 OpenSearch 擷取設定，管道組態不支援：

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

OTel 追蹤群組處理器

OTel 追蹤群組處理器有下列需求和限制：

  • 選項為必要aws，且必須包含下列選項：

    • sts_role_arn

    • region

    • hosts

  • sts_role_arn 選項會指定與您在 OpenSearch 接收器組態中指定的管道角色相同的角色。

  • 不支援 username、cert、 password和 insecure選項。

  • aws_sigv4 選項為必要項目，且必須設為 true。

  • 不支援 OpenSearch 接收器外掛程式中的 serverless選項。Otel 追蹤群組處理器目前不適用於 OpenSearch Serverless 集合。

  • 管道組態內文中的otel_trace_group處理器數量不能超過 8。

OTel 追蹤處理器

OTel 追蹤處理器有下列需求和限制：

  • trace_flush_interval 選項的值不得超過 300 秒。

Service-map 處理器

Service-map 處理器有下列需求和限制：

  • window_duration 選項的值不得超過 300 秒。

S3 來源

S3 來源外掛程式有下列需求和限制：

  • aws 選項為必要項目，且必須包含 region 和 sts_role_arn選項。

  • records_to_accumulate 選項的值不能超過 200。

  • maximum_messages 選項的值不能超過 10。

  • 如果指定，則 disable_bucket_ownership_validation選項必須設定為 false。

  • 如果指定，則 input_serialization選項必須設定為 parquet。