Plugins e opções compatíveis para pipelines OpenSearch de ingestão da Amazon - OpenSearch Serviço Amazon
Plug-ins compatíveisProcessadores sem estado x processadores com estadoRequisitos e restrições de configuração

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Plugins e opções compatíveis para pipelines OpenSearch de ingestão da Amazon

O Amazon OpenSearch Ingestion oferece suporte a um subconjunto de fontes, processadores e coletores em comparação com o Data Prepper de código aberto. Além disso, há algumas restrições que o OpenSearch Inestion impõe às opções disponíveis para cada plug-in compatível. As seções a seguir descrevem os plug-ins e as opções associadas compatíveis com o OpenSearch Inestion.

nota

OpenSearch A ingestão não oferece suporte a nenhum plug-in de buffer porque configura automaticamente um buffer padrão. Você receberá um erro de validação se incluir um buffer na configuração do pipeline.

Plug-ins compatíveis

OpenSearch O Inestion é compatível com os seguintes plug-ins do Data Prepper:

Sources (Origens):

Processadores:

Coletores:

  • OpenSearch(compatível com OpenSearch Service, OpenSearch Serverless e Elasticsearch 6.8 ou posterior)

  • S3

Codecs Sink:

Processadores sem estado x processadores com estado

Os processadores sem estado realizam operações como transformações e filtragem, enquanto os processadores com estado realizam operações como agregações, que lembram o resultado da execução anterior. OpenSearch A ingestão suporta os processadores com estado Aggregate e Service-MAP. Todos os outros processadores compatíveis são sem estado.

Para pipelines que contêm somente processadores sem estado, o limite máximo de capacidade é 96 de ingestão. OCUs Se um pipeline contiver algum processador com estado, o limite máximo de capacidade será 48 de ingestãoOCUs. No entanto, se um pipeline tiver o buffer persistente ativado, ele poderá ter no máximo 384 Ingestão OCUs com apenas processadores sem estado ou 192 Ingestão OCUs se contiver algum processador com estado. Para obter mais informações, consulte Pipelines de escalabilidade.

O nd-to-end reconhecimento E só é suportado para processadores sem estado. Para obter mais informações, consulte End-to-end reconhecimento.

Requisitos e restrições de configuração

A menos que especificado de outra forma abaixo, todas as opções descritas na referência de configuração do Data Prepper para os plug-ins compatíveis listados acima são permitidas nos pipelines OpenSearch de ingestão. As seções a seguir explicam as restrições que o OpenSearch Inestion impõe a determinadas opções de plug-in.

nota

OpenSearch A ingestão não oferece suporte a nenhum plug-in de buffer porque configura automaticamente um buffer padrão. Você receberá um erro de validação se incluir um buffer na configuração do pipeline.

Muitas opções são configuradas e gerenciadas internamente pelo OpenSearch Inestion, como e. authentication acm_certificate_arn Outras opções, como thread_count e request_timeout, sofrem impactos no desempenho se alteradas manualmente. Portanto, esses valores são definidos internamente para garantir o desempenho ideal de seus pipelines.

Por fim, algumas opções não podem ser passadas para a OpenSearch Ingestão, como ism_policy_file esink_template, porque são arquivos locais quando executados no Data Prepper de código aberto. Não oferece suporte a esses valores.

Opções gerais de pipeline

As seguintes opções gerais de pipeline são definidas pela OpenSearch Ingestão e não são suportadas nas configurações de pipeline:

  • workers

  • delay

Processador Grok

As seguintes opções do processador Grok não são compatíveis:

  • patterns_directories

  • patterns_files_glob

HTTPfonte

O plug-in de HTTPorigem tem os seguintes requisitos e restrições:

  • A opção path é obrigatória. O caminho é uma string/log/ingest, como, que representa o URI caminho para a ingestão de registros. Esse caminho define o URI que você usa para enviar dados ao pipeline. Por exemplo, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. O caminho deve começar com uma barra (/) e pode conter os caracteres especiais '-', '_', ' . 'e'/', bem como o placeholder ${pipelineName}.

  • As seguintes opções HTTP de origem são definidas pelo OpenSearch Ingestion e não são compatíveis com as configurações de pipeline:

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch pia

O plug-in OpenSearchsink tem os seguintes requisitos e limitações.

  • A opção aws é obrigatória e deve conter as opções a seguir.

    • sts_role_arn

    • region

    • hosts

    • serverless(se o coletor for uma OpenSearch coleção sem servidor)

  • A sts_role_arn opção deve apontar para a mesma função para cada coletor em um arquivo YAML de definição.

  • A hosts opção deve especificar um endpoint OpenSearch de domínio de serviço ou um endpoint de coleta OpenSearch sem servidor. Você não pode especificar um endpoint personalizado para um domínio; ele deve ser o endpoint padrão.

  • Se a opção hosts for um endpoint de coleta de tecnologia sem servidor, você deverá definir a opção serverless como true. Além disso, se o arquivo de YAML definição contiver a index_type opção, ela deverá ser definida comomanagement_disabled, caso contrário, a validação falhará.

  • As seguintes opções não são compatíveis:

    • username

    • password

    • cert

    • proxy

    • dlq_file- Se você quiser transferir eventos com falha para uma fila de letras mortas (DLQ), você deve usar a dlq opção e especificar um bucket do S3.

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

    • bulk_size

OTelfonte de métricas, fonte de OTel rastreamento e origem OTel de registros

Os plug-ins de origem de OTelmétricas, origem de OTelrastreamento e origem de OTelregistros têm os seguintes requisitos e limitações:

  • A opção path é obrigatória. O caminho é uma string/log/ingest, como, que representa o URI caminho para a ingestão de registros. Esse caminho define o URI que você usa para enviar dados ao pipeline. Por exemplo, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. O caminho deve começar com uma barra (/) e pode conter os caracteres especiais '-', '_', ' . 'e'/', bem como o placeholder ${pipelineName}.

  • As opções a seguir são definidas pelo OpenSearch Ingestion e não são compatíveis com as configurações de pipeline:

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

OTelprocessador de grupos de rastreamento

O processador do grupo de OTel rastreamento tem os seguintes requisitos e limitações:

  • A opção aws é obrigatória e deve conter as opções a seguir.

    • sts_role_arn

    • region

    • hosts

  • A sts_role_arn opção especifica a mesma função do pipeline que você especifica na configuração do OpenSearch coletor.

  • As opções username, password, cert e insecure não são compatíveis.

  • A opção aws_sigv4 é obrigatória e deve ser definida como verdadeira.

  • A serverless opção dentro do plug-in do OpenSearch coletor não é suportada. Atualmente, o processador de grupos de rastreamento da Otel não funciona com coleções sem OpenSearch servidor.

  • O número de processadores otel_trace_group dentro do corpo de configuração do pipeline não pode exceder 8.

OTelprocessador de rastreamento

O processador de OTelrastreamento tem os seguintes requisitos e limitações:

  • O valor da opção trace_flush_interval não pode exceder 300 segundos.

Processador de mapas de serviços

O processador Service-map (Mapa de serviços) apresenta os seguintes requisitos e limitações:

  • O valor da opção window_duration não pode exceder 300 segundos.

Origem do S3

O plug-in de origem do S3 tem os seguintes requisitos e limitações:

  • A opção aws é obrigatória e deve conter as opções region e sts_role_arn.

  • O valor da opção records_to_accumulate não pode exceder 200.

  • O valor da opção maximum_messages não pode exceder 10.

  • Se especificada, a opção disable_bucket_ownership_validation deve ser definida como falsa.

  • Se especificada, a opção input_serialization deve ser definida como parquet.