Trabalhando com integrações de pipeline OpenSearch de ingestão da Amazon - OpenSearch Serviço Amazon
Criar o endpoint de ingestãoCriação de uma função de ingestãoPróximas etapas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Trabalhando com integrações de pipeline OpenSearch de ingestão da Amazon

Para ingerir dados com sucesso em um pipeline de OpenSearch ingestão da Amazon, você deve configurar seu aplicativo cliente (a fonte) para enviar dados para o endpoint do pipeline. Sua fonte pode ser clientes como os registros do Fluent Bit, o OpenTelemetry Collector ou um simples bucket S3. A configuração exata é diferente para cada cliente.

As diferenças importantes durante a configuração da fonte (em comparação com o envio de dados diretamente para um domínio de OpenSearch serviço ou coleção OpenSearch sem servidor) são o nome do AWS serviço (osis) e o endpoint do host, que deve ser o endpoint do pipeline.

Tópicos

Criar o endpoint de ingestão

Para ingerir dados em um pipeline, envie-os para o endpoint de ingestão. Para localizar a ingestãoURL, navegue até a página de configurações do Pipeline e copie a ingestão: URL

Pipeline settings page showing details for ingestion-pipeline, including status and ingestion URL.

Para criar o endpoint de ingestão completo para fontes baseadas em pull, como OTelrastreamento e OTelmétricas, adicione o caminho de ingestão da configuração do pipeline à ingestão. URL

Por exemplo, digamos que a configuração do pipeline tem o seguinte caminho de ingestão:

entry-pipeline:
  source:
    http:
      path: "/my/test_path"

O endpoint de ingestão completo, que você especifica na configuração do seu cliente, terá o seguinte formato: https://ingestion-pipeline-abcdefg.us-west-2.osis.amazonaws.com/my/test_path.

Para obter mais informações, consulte Como especificar o caminho de ingestão.

Criação de uma função de ingestão

Todas as solicitações de OpenSearch ingestão devem ser assinadas com o Signature versão 4. No mínimo, a função que assina a solicitação deve receber permissão para a osis:Ingest ação, o que permite que ela envie dados para um pipeline OpenSearch de ingestão.

Por exemplo, a política a seguir AWS Identity and Access Management (IAM) permite que a função correspondente envie dados para um único pipeline:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "osis:Ingest",
      "Resource": "arn:aws:osis:us-east-1:{account-id}:pipeline/pipeline-name"
    }
  ]
}
nota

Para usar a função em todos os pipelines, substitua o ARN no Resource elemento por um caractere curinga (*).

Concessão de acesso de ingestão entre contas

nota

Você só pode fornecer acesso de ingestão entre contas para pipelines públicos, não para pipelines. VPC

Talvez seja necessário ingerir dados em um pipeline de outro Conta da AWS, como uma conta que hospeda seu aplicativo de origem. Se o principal que está gravando em um pipeline estiver em uma conta diferente do próprio pipeline, você precisará configurar o principal para confiar em outra IAM função para ingerir dados no pipeline.

Como configurar permissões de ingestão entre contas

  1. Crie a função de ingestão com osis:Ingest permissão (descrita na seção anterior) dentro da Conta da AWS mesma função do pipeline. Para obter instruções, consulte Criação de IAM funções.

  2. Vincule uma política de confiança à função de ingestão que permita que uma entidade principal em outra conta a assuma:

    {
  "Version": "2012-10-17",
  "Statement": [{
     "Effect": "Allow",
     "Principal": {
       "AWS": "arn:aws:iam::{external-account-id}:root"
      },
     "Action": "sts:AssumeRole"
  }]
}

  3. Na outra conta, configure seu aplicativo cliente (por exemplo, Fluent Bit) para assumir a função de ingestão. Para que isso funcione, a conta do aplicativo deve conceder permissões ao usuário ou à função do aplicativo para assumir a função de ingestão.

    O exemplo a seguir de política baseada em identidade permite que a entidade principal anexada assuma o ingestion-role a partir da conta do pipeline:

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "sts:AssumeRole",
      "Resource": "arn:aws:iam::{account-id}:role/ingestion-role"
    }
  ]
}

O aplicativo cliente pode então usar a AssumeRoleoperação para assumir ingestion-role e ingerir dados no pipeline associado.

Próximas etapas

Depois de exportar seus dados para um pipeline, você pode consultá-los no domínio OpenSearch Service que está configurado como um coletor para o pipeline. Os seguintes recursos podem ajudá-lo a começar: