As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Envie dados de telemetria de AWS Lambda para OpenSearch para análise e visualização em tempo real
*Tabby Ward, Guy Bachar e David Kilzer, Amazon Web Services*
## Resumo
Os aplicativos modernos estão se tornando cada vez mais distribuídos e orientados por eventos, o que reforça a necessidade de monitoramento e observabilidade em tempo real. AWS Lambda é um serviço de computação sem servidor que desempenha um papel crucial na criação de arquiteturas escaláveis e orientadas por eventos. No entanto, monitorar e solucionar problemas de funções do Lambda pode ser um desafio se você confiar exclusivamente no Amazon CloudWatch Logs, que pode introduzir latência e períodos de retenção limitados.
Para enfrentar esse desafio, AWS introduziu a API de telemetria Lambda, que permite que as funções do Lambda enviem dados de telemetria diretamente para ferramentas de monitoramento e observabilidade de terceiros. Essa API oferece suporte a streaming em tempo real de logs, métricas e rastreamentos e fornece uma visão abrangente e oportuna da performance e da integridade de suas funções do Lambda.
Esse padrão explica como integrar a API de telemetria Lambda com [OpenSearch](https://opensearch.org/docs/latest/), que é um mecanismo de pesquisa e análise distribuído de código aberto. OpenSearch oferece uma plataforma poderosa e escalável para ingerir, armazenar e analisar grandes volumes de dados, o que a torna a escolha ideal para dados de telemetria Lambda. Especificamente, esse padrão demonstra como enviar registros de uma função do Lambda escrita em Python diretamente para OpenSearch um cluster usando uma extensão do Lambda fornecida pela. AWS Essa solução é flexível e personalizável, para que você possa criar sua própria extensão do Lambda ou alterar o código-fonte de amostra para alterar o formato de saída conforme desejado.
O padrão explica como instalar e configurar a integração da API de telemetria Lambda e inclui as melhores práticas de segurança OpenSearch, otimização de custos e escalabilidade. O objetivo é ajudar você a obter insights mais profundos sobre suas funções do Lambda e aprimorar a observabilidade geral de suas aplicações sem servidor.
|
|
| Observação: esse padrão se concentra na integração da API de telemetria Lambda com a API gerenciada. OpenSearch No entanto, os princípios e técnicas discutidos também são aplicáveis ao autogerenciamento OpenSearch e ao Elasticsearch. |
| --- |
## Pré-requisitos e limitações
Antes de iniciar o processo de integração, verifique se você tem os seguintes pré-requisitos:
**Conta da AWS**: um ativo Conta da AWS com as permissões apropriadas para criar e gerenciar os seguintes AWS recursos:
+ AWS Lambda
+ AWS Identity and Access Management (IAM)
+ Amazon OpenSearch Service (se você estiver usando um OpenSearch cluster gerenciado)
**OpenSearch cluster**:
+ Você pode usar um OpenSearch cluster autogerenciado existente ou um serviço gerenciado, como o OpenSearch Service.
+ Se você estiver usando o OpenSearch Serviço, configure seu OpenSearch cluster seguindo as instruções em [Introdução ao Amazon OpenSearch Service](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/gsg.html) na documentação do OpenSearch Serviço.
+ Certifique-se de que o OpenSearch cluster esteja acessível a partir da sua função Lambda e esteja configurado com as configurações de segurança necessárias, como políticas de acesso, criptografia e autenticação.
+ Configure o OpenSearch cluster com os mapeamentos e configurações de índice necessários para ingerir os dados de telemetria do Lambda. Para obter mais informações, consulte [Carregamento de dados de streaming no Amazon OpenSearch Service](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/integrations.html) na documentação do OpenSearch serviço.
**Conectividade de rede**:
+ Certifique-se de que sua função Lambda tenha a conectividade de rede necessária para acessar o OpenSearch cluster. Para obter orientação sobre como definir as configurações da nuvem privada virtual (VPC), consulte [Lançamento de seus domínios do Amazon OpenSearch Service em uma VPC](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/vpc.html) na documentação do serviço. OpenSearch
**Políticas e perfis do IAM**:
+ Crie uma função do IAM com as permissões necessárias para que sua função Lambda acesse o OpenSearch cluster e acesse suas credenciais armazenadas nele. AWS Secrets Manager
+ Anexe as políticas apropriadas do IAM à função, como a `AWSLambdaBasicExecutionRole` política e quaisquer permissões adicionais necessárias para interagir com ela OpenSearch.
+ Verifique se as permissões do IAM concedidas à sua função Lambda permitem que ela grave dados no OpenSearch cluster. Para obter informações sobre o gerenciamento de permissões do IAM, consulte [Definir permissões de uma função do Lambda com um perfil de execução](https://docs.aws.amazon.com/lambda/latest/dg/lambda-intro-execution-role.html) na documentação do Lambda.
**Conhecimento em linguagem de programação**:
+ Você precisará de conhecimentos básicos de Python (ou da linguagem de programação de sua escolha) para entender e modificar o código de exemplo da função do Lambda e da extensão do Lambda.
**Ambiente de desenvolvimento**:
+ Configure um ambiente de desenvolvimento local com as ferramentas e dependências necessárias para criar e implantar extensões e funções do Lambda.
**AWS CLI ou Console de gerenciamento da AWS**:
+ Instale e configure o [AWS Command Line Interface (AWS CLI)](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) ou use o Console de gerenciamento da AWS com as credenciais apropriadas para interagir com o necessário Serviços da AWS.
**Monitoramento e registro**:
+ Familiarize-se com as melhores práticas de monitoramento e registro AWS, incluindo serviços como a Amazon CloudWatch e AWS CloudTrail para fins de monitoramento e auditoria.
+ Verifique CloudWatch os registros da sua função Lambda para identificar quaisquer erros ou exceções relacionados à integração da API de telemetria do Lambda. Para obter orientação sobre solução de problemas, consulte a [documentação da API de Telemetria do Lambda](https://docs.aws.amazon.com/lambda/latest/dg/telemetry-api.html).
## Arquitetura
Esse padrão usa o OpenSearch Service para armazenar registros e dados de telemetria que são gerados pelas funções do Lambda. Essa abordagem permite que você transmita rapidamente os registros diretamente para o seu OpenSearch cluster, o que reduz a latência e os custos associados ao uso do CloudWatch Logs como intermediário.
|
|
| [Seu código de extensão do Lambda pode enviar a telemetria para o OpenSearch Serviço, usando diretamente a OpenSearch API ou usando uma biblioteca cliente. OpenSearch ](https://opensearch.org/docs/latest/clients/index/) A extensão Lambda pode usar as operações em massa suportadas pela OpenSearch API para agrupar eventos de telemetria e enviá-los ao OpenSearch Serviço em uma única solicitação. |
| --- |
O diagrama de fluxo de trabalho a seguir ilustra o fluxo de trabalho de log para funções Lambda quando você usa OpenSearch um cluster como endpoint.
![\[Fluxo de trabalho para enviar dados de telemetria para um OpenSearch cluster.\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/images/pattern-img/57fe8796-9f36-46cf-8304-f506242b9f04/images/283ccdcd-a0e1-40a2-a95a-3bd046bfa8ca.png)
A arquitetura inclui os seguintes componentes:
+ Função do Lambda: a função sem servidor que gera logs e dados de telemetria durante a execução.
+ Extensão Lambda: uma extensão baseada em Python que usa a API de telemetria Lambda para se integrar diretamente ao cluster. OpenSearch Essa extensão é executada no mesmo ambiente de execução que a função do Lambda.
+ API de telemetria do Lambda: a API que permite que as extensões do Lambda enviem dados de telemetria, incluindo registros, métricas e rastreamentos, diretamente para ferramentas de monitoramento e observabilidade de terceiros.
+ Cluster Amazon OpenSearch Service: um OpenSearch cluster gerenciado hospedado em AWS. Esse cluster é responsável por ingerir, armazenar e indexar os dados de log transmitidos da função do Lambda por meio da extensão do Lambda.
O fluxo de trabalho consiste nas seguintes etapas:
1. A função do Lambda é chamada e gera logs e dados de telemetria durante sua execução.
1. A extensão do Lambda é executada junto com a função de capturar os logs e os dados de telemetria usando a API de Telemetria do Lambda.
1. A extensão Lambda estabelece uma conexão segura com o cluster de OpenSearch serviços e transmite os dados de log em tempo real.
1. O cluster OpenSearch de serviços ingere, indexa e armazena os dados de log para disponibilizá-los para pesquisa, análise e visualização por meio do uso de ferramentas como o Kibana ou outros aplicativos compatíveis.
Ao contornar os CloudWatch registros e enviar dados de registro diretamente para o OpenSearch cluster, essa solução oferece vários benefícios:
+ Streaming e análise de logs em tempo real, permitindo uma solução de problemas mais rápida e uma melhor observabilidade.
+ Latência reduzida e possíveis limitações de retenção associadas aos CloudWatch registros.
+ Flexibilidade para personalizar a extensão do Lambda ou criar sua própria extensão para formatos de saída específicos ou processamento adicional.
+ Integração com os recursos de pesquisa, análise e visualização do OpenSearch Service para análise e monitoramento de registros.
A seção [Epics](#send-telemetry-data-from-lambda-to-opensearch-for-analytics-visualization-epics) fornece step-by-step instruções para configurar a extensão Lambda, configurar a função Lambda e integrar-se ao cluster de serviços. OpenSearch Para considerações de segurança, estratégias de otimização de custos e dicas para monitorar e solucionar problemas da solução, consulte a seção [Práticas recomendadas](#send-telemetry-data-from-lambda-to-opensearch-for-analytics-visualization-best-practices).
## Ferramentas
**Serviços da AWS**
+ O [AWS Lambda](https://aws.amazon.com/lambda/) é um serviço de computação que permite executar código sem o provisionamento ou gerenciamento de servidores. O Lambda executa o código somente quando necessário e dimensiona automaticamente, desde algumas solicitações por dia até milhares por segundo.
+ O [Amazon OpenSearch Service](https://aws.amazon.com/opensearch-service/) é um serviço totalmente gerenciado fornecido pela empresa AWS que facilita a implantação, a operação e a escalabilidade de OpenSearch clusters na nuvem.
+ As [extensões do Lambda](https://docs.aws.amazon.com/lambda/latest/dg/lambda-extensions.html) ampliam a funcionalidade de suas funções do Lambda executando código personalizado junto com elas. Você pode usar as extensões do Lambda para integrar o Lambda a diversas ferramentas para monitoramento, observabilidade, segurança e governança.
+ AWS Lambda A [API de telemetria](https://docs.aws.amazon.com/lambda/latest/dg/telemetry-api.html) permite que você use extensões para capturar dados aprimorados de monitoramento e observabilidade diretamente do Lambda e enviá-los para um destino de sua escolha.
+ [CloudFormation](https://aws.amazon.com/cloudformation/)ajuda você a modelar e configurar seus AWS recursos para que você possa passar menos tempo gerenciando esses recursos e mais tempo se concentrando em seus aplicativos.
**Repositórios de códigos**
+ [AWS Lambda As extensões](https://github.com/aws-samples/aws-lambda-extensions) incluem demonstrações e exemplos de projetos da AWS and AWS Partners para ajudar você a começar a criar suas próprias extensões.
+ O [exemplo de integrações de telemetria do Lambda para fornece OpenSearch](https://github.com/aws-samples/aws-lambda-extensions/tree/main/python-example-telemetry-opensearch-extension) um exemplo de extensão do Lambda que demonstra como enviar registros de uma função do Lambda para um cluster. OpenSearch
**Outras ferramentas**
+ [OpenSearch](https://opensearch.org/faq/)é um mecanismo de pesquisa e análise distribuído de código aberto que fornece uma plataforma poderosa para ingerir, armazenar e analisar grandes volumes de dados.
+ O Kibana é uma ferramenta de exploração e visualização de dados de código aberto com a qual você pode usar. OpenSearch Observe que a implementação de visualização e analytics está além do escopo deste padrão. Para obter mais informações, consulte a [documentação do Kibana](https://www.elastic.co/guide/en/kibana/current/index.html) e outros recursos.
## Práticas recomendadas
Ao integrar a API de telemetria Lambda com OpenSearch, considere as seguintes melhores práticas.
**Segurança e controle de acesso**
+ **Comunicação segura**: criptografe todas as comunicações entre suas funções do Lambda e OpenSearch o cluster usando HTTPS. Defina as SSL/TLS configurações necessárias em sua extensão e OpenSearch configuração do Lambda.
+ **Permissões do IAM**:
+ As extensões são executadas no mesmo ambiente de execução da função do Lambda, portanto, elas herdam o mesmo nível de acesso a recursos, como sistema de arquivos, rede e variáveis de ambiente.
+ Conceda as permissões mínimas necessárias do IAM às suas funções do Lambda para acessar a API de telemetria do Lambda e gravar dados no cluster. OpenSearch Use o [princípio de privilégio mínimo](https://docs.aws.amazon.com/lambda/latest/operatorguide/least-privilege.html) para limitar o escopo das permissões.
+ **OpenSearch controle de acesso**: implemente um controle de acesso refinado em seu OpenSearch cluster para restringir o acesso a dados confidenciais. Use os recursos de segurança integrados, como autenticação de usuário, controle de acesso baseado em funções e permissões em nível de índice, no. OpenSearch
+ **Extensões confiáveis**: sempre instale extensões de uma fonte confiável. Use ferramentas de infraestrutura como código (IaC) CloudFormation para simplificar o processo de anexar a mesma configuração de extensão, incluindo permissões do IAM, a várias funções do Lambda. As ferramentas de IaC também fornecem um registro de auditoria das extensões e versões usadas anteriormente.
+ **Tratamento de dados sensíveis**: ao criar extensões, evite registrar dados sensíveis em log. Limpe as cargas úteis e os metadados antes de registrá-los em log ou mantê-los para fins de auditoria.
**Otimização de custos**
+ **Monitoramento e alertas**: configure mecanismos de monitoramento e alerta para rastrear o volume de dados enviados pelas funções OpenSearch do Lambda. Isso ajudará você a identificar e lidar com possíveis excessos de custos.
+ **Retenção de dados**: considere cuidadosamente o período de retenção de dados apropriado para seus dados de telemetria do Lambda em. OpenSearch Períodos de retenção mais longos podem aumentar os custos de armazenamento, portanto, equilibre suas necessidades de observabilidade com a otimização de custos.
+ **Compressão e indexação**: habilite a compactação de dados e otimize sua estratégia de OpenSearch indexação para reduzir o espaço de armazenamento de seus dados de telemetria Lambda.
+ **Confiança reduzida em CloudWatch**: Ao integrar diretamente a API de telemetria Lambda OpenSearch, você pode potencialmente reduzir sua dependência de CloudWatch registros, o que pode resultar em economia de custos. Isso ocorre porque a API de telemetria Lambda permite que você envie registros diretamente para OpenSearch, o que elimina a necessidade de armazenar e processar os dados. CloudWatch
**Escalabilidade e confiabilidade**
+ Processamento **assíncrono: use padrões de processamento** assíncrono, como Amazon Simple Queue Service (Amazon SQS) ou Amazon Kinesis, para dissociar a execução da função Lambda da ingestão de dados. OpenSearch Isso ajuda a manter a capacidade de resposta das funções do Lambda e melhora a confiabilidade geral do sistema.
+ **OpenSearch escalabilidade de cluster**: monitore o desempenho e a utilização de recursos do seu OpenSearch cluster e aumente-o ou diminua-o conforme necessário para lidar com o volume crescente de dados de telemetria Lambda.
+ **Failover e recuperação de desastres**: implemente uma estratégia robusta de recuperação de desastres para seu OpenSearch cluster, incluindo backups regulares e a capacidade de restaurar dados rapidamente em caso de falha.
**Observabilidade e monitoramento**
+ **Painéis e visualizações**: use o Kibana ou outras ferramentas de painel para criar painéis e visualizações personalizados que forneçam informações sobre o desempenho e a integridade de suas funções do Lambda com base nos dados de telemetria. OpenSearch
+ **Alertas e notificações**: configure alertas e notificações para monitorar proativamente anomalias, erros ou problemas de performance em suas funções do Lambda. Integre esses alertas e notificações aos seus processos existentes de gerenciamento de incidentes.
+ **Rastreamento e correlação**: garanta que seus dados de telemetria do Lambda incluam informações de rastreamento relevantes, como solicitação IDs ou correlação, para permitir a end-to-end observabilidade e a solução de problemas em seus IDs aplicativos distribuídos sem servidor.
Seguindo essas melhores práticas, você pode garantir que sua integração da API de telemetria Lambda OpenSearch seja segura, econômica e escalável, além de fornecer observabilidade abrangente para seus aplicativos sem servidor.
## Épicos
### Criar e implantar a camada de extensão do Lambda
| Tarefa | Description | Habilidades necessárias |
| --- | --- | --- |
| Faça o download do código-fonte. | Baixe as extensões de exemplo do repositório [AWS Lambda Extensions](https://github.com/aws-samples/aws-lambda-extensions). | Desenvolvedor de aplicativos, arquiteto de nuvem |
| Navegue para a pasta `python-example-telemetry-opensearch-extension`. | O repositório [AWS Lambda Extensions](https://github.com/aws-samples/aws-lambda-extensions) que você baixou contém vários exemplos de casos de uso e runtimes de linguagem. Navegue até a pasta [python-example-telemetry-opensearch-extension](https://github.com/aws-samples/aws-lambda-extensions/tree/main/python-example-telemetry-opensearch-extension) para usar a extensão OpenSearch Python, que envia registros para o. OpenSearch | Desenvolvedor de aplicativos, arquiteto de nuvem |
| Adicione permissões para executar o endpoint da extensão. | Execute o comando a seguir para tornar o endpoint da extensão executável:chmod +x python-example-telemetry-opensearch-extension/extension.py
| Desenvolvedor de aplicativos, arquiteto de nuvem |
| Instale as dependências da extensão localmente. | Execute o seguinte comando para instalar as dependências locais do código Python:pip3 install -r python-example-telemetry-opensearch-extension/requirements.txt -t ./python-example-telemetry-opensearch-extension/
Essas dependências serão montadas junto com o código da extensão. | Desenvolvedor de aplicativos, arquiteto de nuvem |
| Crie um pacote .zip para a extensão para implantá-la como uma camada. | O arquivo de extensão .zip deve conter um diretório-raiz chamado `extensions/`, onde o executável da extensão está localizado, e outro diretório-raiz chamado `python-example-telemetry-opensearch-extension/`, onde a lógica central da extensão e suas dependências estão localizadas.Crie o pacote .zip para a extensão:chmod +x extensions/python-example-telemetry-opensearch-extension
zip -r extension.zip extensions python-example-telemetry-opensearch-extension
| Desenvolvedor de aplicativos, arquiteto de nuvem |
| Implante a extensão como uma camada do Lambda. | Publique a camada usando seu arquivo de extensão .zip e o seguinte comando:aws lambda publish-layer-version \
--layer-name "python-example-telemetry-opensearch-extension" \
--zip-file "fileb://extension.zip"
| Desenvolvedor de aplicativos, arquiteto de nuvem |
### Integrar a extensão à sua função
| Tarefa | Description | Habilidades necessárias |
| --- | --- | --- |
| Adicione a camada à função. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/send-telemetry-data-from-lambda-to-opensearch-for-analytics-visualization.html)Para obter mais informações sobre como adicionar uma camada às funções do Lambda, consulte a [documentação do Lambda.](https://docs.aws.amazon.com/lambda/latest/dg/adding-layers.html) | Desenvolvedor de aplicativos, arquiteto de nuvem |
| Defina as variáveis de ambiente para a função. | Na página da função, escolha a guia **Configuração** e adicione as seguintes variáveis de ambiente à sua função:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/send-telemetry-data-from-lambda-to-opensearch-for-analytics-visualization.html) | Desenvolvedor de aplicativos, arquiteto de nuvem |
### Adicione declarações de registro em log e teste sua função
| Tarefa | Description | Habilidades necessárias |
| --- | --- | --- |
| Adicione declarações de log à sua função. | Adicione instruções de registro em log à sua função usando um dos [mecanismos de registro em log integrados](https://docs.aws.amazon.com/lambda/latest/dg/python-logging.html) ou o módulo de registro em log de sua escolha. Confira abaixo alguns exemplos de mensagens de registro em log em Python:print("Your Log Message Here")
logger = logging.getLogger(__name__)
logger.info("Test Info Log.")
logger.error("Test Error Log.") | Desenvolvedor de aplicativos, arquiteto de nuvem |
| Teste a função do . | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/send-telemetry-data-from-lambda-to-opensearch-for-analytics-visualization.html)Você deve ver **Executing function: succeeded** se tudo funcionar corretamente. | Desenvolvedor de aplicativos, arquiteto de nuvem |
### Visualize seus logins OpenSearch
| Tarefa | Description | Habilidades necessárias |
| --- | --- | --- |
| Consulte seus índices. | Em OpenSearch, execute o seguinte comando para consultar seus índices:SELECT * FROM index-name
Seus logs devem ser exibidos nos resultados da consulta. | Arquiteto de nuvem |
## Solução de problemas
| Problema | Solução |
| --- | --- |
| Problemas de conectividade | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/send-telemetry-data-from-lambda-to-opensearch-for-analytics-visualization.html) |
| Erros de ingestão de dados | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/send-telemetry-data-from-lambda-to-opensearch-for-analytics-visualization.html) |
## Recursos relacionados
+ [Exemplo de integrações de telemetria Lambda](https://github.com/aws-samples/aws-lambda-extensions/tree/main/python-example-telemetry-opensearch-extension) para (repositório) OpenSearch GitHub
+ [Ampliar funções do Lambda usando extensões do Lambda](https://docs.aws.amazon.com/lambda/latest/dg/lambda-extensions.html) (documentação do Lambda)
+ [API de Telemetria do Lambda](https://docs.aws.amazon.com/lambda/latest/dg/telemetry-api.html) (documentação do Lambda)
+ [Apresentando a API de AWS Lambda telemetria](https://aws.amazon.com/blogs/compute/introducing-the-aws-lambda-telemetry-api/) (AWS postagem no blog)
+ [Integrando a API de AWS Lambda telemetria com o Prometheus](https://aws.amazon.com/blogs/opensource/integrating-the-aws-lambda-telemetry-api-with-prometheus-and-opensearch) e (postagem no blog) OpenSearch AWS
## Mais informações
**Alterar a estrutura de logs**
Por padrão, a extensão envia registros como um documento aninhado. OpenSearch Isso permite que você realize consultas aninhadas para recuperar valores de colunas individuais.
Se a saída de log padrão não atender às suas necessidades específicas, você poderá personalizá-la modificando o código-fonte da extensão Lambda fornecida pela. AWS AWS incentiva os clientes a adaptar a produção para atender às necessidades de seus negócios. Para alterar a saída do log, localize a função `dispatch_to_opensearch` no arquivo `telemetry_dispatcher.py` dentro do código-fonte da extensão e faça as alterações necessárias.