View a markdown version of this page

Exponha seu data lake como uma API do GraphQL - Exponha seu data lake como uma API do GraphQL

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Exponha seu data lake como uma API do GraphQL

Data de publicação: 25 de abril de 2022 (Histórico do diagrama)

Essa arquitetura mostra como criar um data lake usando o Lake Formation e compartilhá-lo como uma GraphQL API autodocumentada. Você pode criar automaticamente a API com um CI/CD pipeline reativo e permitir que clientes externos autorizados consultem seu data lake usando a GraphQL sintaxe em HTTPS.

Exponha seu data lake como uma API do GraphQL

Diagrama de arquitetura mostrando como expor um data lake como uma API do GraphQL usando Amazon AppSync, Athena, Lake Formation e AWS Glue.

As etapas a seguir descrevem a arquitetura:

  1. Configure um data lake usando o Lake Formation e o Amazon Simple Storage Service.

  2. Rastreie os dados nos buckets do Amazon S3 com o AWS Glue para criar um catálogo de dados.

  3. Monitore todas as alterações no catálogo de dados do AWS Glue com a Amazon CloudWatch e acione uma AWS Lambda função em cada alteração do catálogo para atualizar o esquema da API externa.

  4. Na função Lambda, consulte o catálogo de dados e as configurações de segurança mais recentes, gere automaticamente o código-fonte para criar e implantar uma nova versão do esquema e dos resolvedores da API externa e confirme o código na AWS. CodeCommit

  5. Configure CodeCommit para iniciar automaticamente um novo CI/CD pipeline na AWS CodePipeline após qualquer confirmação de código.

  6. Use CodePipeline para criar uma nova versão da API com a AWS CodeBuild usando o código-fonte recém-gerado e use CodeDeploy a AWS para implantar a nova AppSync GraphQL API da Amazon e os novos resolvedores de consultas do Lambda.

  7. Permita que seus GraphQL clientes invoquem com segurança a API externa por HTTPS com o mecanismo de autenticação escolhido. Ative o cache do AppSync lado do servidor.

  8. Use os resolvedores de consultas do AppSync Lambda para traduzir a GraphQL consulta em consultas SQL suportadas pelo Athena. https://docs.aws.amazon.com/athena/latest/ug/what-is.html

  9. Execute tarefas do Athena de forma síncrona com a biblioteca athena-express, atingindo o tempo limite adequado e limitando o conjunto de resultados.

Outras fontes de leitura

Para obter informações adicionais, consulte os seguintes recursos:

Histórico do diagrama

Para ser notificado sobre atualizações nesse diagrama de arquitetura de referência, assine o feed RSS.

AlteraçãoDescriçãoData

Publicação inicial

Diagrama de arquitetura de referência publicado pela primeira vez.

25 de abril de 2022

nota

Para assinar as atualizações de RSS, você deve ter um plug-in RSS ativado para o navegador que está usando.