Início rápido: consulte dados no Amazon S3

Configurar um local do resultado da consulta

1. Vá para o console Athena:. https://console.aws.amazon.com/athena/

2. No menu à esquerda, escolha Grupos de trabalho.

3. Siga o link do primary grupo de trabalho e escolha Editar.

4. Na seção Configuração do resultado da consulta, insira o caminho do Amazon S3 para seu diretório de saída e escolha Salvar alterações.

Crie uma fonte de dados Athena para seus dados do Amazon S3

1. No menu à esquerda no console do Athena, escolha Fontes de dados e, em seguida, Criar fonte de dados.

2. Escolha S3 - Catálogo de AWS Glue dados e, em seguida, Avançar.

3. Deixe o Catálogo de AWS Glue Dados padrão nessa conta, escolha Criar um rastreador em AWS Glue e, em seguida, Criar em. AWS Glue Isso abre o AWS Glue console.

Use AWS Glue para rastrear sua fonte de dados

1. Insira um nome e uma descrição para seu novo rastreador e escolha Avançar.

2. Em Fontes de dados, escolha Adicionar uma fonte de dados.

   1. Se o bucket do Amazon Amazon S3 contendo seus dados estiver em uma AWS conta diferente do seu SageMaker ambiente, escolha Em uma conta diferente para a localização dos dados do S3.

   2. Insira o caminho para seu conjunto de dados no Amazon S3. Por exemplo:

      s3://dsoaws/nyc-taxi-orig-cleaned-split-parquet-per-year-multiple-files/ride-info/year=2019/

   3. Mantenha todos os outros valores padrão e escolha Adicionar uma fonte de dados do Amazon S3. Você deve ver uma nova fonte de dados do Amazon S3 na tabela de fontes de dados.

   4. Escolha Próximo.

3. Configure a IAM função do rastreador para acessar seus dados.

   nota

   Cada função tem o escopo reduzido à fonte de dados que você especifica. Ao reutilizar uma função, edite a JSON política para adicionar qualquer novo recurso ao qual você queira conceder acesso ou criar uma nova função para essa fonte de dados.

   1. Escolha Criar nova IAM função.

   2. Insira um nome para a função e escolha Avançar.

Crie ou selecione um banco de dados para suas tabelas

1. Se você não tiver um banco de dados existente no Athena, escolha Adicionar banco de dados e, em seguida, Criar um novo banco de dados.

2. De volta à guia de criação anterior do rastreador, em Configuração de saída, escolha o botão Atualizar. Agora você deve ver seu banco de dados recém-criado na lista.

3. Selecione seu banco de dados, adicione um prefixo opcional em Prefixo do nome da tabela e escolha Avançar.

   nota

   Para o exemplo anterior em que seus dados estão localizadoss3://dsoaws/nyc-taxi-orig-cleaned-split-parquet-per-year-multiple-files/ride-info/year=2019/, adicionar o prefixo taxi-ride- criará uma tabela chamadataxi-ride-year_2019. Adicionar um prefixo ajuda a evitar colisões de nomes de tabelas quando vários locais de dados têm pastas com nomes idênticos.

Escolha Criar rastreador.

Execute seu rastreador para indexar seus dados. Aguarde até que a execução do rastreador atinja um Completed status, o que pode levar alguns minutos.

Recupere a função ARN de execução associada ao seu perfil de usuário

1. Acesse o SageMaker console em https://console.aws.amazon.com/sagemaker/e escolha Domínios no menu à esquerda.

2. Siga o nome do seu nome de domínio.

3. Na lista Perfis de usuário, siga o nome do seu perfil de usuário.

4. Na página Detalhes do usuário, copie a função ARN de execução.

Atualize a política da sua função de execução

1. Encontre sua AWS região e ID da conta no canto superior direito do SageMaker console. Use esses valores e o nome do seu banco de dados para atualizar os espaços reservados na JSON política a seguir em um editor de texto.

   {
   	"Version": "2012-10-17",
   	"Statement": [
   		{
   			"Sid": "GetS3AndDataSourcesMetadata",
   			"Effect": "Allow",
   			"Action": [
   				"glue:GetDatabases",
   				"glue:GetSchema",
   				"glue:GetTables",
   				"s3:ListBucket",
   				"s3:GetObject",
   				"s3:GetBucketLocation",
   				"glue:GetDatabase",
   				"glue:GetTable",
   				"glue:ListSchemas",
   				"glue:GetPartitions"
   			],
   			"Resource": [
   				"arn:aws:s3:::*",
   				"arn:aws:glue:region:account-id:catalog",
   				"arn:aws:glue:region:account-id:database/db-name"
   			]
   		},
   		{
   			"Sid": "ExecuteAthenaQueries",
   			"Effect": "Allow",
   			"Action": [
   				"athena:ListDataCatalogs",
   				"athena:ListDatabases",
   				"athena:ListTableMetadata",
   				"athena:StartQueryExecution",
   				"athena:GetQueryExecution",
   				"athena:RunQuery",
   				"athena:StartSession",
   				"athena:GetQueryResults",
   				"athena:ListWorkGroups",
   				"s3:ListMultipartUploadParts",
   				"s3:ListBucket",
   				"s3:GetBucketLocation",
   				"athena:GetDataCatalog",
   				"s3:AbortMultipartUpload",
   				"s3:GetObject",
   				"s3:PutObject",
   				"athena:GetWorkGroup"
   			],
   			"Resource": [
   				"arn:aws:s3:::*"
   			]
   		},
   		{
   			"Sid": "GetGlueConnectionsAndSecrets",
   			"Effect": "Allow",
   			"Action": [
   				"glue:GetConnections",
   				"glue:GetConnection"
   			],
   			"Resource": [
   				"*"
   			]
   		}
   	]
   }

2. Vá para o IAM console: https://console.aws.amazon.com/iam/e escolha Funções no menu à esquerda.

3. Pesquise sua função pelo nome da função.

   nota

   Você pode recuperar um nome de função de execução de seu Amazon Resource Name (ARN) dividindo o ARN on '/' e pegando o último elemento. Por exemplo, no exemplo a seguir de um ARNarn:aws:iam::112233445566:role/SageMakerStudio-SQLExtension-ExecutionRole, o nome da função de execução éSageMakerStudio-SQLExtension-ExecutionRole.

4. Siga o link para sua função.

5. Na guia Permissões, escolha Adicionar permissões e, em seguida, Criar política em linha.

6. Escolha o JSON formato na seção Editor de políticas.

7. Copie a política acima e escolha Avançar. Certifique-se de ter substituído todos osaccount-id,region-name, e db-name por seus valores.

8. Insira um nome para sua política e escolha Criar política.

Vá para o SageMaker console em https://console.aws.amazon.com/sagemaker/e escolha Studio no menu à esquerda. Usando seu domínio e perfil de usuário, inicie o Studio.

Escolha o JupyterLab aplicativo.

Se você não criou um espaço para seu JupyterLab aplicativo, escolha Criar um JupyterLab espaço. Insira um nome para o espaço, mantenha o espaço como Privado e escolha Criar espaço. Administre seu espaço usando a versão mais recente da imagem SageMaker de distribuição.

Caso contrário, escolha Executar espaço no seu espaço para iniciar um JupyterLab aplicativo.

Ative a conexão padrão do Athena:

1. Em seu JupyterLab aplicativo, navegue até o menu Configurações na barra de navegação superior e abra o menu Editor de configurações.

2. Escolha Data Discovery.

3. Marque a caixa Ativar conexão padrão do Athena.

4. Em seu JupyterLab aplicativo, escolha o ícone da SQL extensão ( ) no painel de navegação esquerdo para abrir a SQL extensão.

5. Escolha o botão Atualizar na parte inferior do painel de descoberta de dados. Você deve ver um default-athena-connection na lista de conexões.

Abra a conexão default-athena-connection e depois AWS DataCatalog.

Navegue até seu banco de dados e escolha o ícone de três pontos ( ) à direita. Selecione Consultar no notebook.

Isso preenche automaticamente uma célula do notebook JupyterLab com o comando %%sm_sql mágico relevante para se conectar à fonte de dados. Ele também adiciona um exemplo de SQL declaração para ajudar você a começar a consultar imediatamente.

Você pode refinar ainda mais a SQL consulta usando os recursos de preenchimento automático e destaque da extensão. Consulte SQLrecursos de edição da JupyterLab SQL extensão para obter mais informações sobre como usar o SQL editor SQL de extensões.