Localizar arquivos de saída de consultas no Amazon S3 - Amazon Athena
Identificar arquivos de saída de consultas

Localizar arquivos de saída de consultas no Amazon S3

Os arquivos de saída das consultas são armazenados em subpastas no Amazon S3 no padrão de caminho a seguir, a menos que a consulta seja feita em um grupo de trabalho com uma configuração que substitua as configurações no lado do cliente. Quando a configuração do grupo de trabalho substitui as configurações no lado do cliente, a consulta usa o caminho de resultados especificado pelo grupo de trabalho.

QueryResultsLocationInS3/[QueryName|Unsaved/yyyy/mm/dd/]

  • QueryResultsLocationInS3 é o local de resultados da consulta especificado pelas configurações do grupo de trabalho ou pelo lado do cliente. Para obter mais informações, consulte Especificar um local para resultados de consultas adiante neste documento.

  • As seguintes subpastas são criadas somente para consultas executadas no console cujo caminho de resultados ainda não foi substituído pela configuração do grupo de trabalho. As consultas executadas pela AWS CLI ou usando a API do Athena são salvas diretamente em QueryResultsLocationInS3.

    • Queryname é o nome da consulta para a qual os resultados são salvos. Se a consulta foi executada, mas não salva, Unsaved será usado.

    • aaaa/mm/dd é a data em que a consulta foi executada.

Os arquivos associados a uma consulta CREATE TABLE AS SELECT são armazenados em uma subpasta tables do padrão acima.

Identificar arquivos de saída de consultas

Os arquivos são salvos no local de resultados de consultas no Amazon S3 com base no nome, no ID e na data de execução da consulta. Os arquivos de cada consulta são nomeados usando QueryID, que é um identificador exclusivo que o Athena atribui a cada consulta quando ela é executada.

Os seguintes tipos de arquivo são salvos:

Tipo de arquivo Padrão de nomenclatura de arquivos Descrição

Arquivos de resultados da consulta

QueryID.csv

QueryID.txt

Os arquivos de resultados da consulta DML são salvos no formato CSV (valores separados por vírgulas).

Os resultados da consulta DDL são salvos como arquivos de texto sem formatação.

Você pode baixar os arquivos de resultados do console do painel Results (Resultados) ao usar o console ou do History (Histórico) da consulta. Para ter mais informações, consulte Baixar arquivos de resultados de consultas via console do Athena.

Arquivos de metadados da consulta

QueryID.csv.metadata

QueryID.txt.metadata

Os arquivos de metadados de consulta DML e DDL são salvos no formato binário e não são legíveis por humanos. A extensão do arquivo corresponde ao arquivo relacionado de resultados de consultas. O Athena usa os metadados ao ler os resultados da consulta usando a ação GetQueryResults. Embora esses arquivos possam ser excluídos, não recomendamos porque informações importantes sobre a consulta são perdidas.

Arquivos manifesto de dados

QueryID-manifest.csv

Os arquivos manifesto de dados são gerados para monitorar os arquivos que o Athena cria em locais de origens de dados do Amazon S3 quando uma consulta INSERT INTO é executada. Se uma consulta falhar, o manifesto também rastreará os arquivos que a consulta pretendia gravar. O manifesto é útil para identificar arquivos órfãos resultantes de uma consulta com falha.

Para usar a AWS CLI para identificar o local de saída e os arquivos de resultados das consultas, execute o comando aws athena get-query-execution conforme o exemplo a seguir. Substitua abc1234d-5efg-67hi-jklm-89n0op12qr34 pelo ID da consulta.

aws athena get-query-execution --query-execution-id abc1234d-5efg-67hi-jklm-89n0op12qr34

Esse comando retorna uma saída semelhante à seguinte. Para ver as descrições de cada parâmetro de saída, consulte get-query-execution na Referência de comandos da AWS CLI.

{
    "QueryExecution": {
        "Status": {
            "SubmissionDateTime": 1565649050.175,
            "State": "SUCCEEDED",
            "CompletionDateTime": 1565649056.6229999
        },
        "Statistics": {
            "DataScannedInBytes": 5944497,
            "DataManifestLocation": "s3://amzn-s3-demo-bucket/athena-query-results-123456789012-us-west-1/MyInsertQuery/2019/08/12/abc1234d-5efg-67hi-jklm-89n0op12qr34-manifest.csv",
            "EngineExecutionTimeInMillis": 5209
        },
        "ResultConfiguration": {
            "EncryptionConfiguration": {
                "EncryptionOption": "SSE_S3"
            },
            "OutputLocation": "s3://amzn-s3-demo-bucket/athena-query-results-123456789012-us-west-1/MyInsertQuery/2019/08/12/abc1234d-5efg-67hi-jklm-89n0op12qr34"
        },
        "QueryExecutionId": "abc1234d-5efg-67hi-jklm-89n0op12qr34",
        "QueryExecutionContext": {},
        "Query": "INSERT INTO mydb.elb_log_backup SELECT * FROM mydb.elb_logs LIMIT 100",
        "StatementType": "DML",
        "WorkGroup": "primary"
    }
}