Analizza e visualizza i JSON dati annidati con Amazon Athena e Amazon QuickSight - Prontuario AWS
RiepilogoPrerequisiti e limitazioniArchitetturaStrumentiEpicheRisorse correlate

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Analizza e visualizza i JSON dati annidati con Amazon Athena e Amazon QuickSight

Creato da Anoop Singh () AWS

Ambiente: PoC o pilota

Tecnologie: analisi; database

AWSservizi: Amazon Athena; Amazon QuickSight

Riepilogo

Questo modello spiega come tradurre una struttura di dati annidata e JSON formattata in una vista tabulare utilizzando Amazon Athena e quindi visualizzare i dati in Amazon. QuickSight

Puoi utilizzare dati JSON formattati per feed di dati API alimentati da sistemi operativi per creare prodotti di dati. Questi dati possono anche aiutarti a comprendere meglio i tuoi clienti e le loro interazioni con i tuoi prodotti, in modo da personalizzare le esperienze degli utenti e prevedere i risultati.

Prerequisiti e limitazioni

Prerequisiti

  • Un attivo Account AWS

  • Un JSON file che rappresenta una struttura di dati annidata (questo modello fornisce un file di esempio)

Limitazioni:

  • JSONle funzionalità si integrano bene con le funzioni SQL orientate esistenti in Athena. Tuttavia, non sono ANSI SQL compatibili e si prevede che il JSON file contenga ogni record su una riga separata. Potrebbe essere necessario utilizzare la ignore.malformed.json proprietà in Athena per indicare se i JSON record con formato non valido devono essere trasformati in caratteri nulli o generare errori. Per ulteriori informazioni, consulta Best practice per la lettura JSON dei dati nella documentazione di Athena.

  • Questo modello considera solo piccole e semplici quantità di dati JSON formattati. Se desideri utilizzare questi concetti su larga scala, prendi in considerazione l'applicazione del partizionamento dei dati e il consolidamento dei dati in file più grandi.

Architettura

Il diagramma seguente mostra l'architettura e il flusso di lavoro per questo modello. Le strutture di dati annidate sono archiviate in formato Amazon Simple Storage Service (Amazon S3). JSON In Athena, i JSON dati vengono mappati su una struttura dati Athena. Quindi crei una vista per analizzare i dati e visualizzare la struttura dei dati in. QuickSight

Analisi e visualizzazione dei dati annidati su JSON AWS

Strumenti

AWSservizi

  • Amazon Simple Storage Service (Amazon S3) è un servizio di archiviazione degli oggetti basato sul cloud che consente di archiviare, proteggere e recuperare qualsiasi quantità di dati. Questo modello utilizza Amazon S3 per archiviare il JSON file.

  • Amazon Athena è un servizio di query interattivo che ti aiuta ad analizzare i dati direttamente in Amazon S3 utilizzando standard. SQL Questo modello utilizza Athena per interrogare e trasformare i JSON dati. Con poche azioni in AWS Management Console, puoi indirizzare Athena ai tuoi dati in Amazon S3 e utilizzare SQL lo standard per eseguire query singole. Athena è serverless, quindi non c'è alcuna infrastruttura da configurare o gestire e paghi solo per le query che esegui. Athena si ridimensiona automaticamente ed esegue le query in parallelo, quindi i risultati sono rapidi, anche con set di dati di grandi dimensioni e query complesse.     

  • Amazon QuickSight è un servizio di business intelligence (BI) su scala cloud che ti aiuta a visualizzare, analizzare e riportare i tuoi dati su un'unica dashboard. QuickSight ti consente di creare e pubblicare facilmente dashboard interattive che includono approfondimenti sull'apprendimento automatico (ML). Puoi accedere a queste dashboard da qualsiasi dispositivo e incorporarle nelle tue applicazioni, portali e siti Web.

Esempio di codice

Il JSON file seguente fornisce una struttura di dati annidata che è possibile utilizzare in questo modello.

{
  "symbol": "AAPL",
  "financials": [
    {
      "reportDate": "2017-03-31",
      "grossProfit": 20591000000,
      "costOfRevenue": 32305000000,
      "operatingRevenue": 52896000000,
      "totalRevenue": 52896000000,
      "operatingIncome": 14097000000,
      "netIncome": 11029000000,
      "researchAndDevelopment": 2776000000,
      "operatingExpense": 6494000000,
      "currentAssets": 101990000000,
      "totalAssets": 334532000000,
      "totalLiabilities": 200450000000,
      "currentCash": 15157000000,
      "currentDebt": 13991000000,
      "totalCash": 67101000000,
      "totalDebt": 98522000000,
      "shareholderEquity": 134082000000,
      "cashChange": -1214000000,
      "cashFlow": 12523000000,
      "operatingGainsLosses": null
    }
  ]
}

Epiche

AttivitàDescrizioneCompetenze richieste

Crea un bucket S3.

Per creare un bucket per archiviare il JSON file, accedi a AWS Management Console, apri la console Amazon S3, quindi scegli Crea bucket. Per ulteriori informazioni, consulta Creazione di un bucket nella documentazione di Amazon S3. 

Amministratore di sistema

Aggiungere i JSON dati annidati.

Carica il JSON file nel bucket S3. Per un JSON file di esempio, consulta la sezione precedente. Per istruzioni, consulta Caricamento di oggetti nella documentazione di Amazon S3.

Amministratore di sistema
AttivitàDescrizioneCompetenze richieste

Crea una tabella per mappare i JSON dati.

  1. Apri la console Athena.

  2. Crea un database seguendo le istruzioni nella documentazione di Athena.

  3. Dal menu Database, scegli il database che hai creato.

  4. Nell'editor di query, inserisci un'CREATE TABLEistruzione come la seguente:

    CREATE EXTERNAL TABLE financials_json (
    symbol string,
    financials array<
        struct<reportdate: string,
             grossprofit: bigint,
             totalrevenue: bigint,
             totalcash: bigint,
             totaldebt: bigint, 
             researchanddevelopment: bigint>>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' LOCATION 's3://s3bucket-for-athena/'

    dove LOCATION specifica la posizione del bucket S3 che contiene il file. JSON

  5. Scegli Esegui per creare la tabella.

Per ulteriori informazioni sulla creazione di tabelle, consulta la documentazione di Athena.

Developer

Crea una vista per l'analisi dei dati.

  1. Apri la console Athena.

  2. Crea un database seguendo le istruzioni nella documentazione di Athena.

  3. Dal menu Database, scegli il database che hai creato.

  4. Nell'editor di query, inserisci un'CREATE VIEWistruzione come la seguente:

    CREATE OR REPLACE VIEW financial_json_view AS 
  SELECT 
  symbol, 
  financials[1].reportdate one_report_date, -- indexes start with 1 
  financials[1].totalrevenue one_total_revenue, 
  financials[1].reportdate another_report_date,
  financials[1].totalrevenue another_total_revenue 
FROM financials_json where symbol='AAPL' 
ORDER BY 
  1

  5. Scegli Run (Esegui) per creare la visualizzazione.

Per ulteriori informazioni sulla creazione di viste, consulta la documentazione di Athena.

Developer

Analizza e convalida i dati.

  1. Apri la console Athena.

  2. Nell'editor delle query, esegui le interrogazioni utilizzando la vista creata nel passaggio precedente.

  3. Convalida i dati rispetto al JSON file, per confermare che i nomi delle colonne e i tipi di dati siano mappati correttamente.

Developer
AttivitàDescrizioneCompetenze richieste

Configura Athena come origine dati in. QuickSight

  1. Apri la QuickSight console.

  2. Scegli Set di dati, Nuovo set di dati.

  3. Scegli Athena come fonte di dati.

  4. Scegli il database che include la vista che hai creato.

  5. Scegli la vista per cui vuoi creare un set di dati.

  6. Nella pagina Termina la creazione del set di dati, scegli Interroga direttamente i tuoi dati.

  7. Scegliere Visualize (Visualizza).

Amministratore di sistema

Visualizza i dati in QuickSight.

  1. Dopo aver visualizzato il set di dati, scegli gli elementi visivi dal riquadro di sinistra e scegli i campi per il set di dati. Per ulteriori informazioni, consulta il tutorial nella documentazione. QuickSight

  2. Salva le modifiche all'analisi.

  3. Scegli Pubblica dashboard per pubblicare gli elementi visivi che hai creato.

Analista dei dati

Risorse correlate