Konektor DS (-DS) TPC TPC patokan Amazon Athena

Konektor Amazon Athena TPC -DS memungkinkan Amazon Athena untuk berkomunikasi dengan sumber data TPC Benchmark DS yang dihasilkan secara acak untuk digunakan dalam benchmarking dan pengujian fungsional Federasi Athena. Konektor Athena TPC -DS menghasilkan database yang sesuai TPC -DS pada salah satu dari empat faktor skala. Kami tidak merekomendasikan penggunaan konektor ini sebagai alternatif untuk tes kinerja data lake berbasis Amazon S3.

Konektor ini tidak dapat didaftarkan dengan Glue Data Catalog sebagai katalog federasi. Konektor ini tidak mendukung kontrol akses data yang ditentukan dalam Lake Formation di tingkat katalog, database, tabel, kolom, baris, dan tag. Konektor ini menggunakan Glue Connections untuk memusatkan properti konfigurasi di Glue.

Prasyarat

Parameter

Gunakan parameter di bagian ini untuk mengkonfigurasi konektor TPC -DS.

Uji database dan tabel

Konektor Athena TPC -DS menghasilkan database yang sesuai TPC -DS di salah satu dari empat faktor skalatpcds1,,,, tpcds10 atau. tpcds100 tpcds250 tpcds1000

Ringkasan tabel

Untuk daftar lengkap tabel dan kolom data pengujian, jalankan SHOW TABLES atau DESCRIBE TABLE kueri. Ringkasan tabel berikut disediakan untuk kenyamanan.

Untuk kueri TPC -DS yang kompatibel dengan skema dan data yang dihasilkan ini, lihat direktori athena- tpcds/src/main/resources/queries/di. GitHub

Kueri contoh

Contoh SELECT kueri berikut menanyakan tpcds katalog untuk demografi pelanggan di kabupaten tertentu.

SELECT
  cd_gender,
  cd_marital_status,
  cd_education_status,
  count(*) cnt1,
  cd_purchase_estimate,
  count(*) cnt2,
  cd_credit_rating,
  count(*) cnt3,
  cd_dep_count,
  count(*) cnt4,
  cd_dep_employed_count,
  count(*) cnt5,
  cd_dep_college_count,
  count(*) cnt6
FROM
  "lambda:tpcds".tpcds1.customer c, "lambda:tpcds".tpcds1.customer_address ca, "lambda:tpcds".tpcds1.customer_demographics
WHERE
  c.c_current_addr_sk = ca.ca_address_sk AND
    ca_county IN ('Rush County', 'Toole County', 'Jefferson County',
                  'Dona Ana County', 'La Porte County') AND
    cd_demo_sk = c.c_current_cdemo_sk AND
    exists(SELECT *
           FROM "lambda:tpcds".tpcds1.store_sales, "lambda:tpcds".tpcds1.date_dim
           WHERE c.c_customer_sk = ss_customer_sk AND
             ss_sold_date_sk = d_date_sk AND
             d_year = 2002 AND
             d_moy BETWEEN 1 AND 1 + 3) AND
    (exists(SELECT *
            FROM "lambda:tpcds".tpcds1.web_sales, "lambda:tpcds".tpcds1.date_dim
            WHERE c.c_customer_sk = ws_bill_customer_sk AND
              ws_sold_date_sk = d_date_sk AND
              d_year = 2002 AND
              d_moy BETWEEN 1 AND 1 + 3) OR
      exists(SELECT *
             FROM "lambda:tpcds".tpcds1.catalog_sales, "lambda:tpcds".tpcds1.date_dim
             WHERE c.c_customer_sk = cs_ship_customer_sk AND
               cs_sold_date_sk = d_date_sk AND
               d_year = 2002 AND
               d_moy BETWEEN 1 AND 1 + 3))
GROUP BY cd_gender,
  cd_marital_status,
  cd_education_status,
  cd_purchase_estimate,
  cd_credit_rating,
  cd_dep_count,
  cd_dep_employed_count,
  cd_dep_college_count
ORDER BY cd_gender,
  cd_marital_status,
  cd_education_status,
  cd_purchase_estimate,
  cd_credit_rating,
  cd_dep_count,
  cd_dep_employed_count,
  cd_dep_college_count
LIMIT 100

Izin yang Diperlukan

Untuk detail selengkapnya tentang IAM kebijakan yang diperlukan konektor ini, tinjau Policies bagian file athena-tpcds.yaml. Daftar berikut merangkum izin yang diperlukan.

Kinerja

Konektor Athena TPC -DS mencoba memparalelkan kueri berdasarkan faktor skala yang Anda pilih. Predikat pushdown dilakukan dalam fungsi Lambda.

Informasi lisensi

Proyek konektor Amazon Athena TPC -DS dilisensikan di bawah Lisensi Apache-2.0.

Sumber daya tambahan

Untuk informasi tambahan tentang konektor ini, kunjungi situs terkait GitHub di.com.