Avro SerDe

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie Avro SerDe , um Athena-Tabellen aus Avro-Daten zu erstellen.

Name der Serialisierungsbibliothek

Der Name der Serialisierungsbibliothek für SerDe Avro lautet. org.apache.hadoop.hive.serde2.avro.AvroSerDe Technische Informationen finden Sie AvroSerDein der Apache-Dokumentation.

Verwenden Sie den Avro SerDe

Aus Sicherheitsgründen unterstützt Athena die Verwendung avro.schema.url zur Angabe eines Tabellenschemas nicht. Verwenden Sie avro.schema.literal stattdessen.

Um ein Schema aus Daten im Avro-Format zu extrahieren, verwenden Sie die avro-tools-<version>.jar Apache-Datei, die sich im java Unterverzeichnis Ihrer installierten Avro-Version befindet. Verwenden Sie den getschema Parameter, um ein Schema zurückzugeben, das Sie in Ihrer WITH SERDEPROPERTIES Anweisung verwenden können, wie im folgenden Beispiel.

java -jar avro-tools-1.8.2.jar getschema my_data.avro

Informationen zum Herunterladen von Avro finden Sie unter Apache Avro Releases. Informationen zum direkten Herunterladen der Apache Avro-Tools finden Sie unter Apache Avro Tools Maven Repository.

Nachdem Sie das Schema abgerufen haben, verwenden Sie eine CREATE TABLE Anweisung, um eine Athena-Tabelle auf der Grundlage der in Amazon S3 gespeicherten Avro-Daten zu erstellen. Um den Avro SerDe in Ihrem CREATE TABLE Kontoauszug anzugeben, verwenden Sie. ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' Geben Sie das Schema mithilfe der WITH SERDEPROPERTIES Klausel an, wie im folgenden Beispiel.

CREATE EXTERNAL TABLE flights_avro_example (
   yr INT,
   flightdate STRING,
   uniquecarrier STRING,
   airlineid INT,
   carrier STRING,
   flightnum STRING,
   origin STRING,
   dest STRING,
   depdelay INT,
   carrierdelay INT,
   weatherdelay INT
)
PARTITIONED BY (year STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
WITH SERDEPROPERTIES ('avro.schema.literal'='
{
   "type" : "record",
   "name" : "flights_avro_subset",
   "namespace" : "default",
   "fields" : [ {
      "name" : "yr",
      "type" : [ "null", "int" ],
      "default" : null
   }, {
      "name" : "flightdate",
      "type" : [ "null", "string" ],
      "default" : null
   }, {
      "name" : "uniquecarrier",
      "type" : [ "null", "string" ],
      "default" : null
   }, {
      "name" : "airlineid",
      "type" : [ "null", "int" ],
      "default" : null
   }, {
      "name" : "carrier",
      "type" : [ "null", "string" ],
      "default" : null
   }, {
      "name" : "flightnum",
      "type" : [ "null", "string" ],
      "default" : null
   }, {
      "name" : "origin",
      "type" : [ "null", "string" ],
      "default" : null
   }, {
      "name" : "dest",
      "type" : [ "null", "string" ],
      "default" : null
   }, {
      "name" : "depdelay",
      "type" : [ "null", "int" ],
      "default" : null
   }, {
      "name" : "carrierdelay",
      "type" : [ "null", "int" ],
      "default" : null
   }, {
      "name" : "weatherdelay",
      "type" : [ "null", "int" ],
      "default" : null
    } ]
}
')
STORED AS AVRO
LOCATION 's3://athena-examples-myregion/flight/avro/';

Führen Sie die MSCK REPAIR TABLE-Anweisung auf der Tabelle aus, um die Partitionsmetadaten zu aktualisieren.

MSCK REPAIR TABLE flights_avro_example;

Fragen Sie die am häufigsten genutzten 10 Abflugstädte, gemessen an der Anzahl der Abflüge, ab.

SELECT origin, count(*) AS total_departures
FROM flights_avro_example
WHERE year >= '2000'
GROUP BY origin
ORDER BY total_departures DESC
LIMIT 10;