OpenX JSON SerDe

Hive JSON SerDe と同様に、OpenX JSON を使用して JSON データを処理できます。また、データは改行で区切られ JSON 形式でエンコードされたテキストの 1 行の文字列としても表現されます。Hive JSON SerDe と同様に、OpenX JSON SerDe では、map または struct キー名の重複キーは許可されません。

オプションのプロパティ

Hive JSON SerDe とは異なり、OpenX JSON SerDe には、データの不整合に対処するのに役立つ次のオプションの SerDe プロパティもあります。

例: 広告データ

次の DDL ステートメントの例では、OpenX JSON SerDe を使用して、Hive JSON SerDe の例で使用したのと同じサンプルオンライン広告データに基づいてテーブルを作成します。LOCATION 句で、myregion を Athena が実行されるリージョンの識別子に置き換えます。

CREATE EXTERNAL TABLE impressions (
    requestbegintime string,
    adid string,
    impressionId string,
    referrer string,
    useragent string,
    usercookie string,
    ip string,
    number string,
    processid string,
    browsercokie string,
    requestendtime string,
    timers struct<
       modellookup:string, 
       requesttime:string>,
    threadid string, 
    hostname string,
    sessionid string
)   PARTITIONED BY (dt string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket.elasticmapreduce/samples/hive-ads/tables/impressions';

例: ネスト JSON の逆シリアル化

JSON SerDe を使用して、より複雑な JSON エンコードされたデータを解析できます。このためには、ネストされた構造を表すために struct 要素と array 要素を使用する CREATE TABLE ステートメントを使用する必要があります。

以下の例は、ネストされた構造を持つ JSON データから Athena テーブルを作成します。サンプルは次の構造になっています。

{
"DocId": "AWS",
"User": {
        "Id": 1234,
        "Username": "carlos_salazar", 
        "Name": "Carlos",
"ShippingAddress": {
"Address1": "123 Main St.",
"Address2": null,
"City": "Anytown",
"State": "CA"
   },
"Orders": [
   {
     "ItemId": 6789,
     "OrderDate": "11/11/2022" 
   },
   {
     "ItemId": 4352,
     "OrderDate": "12/12/2022"
   }
  ]
 }
}

OpenX SerDe は、各 JSON レコードが 1 行のテキスト上にあることを期待することに注意してください。Amazon S3 に保存されている場合、前の例のすべてのデータを、次に示すように 1 行で表記する必要があります。

{"DocId":"AWS","User":{"Id":1234,"Username":"carlos_salazar","Name":"Carlos","ShippingAddress" ...

次の CREATE TABLE ステートメントは、Openx-JsonSerDe を struct および array コレクションデータ型とともに使用して、サンプルデータ用にオブジェクトのグループを構築します。

CREATE external TABLE complex_json (
   docid string,
   `user` struct<
               id:INT,
               username:string,
               name:string,
               shippingaddress:struct<
                                      address1:string,
                                      address2:string,
                                      city:string,
                                      state:string
                                      >,
               orders:array<
                            struct<
                                 itemid:INT,
                                  orderdate:string
                                  >
                              >
               >
   )
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket/myjsondata/';

テーブルをクエリするには、次のような SELECT ステートメントを使用します。

SELECT 
 user.name as Name, 
 user.shippingaddress.address1 as Address, 
 user.shippingaddress.city as City, 
 o.itemid as Item_ID, o.orderdate as Order_date
FROM complex_json, UNNEST(user.orders) as temp_table (o)

構造体内のデータフィールドにアクセスするために、サンプルクエリはドット表記 (user.name など) を使用します。(orders フィールドと同様に) 構造体の配列内のデータにアクセスするには、UNNEST 関数を使用できます。UNNEST 関数は配列を一時テーブル (この場合は o) にフラット化します。これにより、構造体と同様にドット表記を使用して、ネストされていない配列要素 (o.itemid など) にアクセスできます。この例で説明のために使用されている名前 temp_table は、多くの場合、t と省略されます。

次の表にクエリ結果を示します。