OpenX JSON SerDe

Hive JSON SerDe와 마찬가지로 OpenX JSON을 사용하여 JSON 데이터를 처리할 수 있습니다. 데이터는 새 줄로 구분된 JSON 인코딩 텍스트의 한 줄 문자열로도 표시됩니다. Hive JSON SerDe와 마찬가지로 OpenX JSON SerDe는 map 또는 struct 키 이름에 중복 키를 허용하지 않습니다.

고려 사항 및 제한

선택적 속성

Hive JSON SerDe와 달리 OpenX JSON SerDe에는 데이터의 불일치를 해결하는 데 유용한 다음과 같은 선택적 SerDe 속성이 있습니다.

예제: 광고 데이터

다음 예제 DDL 문은 OpenX JSON SerDe를 사용하여 Hive JSON SerDe의 예제에 사용된 것과 동일한 샘플 온라인 광고 데이터를 기반으로 테이블을 생성합니다. LOCATION 절에서 myregion을, Athena를 실행하는 리전 식별자로 바꿉니다.

CREATE EXTERNAL TABLE impressions (
    requestbegintime string,
    adid string,
    impressionId string,
    referrer string,
    useragent string,
    usercookie string,
    ip string,
    number string,
    processid string,
    browsercokie string,
    requestendtime string,
    timers struct<
       modellookup:string, 
       requesttime:string>,
    threadid string, 
    hostname string,
    sessionid string
)   PARTITIONED BY (dt string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket.elasticmapreduce/samples/hive-ads/tables/impressions';

예제: 중첩 JSON 역직렬화

JSON SerDes를 사용하여 더 복잡한 JSON 인코딩 데이터를 구문 분석 할 수 있습니다. 이를 위해서는 struct 및 array 요소를 사용하여 중첩 구조를 나타내는 CREATE TABLE 문을 사용해야 합니다.

다음 예제에서는 중첩 구조가 있는 JSON 데이터로 Athena 테이블을 생성합니다. 예제의 구조는 다음과 같습니다.

{
"DocId": "AWS",
"User": {
        "Id": 1234,
        "Username": "carlos_salazar", 
        "Name": "Carlos",
"ShippingAddress": {
"Address1": "123 Main St.",
"Address2": null,
"City": "Anytown",
"State": "CA"
   },
"Orders": [
   {
     "ItemId": 6789,
     "OrderDate": "11/11/2022" 
   },
   {
     "ItemId": 4352,
     "OrderDate": "12/12/2022"
   }
  ]
 }
}

OpenX SerDe는 각 JSON 레코드가 한 줄의 텍스트에 있을 것으로 예상한다는 점을 기억하세요. Amazon S3에 저장되는 경우 이전 예제의 모든 데이터는 다음과 같이 한 줄에 있어야 합니다.

{"DocId":"AWS","User":{"Id":1234,"Username":"carlos_salazar","Name":"Carlos","ShippingAddress" ...

다음 CREATE TABLE 문은 Openx-JsonSerDe와 struct 및 array 컬렉션 데이터 형식을 사용하여 예제 데이터에 대한 객체 그룹을 설정합니다.

CREATE external TABLE complex_json (
   docid string,
   `user` struct<
               id:INT,
               username:string,
               name:string,
               shippingaddress:struct<
                                      address1:string,
                                      address2:string,
                                      city:string,
                                      state:string
                                      >,
               orders:array<
                            struct<
                                 itemid:INT,
                                  orderdate:string
                                  >
                              >
               >
   )
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket/myjsondata/';

테이블을 쿼리하려면 다음과 같은 간단한 SELECT 문을 사용합니다.

SELECT 
 user.name as Name, 
 user.shippingaddress.address1 as Address, 
 user.shippingaddress.city as City, 
 o.itemid as Item_ID, o.orderdate as Order_date
FROM complex_json, UNNEST(user.orders) as temp_table (o)

샘플 쿼리는 구조체 내의 데이터 필드에 액세스하기 위해 점 표기법(예: user.name)을 사용합니다. orders 필드와 마찬가지로 구조체 배열 내의 데이터에 액세스하려면 UNNEST 함수를 사용하면 됩니다. UNNEST 함수는 배열을 임시 테이블(이 경우 o)로 평면화합니다. 이렇게 하면 구조체와 마찬가지로 점 표기법을 사용하여 중첩되지 않은 배열 요소에 액세스할 수 있습니다(예: o.itemid). 예제에서 설명용으로 사용되는 temp_table 이름은 보통 t와 같이 축약됩니다.

다음 표는 쿼리 결과를 보여 줍니다.