Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Gunakan CSV Terbuka SerDe untuk membuat tabel Athena dari data yang dipisahkan koma (CSV) data.
Nama pustaka serialisasi
Nama pustaka serialisasi untuk Open CSV SerDe adalah. org.apache.hadoop.hive.serde2.OpenCSVSerde Untuk informasi kode sumber, lihat CSV SerDe
Menggunakan CSV Terbuka SerDe
Untuk menggunakan ini SerDe, tentukan nama kelas yang sepenuhnya memenuhi syarat setelahnyaROW FORMAT
SERDE. Juga tentukan pembatas di dalamnyaSERDEPROPERTIES, seperti pada contoh berikut.
...
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
"separatorChar" = ",",
"quoteChar" = "`",
"escapeChar" = "\\"
)Abaikan header
Untuk mengabaikan header dalam data Anda ketika Anda mendefinisikan tabel, Anda dapat menggunakan properti skip.header.line.count tabel, seperti pada contoh berikut.
TBLPROPERTIES ("skip.header.line.count"="1")Sebagai contoh, lihat CREATE TABLE pernyataan di Kueri log aliran VPC Amazon danKueri CloudFront log Amazon.
Pertimbangan untuk data string
CSV Terbuka SerDe memiliki karakteristik berikut untuk data string:
-
Menggunakan tanda kutip ganda (
") sebagai karakter kutipan default, dan memungkinkan Anda menentukan karakter pemisah, kutipan, dan pelarian, seperti:WITH SERDEPROPERTIES ("separatorChar" = ",", "quoteChar" = "`", "escapeChar" = "\\" ) -
Anda tidak dapat melarikan diri
\tatau\nsecara langsung. Untuk melarikan diri dari mereka, gunakan"escapeChar" = "\\". Sebagai contoh, lihat Example: Escaping \t or \n. -
CSV Terbuka SerDe tidak mendukung jeda baris yang disematkan dalam file CSV.
Pertimbangan untuk data non-string
Untuk tipe data selainSTRING, CSV Terbuka SerDe berperilaku sebagai berikut:
-
Mengenali
BOOLEAN,BIGINT,INT, dan tipeDOUBLEdata. -
Tidak mengenali nilai kosong atau nol dalam kolom yang didefinisikan sebagai tipe data numerik, meninggalkannya sebagai.
stringSalah satu solusinya adalah membuat kolom dengan nilai nol sebagaistringdan kemudian digunakanCASTuntuk mengonversi bidang dalam kueri menjadi tipe data numerik, memberikan nilai default untuk nol.0Untuk informasi lebih lanjut, lihat Ketika saya menanyakan data CSV di Athena, saya mendapatkan kesalahan HIVE_BAD_DATA: Error parsing field value in theKnowledge Center. AWS -
Untuk kolom yang ditentukan dengan tipe
timestampdata dalamCREATE TABLEpernyataan Anda, mengenaliTIMESTAMPdata jika ditentukan dalam format numerik UNIX dalam milidetik, seperti.1579059880000Sebagai contoh, lihat Example: Using the TIMESTAMP type and DATE type specified in the UNIX numeric format.-
CSV Terbuka SerDe tidak mendukung
TIMESTAMPdalamjava.sql.Timestampformat yang sesuai dengan JDBC, seperti"YYYY-MM-DD HH:MM:SS.fffffffff"(presisi tempat desimal 9).
-
-
Untuk kolom yang ditentukan dengan tipe
DATEdata dalamCREATE TABLEpernyataan Anda, kenali nilai sebagai tanggal jika nilai mewakili jumlah hari yang telah berlalu sejak 1 Januari 1970. Misalnya, nilai18276dalam kolom dengan tipedatedata dirender seperti2020-01-15saat ditanyakan. Dalam format UNIX ini, setiap hari dianggap memiliki 86.400 detik.-
CSV Terbuka SerDe tidak mendukung
DATEdalam format lain secara langsung. Untuk memproses data stempel waktu dalam format lain, Anda dapat menentukan kolom sebagaistringdan kemudian menggunakan fungsi konversi waktu untuk mengembalikan hasil yang diinginkan dalam kueri AndaSELECT. Untuk informasi lebih lanjut, lihat artikel Saat saya menanyakan tabel di Amazon Athena, hasil TIMESTAMP kosong di pusatpengetahuan.AWS
-
-
Untuk mengonversi kolom lebih lanjut ke jenis yang diinginkan dalam tabel, Anda dapat membuat tampilan di atas tabel dan menggunakannya
CASTuntuk mengonversi ke jenis yang diinginkan.
Contoh
contoh Contoh: Menanyakan data CSV sederhana
Contoh berikut mengasumsikan Anda memiliki data CSV yang disimpan di lokasi s3://amzn-s3-demo-bucket/mycsv/ dengan konten berikut:
"a1","a2","a3","a4"
"1","2","abc","def"
"a","a1","abc3","ab4"Gunakan CREATE TABLE pernyataan untuk membuat tabel Athena berdasarkan data. Referensi OpenCSVSerde (perhatikan “d” dalam huruf kecil) setelah ROW FORMAT SERDE dan tentukan pemisah karakter, karakter kutipan, dan karakter escape diWITH SERDEPROPERTIES, seperti pada contoh berikut.
CREATE EXTERNAL TABLE myopencsvtable (
col1 string,
col2 string,
col3 string,
col4 string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
'separatorChar' = ',',
'quoteChar' = '"',
'escapeChar' = '\\'
)
STORED AS TEXTFILE
LOCATION 's3://amzn-s3-demo-bucket/mycsv/';Kueri semua nilai dalam tabel:
SELECT * FROM myopencsvtable;Query mengembalikan nilai-nilai berikut:
col1 col2 col3 col4
-----------------------------
a1 a2 a3 a4
1 2 abc def
a a1 abc3 ab4contoh Contoh: Menggunakan tipe TIMESTAMP dan tipe DATE yang ditentukan dalam format numerik UNIX
Pertimbangkan tiga kolom berikut dari data yang dipisahkan koma. Nilai-nilai di setiap kolom diapit tanda kutip ganda.
"unixvalue creationdate 18276 creationdatetime 1579059880000","18276","1579059880000"
Pernyataan berikut membuat tabel di Athena dari lokasi bucket Amazon S3 yang ditentukan.
CREATE EXTERNAL TABLE IF NOT EXISTS testtimestamp1(
`profile_id` string,
`creationdate` date,
`creationdatetime` timestamp
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
LOCATION 's3://amzn-s3-demo-bucket'Selanjutnya, jalankan query berikut:
SELECT * FROM testtimestamp1Query mengembalikan hasil sebagai berikut, menunjukkan tanggal dan waktu data:
profile_id creationdate creationdatetime unixvalue creationdate 18276 creationdatetime 1579146280000 2020-01-15 2020-01-15 03:44:40.000
contoh Contoh: Melarikan diri\ t atau\n
Pertimbangkan data uji berikut:
" \\t\\t\\n 123 \\t\\t\\n ",abc " 456 ",xyz
Pernyataan berikut membuat tabel di Athena, menentukan itu. "escapeChar" = "\\"
CREATE EXTERNAL TABLE test1 (
f1 string,
s2 string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES ("separatorChar" = ",", "escapeChar" = "\\")
LOCATION 's3://amzn-s3-demo-bucket/dataset/test1/'Selanjutnya, jalankan query berikut:
SELECT * FROM test1;Ia mengembalikan hasil ini, melarikan diri dengan benar \t atau\n:
f1 s2 \t\t\n 123 \t\t\n abc 456 xyz
