Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konsep UNLOAD

Sintaks

UNLOAD (SELECT statement)
 TO 's3://bucket-name/folder'
 WITH ( option = expression [, ...] )

optiondimana

{ partitioned_by = ARRAY[ col_name[,…] ] 
 | format = [ '{ CSV | PARQUET }' ] 
 | compression = [ '{ GZIP | NONE }' ]
 | encryption = [ '{ SSE_KMS | SSE_S3 }' ]
 | kms_key = '<string>'
 | field_delimiter ='<character>'
 | escaped_by = '<character>'
 | include_header = ['{true, false}']
 | max_file_size = '<value>'
 | }

Parameter

Apa yang ditulis ke ember S3 saya?

Untuk setiap UNLOAD kueri yang berhasil dijalankan, Timestream untuk LiveAnalytics menulis hasil kueri, file metadata, dan file manifes Anda ke dalam bucket S3. Jika Anda telah mempartisi data, Anda memiliki semua folder partisi di folder hasil. File manifes berisi daftar file yang ditulis oleh UNLOAD perintah. File metadata berisi informasi yang menjelaskan karakteristik, properti, dan atribut data tertulis.

Apa nama file yang diekspor?

Nama file yang diekspor berisi dua komponen, komponen pertama adalah QueryID dan komponen kedua adalah pengidentifikasi unik.

CSVberkas

S3://bucket_name/results/<queryid>_<UUID>.csv
S3://bucket_name/results/<partitioncolumn>=<partitionvalue>/<queryid>_<UUID>.csv

File terkompresi CSV

S3://bucket_name/results/<partitioncolumn>=<partitionvalue>/<queryid>_<UUID>.gz 

File parket

S3://bucket_name/results/<partitioncolumn>=<partitionvalue>/<queryid>_<UUID>.parquet

File metadata dan Manifest

S3://bucket_name/<queryid>_<UUID>_manifest.json 
S3://bucket_name/<queryid>_<UUID>_metadata.json 

Karena data dalam CSV format disimpan pada tingkat file, saat Anda mengompres data saat mengekspor ke S3, file tersebut akan memiliki ekstensi “.gz”. Namun, data di Parket dikompresi pada tingkat kolom sehingga bahkan ketika Anda mengompres data saat mengekspor, file tersebut masih akan memiliki ekstensi.parquet.

Informasi apa yang terkandung dalam setiap file?

File manifes

File manifes memberikan informasi tentang daftar file yang diekspor dengan UNLOAD eksekusi. File manifes tersedia di bucket S3 yang disediakan dengan nama file:s3://<bucket_name>/<queryid>_<UUID>_manifest.json. File manifes akan berisi url file di folder hasil, jumlah catatan dan ukuran file masing-masing, dan metadata kueri (yang merupakan total byte dan total baris yang diekspor ke S3 untuk kueri).

{
  "result_files": [
    {
        "url":"s3://my_timestream_unloads/ec2_metrics/AEDAGANLHLBH4OLISD3CVOZZRWPX5GV2XCXRBKCVD554N6GWPWWXBP7LSG74V2Q_1448466917_szCL4YgVYzGXj2lS.gz", 
        "file_metadata": 
            { 
                "content_length_in_bytes": 32295, 
                "row_count": 10 
            }
    },
    {
        "url":"s3://my_timestream_unloads/ec2_metrics/AEDAGANLHLBH4OLISD3CVOZZRWPX5GV2XCXRBKCVD554N6GWPWWXBP7LSG74V2Q_1448466917_szCL4YgVYzGXj2lS.gz", 
        "file_metadata": 
            { 
                "content_length_in_bytes": 62295, 
                "row_count": 20 
            }
    },
  ],
  "query_metadata": 
    {
      "content_length_in_bytes": 94590, 
      "total_row_count": 30,
      "result_format": "CSV",
      "result_version": "Amazon Timestream version 1.0.0"  
    },
  "author": {
        "name": "Amazon Timestream", 
        "manifest_file_version": "1.0" 
  }
}

Metadata

File metadata memberikan informasi tambahan tentang kumpulan data seperti nama kolom, jenis kolom, dan skema. <queryid>File metadata tersedia di bucket S3 yang disediakan dengan nama file: S3: //bucket_name/ _< >_metadata.json UUID

Berikut ini adalah contoh dari file metadata.

{
    "ColumnInfo": [
        {
            "Name": "hostname",
            "Type": {
                "ScalarType": "VARCHAR"
            }
        },
        {
            "Name": "region",
            "Type": {
                "ScalarType": "VARCHAR"
            }
        },
        {
            "Name": "measure_name",
            "Type": {
                "ScalarType": "VARCHAR"
            }
        },
        {
            "Name": "cpu_utilization",
            "Type": {
                "TimeSeriesMeasureValueColumnInfo": {
                    "Type": {
                        "ScalarType": "DOUBLE"
                    }
                }
            }
        }
  ],
  "Author": {
        "Name": "Amazon Timestream", 
        "MetadataFileVersion": "1.0" 
  }
}

Informasi kolom yang dibagikan dalam file metadata memiliki struktur yang sama seperti yang ColumnInfo dikirim dalam API respons Kueri untuk SELECT kueri.

Hasil

Folder hasil berisi data yang diekspor dalam Apache Parquet atau format. CSV

Contoh

Saat Anda mengirimkan UNLOAD kueri seperti di bawah ini melalui QueryAPI,

UNLOAD(SELECT user_id, ip_address, event, session_id, measure_name, time, query, quantity, product_id, channel 
                    FROM sample_clickstream.sample_shopping WHERE time BETWEEN ago(2d) AND now()) 
                TO 's3://my_timestream_unloads/withoutpartition/' WITH ( format='CSV', compression='GZIP')

UNLOADrespon query akan memiliki 1 baris* 3 kolom. 3 kolom tersebut adalah:

Anda akan mendapatkan jawaban berikut dari QueryAPI:

{
    "Rows": [
        {
            "Data": [
                {
                    "ScalarValue": "20" # No of rows in output across all files
                },
                {
                    "ScalarValue": "s3://my_timestream_unloads/withoutpartition/AEDAAANGH3D7FYHOBQGQQMEAISCJ45B42OWWJMOT4N6RRJICZUA7R25VYVOHJIY_<UUID>_metadata.json" #Metadata file
                },
                {
                    "ScalarValue": "s3://my_timestream_unloads/withoutpartition/AEDAAANGH3D7FYHOBQGQQMEAISCJ45B42OWWJMOT4N6RRJICZUA7R25VYVOHJIY_<UUID>_manifest.json" #Manifest file
                }
            ]
        }
    ],
    "ColumnInfo": [
        {
            "Name": "rows",
            "Type": {
                "ScalarType": "BIGINT"
            }
        },
        {
            "Name": "metadataFile",
            "Type": {
                "ScalarType": "VARCHAR"
            }
        },
        {
            "Name": "manifestFile",
            "Type": {
                "ScalarType": "VARCHAR"
            }
        }
    ],
    "QueryId": "AEDAAANGH3D7FYHOBQGQQMEAISCJ45B42OWWJMOT4N6RRJICZUA7R25VYVOHJIY",
    "QueryStatus": {
        "ProgressPercentage": 100.0,
        "CumulativeBytesScanned": 1000,
        "CumulativeBytesMetered": 10000000
    }
}

Jenis data

UNLOADPernyataan ini mendukung semua tipe data Timestream untuk bahasa LiveAnalytics kueri yang dijelaskan dalam Jenis data yang didukung kecuali time danunknown.