Menyimpan data yang diekspor di Amazon S3

Amazon Monitron menyediakan AWS CloudFormation template yang telah ditentukan untuk membantu menyiapkan Firehose dengan cepat untuk mengirimkan data dari aliran data Kinesis ke bucket Amazon S3. Template ini memungkinkan partisi dinamis dan objek Amazon S3 yang dikirimkan akan menggunakan format kunci berikut yang direkomendasikan oleh Amazon Monitron: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. Masuk ke AWS akun Anda.

2. Buka tab browser baru dengan URL berikut:

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. Pada CloudFormation halaman yang terbuka, di sudut kanan atas, pilih wilayah tempat Anda menggunakan Amazon Monitron.

4. Secara default, template akan membuat aliran data Kinesis baru dan bucket S3 bersama dengan sumber daya lain yang diperlukan untuk mengirimkan data ke Amazon S3. Anda dapat mengubah parameter untuk menggunakan sumber daya yang ada.

5. Centang kotak yang mengatakan Saya mengakui bahwa AWS CloudFormation mungkin membuat sumber daya IAM.

6. Pilih Buat tumpukan.

7. Pada halaman berikutnya, pilih ikon refresh sesering yang Anda suka sampai status tumpukan adalah CREATE_COMPLETE.

1. Masuk ke Konsol AWS Manajemen dan buka konsol Kinesis di https://console.aws.amazon.com/kinesis.

2. Pilih Streaming pengiriman di panel navigasi.

3. Pilih Buat aliran pengiriman.

4. Untuk Sumber, pilih Amazon Kinesis Data Streams.

5. Untuk Tujuan, pilih Amazon S3.

6. Di bawah Pengaturan Sumber, aliran data Kinesis, masukkan ARN aliran data Kinesis Anda.

7. Di bawah nama aliran pengiriman, masukkan nama aliran data Kinesis Anda.

8. Di bawah Pengaturan Desination, pilih bucket Amazon S3 atau masukkan URI bucket.

9. (opsional) Aktifkan partisi dinamis menggunakan parsing sebaris untuk JSON. Opsi ini sesuai jika Anda ingin mempartisi data pengukuran streaming berdasarkan informasi sumber dan stempel waktu. Contoh:

   • Pilih Di aktifkan untuk partisi dinamis.

   • Pilih Diaktifkan untuk pembatas baris baru.

   • Pilih Di aktifkan untuk peng uraian sebaris untuk JSON.

   • Di bawah Tombol partisi dinamis, tambahkan:

     Nama kunci	Ekspresi JQ
     proyek	.proyek DisplayName | “proyek =\ (.)”
     situs	.situs DisplayName | “situs =\ (.)”
     Waktu	.timestamp| sub (“[0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $”; "00:00:00 “) | “waktu=\ (.)”

10. Pilih Ter apkan kunci partisi dinamis dan konfirmasikan awalan bucket Amazon S3 yang dihasilkan adalah!{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/.

11. Di Amazon S3, objek akan menggunakan format kunci berikut:/project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}.

12. Pilih Buat aliran pengiriman.

13. (opsional) Gunakan jalur yang lebih granular.

    Jika Anda memilih partisi dinamis, gunakan format kunci Amazon S3 sebelumnya jika Anda berencana untuk menggunakan AWS Glue dan Athena untuk menanyakan data. Anda juga dapat memilih format kunci yang lebih halus, tetapi kueri Amazon Athena tidak akan efisien. Berikut adalah contoh pengaturan jalur kunci Amazon S3 yang lebih halus.

    Di bawah Tombol partisi dinamis, tambahkan:

    Nama kunci	Ekspresi JQ
    proyek	.proyek DisplayName | “proyek =\ (.)”
    situs	.situs DisplayName | “situs =\ (.)”
    aset	.aset DisplayName | “aset=\ (.)”
    posisi	.sensor PositionDisplayName | “posisi=\ (.)”
    sensor	.sensor.physicalId | “sensor=\ (.)”
    date	.timestamp| sub (” [0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $”; “”) | “tanggal=\ (.)”

    Di Amazon S3, objek akan menggunakan format kunci berikut: /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}