Tentukan pengaturan konfigurasi agen - Amazon Data Firehose

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tentukan pengaturan konfigurasi agen

Agen mendukung dua pengaturan konfigurasi wajib, filePattern dan deliveryStream, ditambah pengaturan konfigurasi opsional untuk fitur tambahan. Anda dapat menentukan pengaturan konfigurasi wajib dan opsional di /etc/aws-kinesis/agent.json.

Setiap kali mengubah file konfigurasi, Anda harus menghentikan dan memulai agen, menggunakan perintah berikut:

sudo service aws-kinesis-agent stop
sudo service aws-kinesis-agent start

Atau, Anda dapat menggunakan perintah berikut:

sudo service aws-kinesis-agent restart

Berikut ini adalah pengaturan konfigurasi umum.

Pengaturan Konfigurasi Deskripsi
assumeRoleARN

Amazon Resource Name (ARN) dari peran yang akan diasumsikan oleh pengguna. Untuk informasi selengkapnya, lihat Mendelegasikan Akses di Seluruh AWS Akun Menggunakan IAM Peran di Panduan IAM Pengguna.
assumeRoleExternalId

Pengidentifikasi opsional yang menentukan siapa yang dapat mengambil peran tersebut. Untuk informasi selengkapnya, lihat Cara Menggunakan ID Eksternal di Panduan IAM Pengguna.
awsAccessKeyId

AWS ID kunci akses yang mengesampingkan kredensyal default. Pengaturan ini diutamakan daripada semua penyedia kredensial lainnya.
awsSecretAccessKey

AWS kunci rahasia yang mengesampingkan kredensi default. Pengaturan ini diutamakan daripada semua penyedia kredensial lainnya.
cloudwatch.emitMetrics

Memungkinkan agen untuk memancarkan metrik ke CloudWatch if set (true).

Default: betul
cloudwatch.endpoint

Titik akhir regional untuk CloudWatch.

Default: monitoring.us-east-1.amazonaws.com
firehose.endpoint

Titik akhir regional untuk Amazon Data Firehose.

Default: firehose.us-east-1.amazonaws.com
sts.endpoint

Titik akhir regional untuk Layanan Token AWS Keamanan.

Default: https://sts.amazonaws.com
userDefinedCredentialsProvider.classname Jika Anda menentukan penyedia kredensial khusus, beri nama kelas yang sepenuhnya memenuhi syarat menggunakan pengaturan ini. Jangan sertakan .class pada akhir nama kelas.
userDefinedCredentialsProvider.location Jika Anda menentukan penyedia kredensial khusus, gunakan pengaturan ini untuk menentukan jalur absolut dari jar yang berisi penyedia kredensial khusus. Agen juga mencari file jar di lokasi berikut: /usr/share/aws-kinesis-agent/lib/.

Berikut ini adalah pengaturan konfigurasi aliran.

Pengaturan Konfigurasi Deskripsi
aggregatedRecordSizeBytes

Untuk membuat catatan agregat agen dan kemudian memasukkannya ke aliran Firehose dalam satu operasi, tentukan pengaturan ini. Setel ke ukuran yang Anda inginkan untuk memiliki catatan agregat sebelum agen memasukkannya ke aliran Firehose.

Default: 0 (tidak ada agregasi)
dataProcessingOptions

Daftar opsi pemrosesan diterapkan ke setiap catatan yang diuraikan sebelum dikirim ke aliran Firehose. Pilihan pemrosesan dilakukan dalam urutan yang ditentukan. Untuk informasi selengkapnya, lihat Pra-proses data dengan Agen.
deliveryStream

[Wajib] Nama aliran Firehose.
filePattern

[Diperlukan] Sebuah glob untuk file yang perlu dipantau oleh agen. Setiap file yang cocok dengan pola ini diambil oleh agen secara otomatis dan dipantau. Untuk semua file yang cocok dengan pola ini, berikan izin baca untuk aws-kinesis-agent-user. Untuk direktori yang berisi file, berikan izin baca dan eksekusi untuk aws-kinesis-agent-user.

penting

Agen mengambil file yang cocok dengan pola ini. Untuk memastikan bahwa agen tidak mengambil catatan yang tidak diinginkan, pilih pola ini dengan hati-hati.
initialPosition

Posisi awal dari mana file mulai diurai. Nilai yang valid adalah START_OF_FILE dan END_OF_FILE.

Default: END_OF_FILE
maxBufferAgeMillis

Waktu maksimum, dalam milidetik, di mana agen buffer data sebelum mengirimnya ke aliran Firehose.

Kisaran nilai: 1.000–900.000 (1 detik sampai 15 menit)

Default: 60.000 (1 menit)
maxBufferSizeBytes

Ukuran maksimum, dalam byte, di mana agen buffer data sebelum mengirimnya ke aliran Firehose.

Kisaran nilai: 1–4.194.304 (4 MB)

Default: 4.194.304 (4 MB)
maxBufferSizeRecords

Jumlah maksimum catatan yang agen buffer data sebelum mengirimnya ke aliran Firehose.

Kisaran nilai: 1–500

Default: 500
minTimeBetweenFilePollsMillis

Interval waktu, dalam milidetik, saat agen melakukan polling dan mengurai file yang dipantau untuk data baru.

Kisaran nilai: 1 atau lebih

Default: 100
multiLineStartPattern

Pola untuk mengidentifikasi awal catatan. Catatan dibuat dari baris yang cocok dengan pola tersebut dan baris berikutnya yang tidak cocok dengan pola tersebut. Nilai-nilai yang benar adalah ekspresi reguler. Secara default, setiap baris baru dalam file log diurai sebagai satu catatan.
skipHeaderLines

Jumlah baris yang dilewati agen untuk diurai di awal file yang dipantau.

Kisaran nilai: 0 atau lebih

Default: 0 (nol)
truncatedRecordTerminator

String yang digunakan agen untuk memotong rekaman yang diuraikan saat ukuran rekaman melebihi batas ukuran rekaman Amazon Data Firehose. (1.000 KB)

Default: '\n' (baris baru)