Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konfigurasikan pengaturan tujuan
Bagian ini menjelaskan pengaturan yang harus Anda konfigurasikan untuk aliran Firehose berdasarkan tujuan yang Anda pilih.
Topik
Konfigurasikan pengaturan tujuan untuk Amazon S3
Anda harus menentukan pengaturan berikut agar dapat menggunakan Amazon S3 sebagai tujuan untuk aliran Firehose Anda.
-
Masukkan nilai untuk bidang berikut.
- Ember S3
-
Pilih bucket S3 yang Anda miliki tempat data streaming harus dikirim. Anda dapat membuat bucket S3 atau memilih yang sudah ada.
- Pembatas baris baru
-
Anda dapat mengonfigurasi aliran Firehose untuk menambahkan pembatas baris baru di antara catatan dalam objek yang dikirimkan ke Amazon S3. Untuk melakukannya, pilih Di aktifkan. Untuk tidak menambahkan pembatas baris baru di antara catatan dalam objek yang dikirimkan ke Amazon S3, pilih Dinonaktifkan. Jika Anda berencana menggunakan Athena untuk menanyakan objek S3 dengan catatan agregat, aktifkan opsi ini.
- Partisi dinamis
-
Pilih Di aktifkan untuk mengaktifkan dan mengkonfigurasi partisi dinamis.
- Deagregasi multi rekaman
-
Ini adalah proses penguraian catatan di aliran Firehose dan memisahkannya berdasarkan JSON yang valid atau pada pembatas baris baru yang ditentukan.
Jika Anda menggabungkan beberapa peristiwa, log, atau catatan ke dalam satu panggilan PutRecord dan PutRecordBatch API, Anda masih dapat mengaktifkan dan mengonfigurasi partisi dinamis. Dengan data agregat, saat Anda mengaktifkan partisi dinamis, Amazon Data Firehose mengurai catatan dan mencari beberapa objek JSON yang valid dalam setiap panggilan API. Ketika aliran Firehose dikonfigurasi dengan Kinesis Data Stream sebagai sumber, Anda juga dapat menggunakan agregasi bawaan di Kinesis Producer Library (KPL). Fungsionalitas partisi data dijalankan setelah data dide-agregasi. Oleh karena itu, setiap rekaman dalam setiap panggilan API dapat dikirimkan ke awalan Amazon S3 yang berbeda. Anda juga dapat memanfaatkan integrasi fungsi Lambda untuk melakukan deagregasi lain atau transformasi lainnya sebelum fungsi partisi data.
penting
Jika data Anda dikumpulkan, partisi dinamis hanya dapat diterapkan setelah deagregasi data dilakukan. Jadi, jika Anda mengaktifkan partisi dinamis ke data agregat Anda, Anda harus memilih Di aktifkan untuk mengaktifkan deagregasi multi rekaman.
Aliran Firehose melakukan langkah-langkah pemrosesan berikut dalam urutan berikut: deagregasi KPL (protobuf), deagregasi JSON atau pembatas, pemrosesan Lambda, partisi data, konversi format data, dan pengiriman Amazon S3.
- Jenis deagregasi multi rekaman
-
Jika Anda mengaktifkan deagregasi multi rekaman, Anda harus menentukan metode Firehose untuk mendeagregasi data Anda. Gunakan menu drop-down untuk memilih JSON atau Delimited.
- Penguraian sebaris
-
Ini adalah salah satu mekanisme yang didukung untuk mempartisi data Anda secara dinamis yang terikat untuk Amazon S3. Untuk menggunakan penguraian sebaris untuk partisi dinamis data Anda, Anda harus menentukan parameter rekaman data yang akan digunakan sebagai kunci partisi dan memberikan nilai untuk setiap kunci partisi yang ditentukan. Pilih Di aktifkan untuk mengaktifkan dan mengonfigurasi penguraian sebaris.
penting
Jika Anda menentukan fungsi AWS Lambda dalam langkah-langkah di atas untuk mengubah catatan sumber Anda, Anda dapat menggunakan fungsi ini untuk mempartisi data Anda secara dinamis yang terikat ke S3 dan Anda masih dapat membuat kunci partisi dengan penguraian sebaris. Dengan partisi dinamis, Anda dapat menggunakan penguraian sebaris atau fungsi AWS Lambda Anda untuk membuat kunci partisi Anda. Atau Anda dapat menggunakan penguraian sebaris dan fungsi AWS Lambda Anda secara bersamaan untuk membuat kunci partisi Anda.
- Tombol partisi dinamis
-
Anda dapat menggunakan bidang K unci dan Nilai untuk menentukan parameter catatan data yang akan digunakan sebagai kunci partisi dinamis dan kueri jq untuk menghasilkan nilai kunci partisi dinamis. Firehose hanya mendukung jq 1.6. Anda dapat menentukan hingga 50 kunci partisi dinamis. Anda harus memasukkan ekspresi jq yang valid untuk nilai kunci partisi dinamis Anda agar berhasil mengonfigurasi partisi dinamis untuk aliran Firehose Anda.
- Awalan bucket S3
-
Saat mengaktifkan dan mengonfigurasi partisi dinamis, Anda harus menentukan awalan bucket S3 yang digunakan Amazon Data Firehose untuk mengirimkan data yang dipartisi.
Agar partisi dinamis dikonfigurasi dengan benar, jumlah awalan bucket S3 harus identik dengan jumlah kunci partisi yang ditentukan.
Anda dapat mempartisi data sumber Anda dengan parsing sebaris atau dengan fungsi AWS Lambda yang Anda tentukan. Jika Anda menentukan fungsi AWS Lambda untuk membuat kunci partisi untuk data sumber Anda, Anda harus mengetikkan nilai awalan bucket S3 secara manual menggunakan format berikut: “partitionKeyFromLambda:keyID”. Jika Anda menggunakan penguraian sebaris untuk menentukan kunci partisi untuk data sumber Anda, Anda dapat mengetik secara manual nilai pratinjau bucket S3 menggunakan format berikut: “partisiKeyFromQuery:keyID” atau Anda dapat memilih tombol Ter apkan kunci partisi dinamis untuk menggunakan key/value pasangan partisi dinamis Anda untuk membuat awalan bucket S3 secara otomatis. Saat mempartisi data Anda dengan parsing sebaris atau AWS Lambda, Anda juga dapat menggunakan formulir ekspresi berikut di awalan bucket S3 Anda:! {namespace:value}, di mana namespace dapat berupa partisi atau partisi. KeyFromQuery KeyFromLambda
- Bucket S3 dan zona waktu awalan keluaran kesalahan S3
Pilih zona waktu yang ingin Anda gunakan untuk tanggal dan waktu di aw alan khusus untuk objek Amazon S3. Secara default, Firehose menambahkan awalan waktu di UTC. Anda dapat mengubah zona waktu yang digunakan dalam prefiks S3 jika Anda ingin menggunakan zona waktu yang berbeda.
- Petunjuk penyangga
-
Firehose buffer data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
- Kompresi S3
-
Pilih kompresi data GZIP, Snappy, Zip, atau Hadoop-Compatible Snappy, atau tanpa kompresi data. Kompresi Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk streaming Firehose dengan Amazon Redshift sebagai tujuan.
- Format ekstensi file S3 (opsional)
Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang tepat saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.
- Enkripsi S3
Firehose mendukung enkripsi sisi server Amazon S3 dengan AWS Key Management Service (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan kunci terkel AWS ola default (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Server-Side Enkripsi dengan AWS KMS-Managed Kunci (SSE-KMS).
Konfigurasikan pengaturan tujuan untuk Apache Iceberg Tables
Firehose mendukung Apache Iceberg Tables sebagai tujuan di semua wilayah Wilayah AWS kecuali China AWS GovCloud (US) Regions, Asia Pasifik (Taipei), Asia Pasifik (Malaysia), Asia Pasifik (Selandia Baru), dan Meksiko (Tengah).
Untuk informasi lebih lanjut tentang Apache Iceberg Tables sebagai tujuan Anda, lihatMengirimkan data ke Apache Iceberg Tables dengan Amazon Data Firehose.
Konfigurasikan pengaturan tujuan untuk Amazon Redshift
Bagian ini menjelaskan pengaturan untuk menggunakan Amazon Redshift sebagai tujuan streaming Firehose Anda.
Pilih salah satu prosedur berikut berdasarkan apakah Anda memiliki cluster yang disediakan Amazon Redshift atau grup kerja Amazon Redshift Serverless.
-
Konfigurasikan pengaturan tujuan untuk grup kerja Amazon Redshift Serverless
catatan
Firehose tidak dapat menulis ke cluster Amazon Redshift yang menggunakan perutean VPC yang disempurnakan.
Cluster yang Disediakan Amazon Redshift
Bagian ini menjelaskan pengaturan untuk menggunakan cluster yang disediakan Amazon Redshift sebagai tujuan aliran Firehose Anda.
-
Masukkan nilai untuk bidang berikut:
- Kluster
-
Klaster Amazon Redshift tempat tujuan data bucket S3 disalin. Konfigurasikan cluster Amazon Redshift agar dapat diakses publik dan membuka blokir alamat IP Amazon Data Firehose. Untuk informasi selengkapnya, lihat Berikan akses Firehose ke tujuan Amazon Redshift.
- Autentikasi
-
Anda dapat memilih untuk memasukkan secara username/password langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses cluster Amazon Redshift.
-
Nama pengguna
Tentukan pengguna Amazon Redshift dengan izin untuk mengakses cluster Amazon Redshift. Pengguna ini harus memiliki izin
INSERTAmazon Redshift untuk menyalin data dari bucket S3 ke klaster Amazon Redshift. Kata Sandi
Tentukan kata sandi untuk pengguna yang memiliki izin untuk mengakses cluster.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kredenSIAL untuk cluster Amazon Redshift. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu AWS Secrets Manager untuk kredenSIAL Amazon Redshift Anda. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
-
- Basis Data
-
Basis data Amazon Redshift tempat tujuan data disalin.
- Tabel
-
Tabel Amazon Redshift tempat tujuan data disalin.
- Kolom
-
(Opsional) Kolom tertentu dari tabel tempat tujuan data disalin. Gunakan opsi ini jika jumlah kolom yang didefinisikan di objek Amazon S3 Anda kurang dari jumlah kolom dalam tabel Amazon Redshift.
- Tujuan S3 menengah
-
Firehose mengirimkan data Anda ke bucket S3 Anda terlebih dahulu dan kemudian mengeluarkan COPY perintah Amazon Redshift untuk memuat data ke cluster Amazon Redshift Anda. Tentukan bucket S3 yang Anda miliki tempat data streaming harus dikirim. Anda dapat membuat bucket S3 atau memilih bucket yang Anda miliki.
Firehose tidak menghapus data dari bucket S3 Anda setelah memuatnya ke cluster Amazon Redshift Anda. Anda dapat mengelola data dalam bucket S3 Anda menggunakan konfigurasi siklus hidup. Untuk informasi selengkapnya, lihat Manajemen Siklus Hidup Objek di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.
- Awalan S3 menengah
-
(Opsional) Untuk menggunakan prefiks default untuk objek Amazon S3, biarkan opsi ini kosong. Firehose secara otomatis menggunakan awalan dalam format waktu
YYYY/MM/dd/HH"" UTC untuk objek Amazon S3 yang dikirimkan. Anda dapat menambahkan ke awal prefiks ini. Untuk informasi selengkapnya, lihat Konfigurasikan format nama objek Amazon S3. - Opsi SALIN
-
Parameter yang dapat Anda tentukan di perintah COPY Amazon Redshift. Ini mungkin diperlukan untuk konfigurasi Anda. Misalnya, "
GZIP" diperlukan jika kompresi data Amazon S3 diaktifkan. “REGION" diperlukan jika bucket S3 Anda tidak berada di Wilayah yang sama AWS dengan cluster Amazon Redshift Anda. Untuk informasi selengkapnya, lihat SALIN di Panduan Developer Basis Data Amazon Redshift. - perintah COPY
-
Perintah COPY Amazon Redshift. Untuk informasi selengkapnya, lihat SALIN di Panduan Developer Basis Data Amazon Redshift.
- Durasi coba lagi
-
Durasi waktu (0-7200 detik) untuk Firehose untuk mencoba lagi jika data COPY ke cluster Amazon Redshift Anda gagal. Firehose mencoba lagi setiap 5 menit sampai durasi percobaan ulang berakhir. Jika Anda mengatur durasi percobaan ulang ke 0 (nol) detik, Firehose tidak akan mencoba lagi jika perintah gagal. COPY
- Petunjuk penyangga
-
Firehose buffer data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
- Kompresi S3
-
Pilih kompresi data GZIP, Snappy, Zip, atau Hadoop-Compatible Snappy, atau tanpa kompresi data. Kompresi Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk streaming Firehose dengan Amazon Redshift sebagai tujuan.
- Format ekstensi file S3 (opsional)
Format ekstensi file S3 (opsional) — Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang tepat saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.
- Enkripsi S3
Firehose mendukung enkripsi sisi server Amazon S3 dengan AWS Key Management Service (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan kunci terkel AWS ola default (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Server-Side Enkripsi dengan AWS KMS-Managed Kunci (SSE-KMS).
Konfigurasikan pengaturan tujuan untuk grup kerja Amazon Redshift Serverless
Bagian ini menjelaskan pengaturan untuk menggunakan grup kerja Amazon Redshift Serverless sebagai tujuan aliran Firehose Anda.
-
Masukkan nilai untuk bidang berikut:
- Nama kelompok kerja
-
Kelompok kerja Amazon Redshift Serverless tempat data bucket S3 disalin. Konfigurasikan workgroup Amazon Redshift Serverless agar dapat diakses publik dan membuka blokir alamat IP Firehose. Untuk informasi selengkapnya, lihat bagian Menghubungkan ke instans Tanpa Server Amazon Redshift yang dapat diakses publik di Mengh ubungkan ke Amazon Redshift Server less dan juga. Berikan akses Firehose ke tujuan Amazon Redshift
- Autentikasi
-
Anda dapat memilih untuk memasukkan secara username/password langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses grup kerja Amazon Redshift Serverless.
-
Nama pengguna
Tentukan pengguna Amazon Redshift dengan izin untuk mengakses grup kerja Amazon Redshift Serverless. Pengguna ini harus memiliki
INSERTizin Amazon Redshift untuk menyalin data dari bucket S3 ke grup kerja Amazon Redshift Serverless. Kata Sandi
Tentukan kata sandi untuk pengguna yang memiliki izin untuk mengakses grup kerja Amazon Redshift Serverless.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kredenSIAL untuk grup kerja Amazon Redshift Serverless. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu AWS Secrets Manager untuk kredenSIAL Amazon Redshift Anda. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
-
- Basis Data
-
Basis data Amazon Redshift tempat tujuan data disalin.
- Tabel
-
Tabel Amazon Redshift tempat tujuan data disalin.
- Kolom
-
(Opsional) Kolom tertentu dari tabel tempat tujuan data disalin. Gunakan opsi ini jika jumlah kolom yang didefinisikan di objek Amazon S3 Anda kurang dari jumlah kolom dalam tabel Amazon Redshift.
- Tujuan S3 menengah
-
Amazon Data Firehose mengirimkan data Anda ke bucket S3 Anda terlebih dahulu dan kemudian mengeluarkan COPY perintah Amazon Redshift untuk memuat data ke dalam kelompok kerja Amazon Redshift Serverless Anda. Tentukan bucket S3 yang Anda miliki tempat data streaming harus dikirim. Anda dapat membuat bucket S3 atau memilih bucket yang Anda miliki.
Firehose tidak menghapus data dari bucket S3 Anda setelah memuatnya ke grup kerja Amazon Redshift Serverless Anda. Anda dapat mengelola data dalam bucket S3 Anda menggunakan konfigurasi siklus hidup. Untuk informasi selengkapnya, lihat Manajemen Siklus Hidup Objek di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.
- Awalan S3 menengah
-
(Opsional) Untuk menggunakan prefiks default untuk objek Amazon S3, biarkan opsi ini kosong. Firehose secara otomatis menggunakan awalan dalam format waktu
YYYY/MM/dd/HH"" UTC untuk objek Amazon S3 yang dikirimkan. Anda dapat menambahkan ke awal prefiks ini. Untuk informasi selengkapnya, lihat Konfigurasikan format nama objek Amazon S3. - Opsi SALIN
-
Parameter yang dapat Anda tentukan di perintah COPY Amazon Redshift. Ini mungkin diperlukan untuk konfigurasi Anda. Misalnya, "
GZIP" diperlukan jika kompresi data Amazon S3 diaktifkan. “REGION" diperlukan jika bucket S3 Anda tidak berada di Wilayah yang sama dengan AWS kelompok kerja Amazon Redshift Serverless Anda. Untuk informasi selengkapnya, lihat SALIN di Panduan Developer Basis Data Amazon Redshift. - perintah COPY
-
Perintah COPY Amazon Redshift. Untuk informasi selengkapnya, lihat SALIN di Panduan Developer Basis Data Amazon Redshift.
- Durasi coba lagi
-
Durasi waktu (0-7200 detik) untuk Firehose untuk mencoba lagi jika data COPY ke grup kerja Amazon Redshift Serverless gagal. Firehose mencoba lagi setiap 5 menit sampai durasi percobaan ulang berakhir. Jika Anda mengatur durasi percobaan ulang ke 0 (nol) detik, Firehose tidak akan mencoba lagi jika perintah gagal. COPY
- Petunjuk penyangga
-
Firehose buffer data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
- Kompresi S3
-
Pilih kompresi data GZIP, Snappy, Zip, atau Hadoop-Compatible Snappy, atau tanpa kompresi data. Kompresi Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk streaming Firehose dengan Amazon Redshift sebagai tujuan.
- Format ekstensi file S3 (opsional)
Format ekstensi file S3 (opsional) — Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang tepat saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.
- Enkripsi S3
Firehose mendukung enkripsi sisi server Amazon S3 dengan AWS Key Management Service (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan kunci terkel AWS ola default (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Server-Side Enkripsi dengan AWS KMS-Managed Kunci (SSE-KMS).
Konfigurasikan pengaturan tujuan untuk OpenSearch Layanan
Firehose mendukung versi Elasticsearch - 1.5, 2.3, 5.1, 5.3, 5.5, 5.6, serta semua versi 6.*, 7.*, dan 8.*. Firehose mendukung Amazon OpenSearch Service 2.x dan 3.x.
Bagian ini menjelaskan opsi untuk menggunakan OpenSearch Layanan untuk tujuan Anda.
-
Masukkan nilai untuk bidang berikut:
- OpenSearch Domain layanan
-
Domain OpenSearch Layanan tempat data Anda dikirimkan.
- Indeks
-
Nama indeks OpenSearch Layanan yang akan digunakan saat mengindeks data ke cluster OpenSearch Layanan Anda.
- Rotasi indeks
-
Pilih apakah dan seberapa sering indeks OpenSearch Layanan harus diputar. Jika rotasi indeks diaktifkan, Amazon Data Firehose akan menambahkan tanda waktu yang sesuai ke nama indeks yang ditentukan dan dirotasi. Untuk informasi selengkapnya, lihat Konfigurasikan rotasi indeks untuk OpenSearch Layanan.
- Jenis
-
Nama jenis OpenSearch Layanan yang akan digunakan saat mengindeks data ke cluster OpenSearch Layanan Anda. Untuk Elasticsearch 7.x dan OpenSearch 1.x, hanya ada satu jenis per indeks. Jika Anda mencoba menentukan jenis baru untuk indeks yang sudah ada yang sudah memiliki jenis lain, Firehose mengembalikan kesalahan saat runtime.
Untuk Elasticsearch 7.x, biarkan bidang ini kosong.
- Durasi coba lagi
-
Durasi waktu Firehose untuk mencoba lagi jika permintaan indeks gagal OpenSearch . Untuk durasi coba lagi, Anda dapat mengatur nilai apa pun antara 0-7200 detik. Durasi coba ulang default adalah 300 detik. Firehose akan mencoba lagi beberapa kali dengan mundur eksponensial hingga durasi percobaan ulang berakhir.
Setelah durasi percobaan ulang berakhir, Firehose mengirimkan data ke Dead Letter Queue (DLQ), bucket kesalahan S3 yang dikonfigurasi. Untuk data yang dikirim ke DLQ, Anda harus mengembalikan data dari bucket kesalahan S3 yang dikonfigurasi ke OpenSearch tujuan.
Jika Anda ingin memblokir aliran Firehose agar tidak mengirimkan data ke DLQ karena downtime atau pemeliharaan OpenSearch cluster, Anda dapat mengonfigurasi durasi percobaan ulang ke nilai yang lebih tinggi dalam hitungan detik. Anda dapat meningkatkan nilai durasi coba ulang di atas menjadi 7200 detik dengan menghubungi AWS dukungan
. - Jenis DocumentID
-
Menunjukkan metode untuk mengatur ID dokumen. Metode yang didukung adalah ID Firehose-generated dokumen dan ID OpenSearch Service-generated dokumen. Firehose-generated ID dokumen adalah opsi default ketika nilai ID dokumen tidak disetel. OpenSearch Service-generated ID dokumen adalah opsi yang disarankan karena mendukung operasi penulisan berat, termasuk analisis log dan pengamatan, menghabiskan lebih sedikit sumber daya CPU di domain OpenSearch Layanan dan dengan demikian, menghasilkan peningkatan kinerja.
- Konektivitas VPC tujuan
-
Jika domain OpenSearch Layanan Anda berada di VPC pribadi, gunakan bagian ini untuk menentukan VPC tersebut. Juga tentukan subnet dan subgrup yang ingin digunakan Amazon Data Firehose saat mengirim data ke domain Layanan Anda OpenSearch . Anda dapat menggunakan grup keamanan yang sama yang OpenSearch digunakan domain Layanan. Jika Anda menentukan grup keamanan yang berbeda, pastikan grup tersebut mengizinkan lalu lintas HTTPS keluar ke grup keamanan domain OpenSearch Layanan. Juga pastikan bahwa grup keamanan domain OpenSearch Layanan mengizinkan lalu lintas HTTPS dari grup keamanan yang Anda tentukan saat mengonfigurasi aliran Firehose Anda. Jika Anda menggunakan grup keamanan yang sama untuk aliran Firehose dan domain OpenSearch Layanan, pastikan aturan masuk grup keamanan mengizinkan lalu lintas HTTPS. Untuk informasi lebih lanjut tentang aturan grup keamanan, lihat Aturan grup keamanan dalam Dokumentasi Amazon VPC.
penting
Saat Anda menentukan subnet untuk mengirimkan data ke tujuan di VPC pribadi, pastikan Anda memiliki cukup jumlah alamat IP gratis di subnet yang dipilih. Jika tidak ada alamat IP gratis yang tersedia di subnet tertentu, Firehose tidak dapat membuat atau menambahkan ENI untuk pengiriman data di VPC pribadi, dan pengiriman akan terdegradasi atau gagal.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Tanpa OpenSearch Server
Bagian ini menjelaskan opsi untuk menggunakan OpenSearch Tanpa Server untuk tujuan Anda.
-
Masukkan nilai untuk bidang berikut:
- OpenSearch Koleksi tanpa server
-
Titik akhir untuk sekelompok indeks OpenSearch Tanpa Server tempat data Anda dikirimkan.
- Indeks
-
Nama indeks OpenSearch Serverless yang akan digunakan saat mengindeks data ke koleksi OpenSearch Serverless Anda.
- Konektivitas VPC tujuan
-
Jika koleksi OpenSearch Tanpa Server Anda berada di VPC pribadi, gunakan bagian ini untuk menentukan VPC tersebut. Juga tentukan subnet dan subgrup yang ingin digunakan Amazon Data Firehose saat mengirim data ke koleksi Tanpa Server Anda OpenSearch .
penting
Saat Anda menentukan subnet untuk mengirimkan data ke tujuan di VPC pribadi, pastikan Anda memiliki cukup jumlah alamat IP gratis di subnet yang dipilih. Jika tidak ada alamat IP gratis yang tersedia di subnet tertentu, Firehose tidak dapat membuat atau menambahkan ENI untuk pengiriman data di VPC pribadi, dan pengiriman akan terdegradasi atau gagal.
- Durasi coba lagi
-
Durasi waktu Firehose untuk mencoba lagi jika permintaan indeks ke OpenSearch Serverless gagal. Untuk durasi coba lagi, Anda dapat mengatur nilai apa pun antara 0-7200 detik. Durasi coba ulang default adalah 300 detik. Firehose akan mencoba lagi beberapa kali dengan mundur eksponensial hingga durasi percobaan ulang berakhir.
Setelah durasi percobaan ulang berakhir, Firehose mengirimkan data ke Dead Letter Queue (DLQ), bucket kesalahan S3 yang dikonfigurasi. Untuk data yang dikirim ke DLQ, Anda harus mengembalikan data dari bucket kesalahan S3 yang dikonfigurasi ke tujuan Tanpa OpenSearch Server.
Jika Anda ingin memblokir aliran Firehose agar tidak mengirimkan data ke DLQ karena downtime atau pemeliharaan cluster OpenSearch Tanpa Server, Anda dapat mengonfigurasi durasi percobaan ulang ke nilai yang lebih tinggi dalam hitungan detik. Anda dapat meningkatkan nilai durasi coba ulang di atas menjadi 7200 detik dengan menghubungi AWS dukungan
. - Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
Konfigurasikan pengaturan tujuan untuk HTTP Endpoint
Bagian ini menjelaskan opsi untuk menggunakan Titik akhir HTTP untuk tujuan Anda.
penting
Jika Anda memilih titik akhir HTTP sebagai tujuan Anda, tinjau dan ikuti petunjuk di Memahami permintaan pengiriman titik akhir HTTP dan spesifikasi respons.
-
Berikan nilai untuk bidang berikut:
- Nama titik akhir HTTP - opsional
-
Tentukan nama yang ramah pengguna untuk titik akhir HTTP. Misalnya,
My HTTP Endpoint Destination. - URL titik akhir HTTP
-
Tentukan URL untuk titik akhir HTTP dalam format berikut:
https://xyz.httpendpoint.com. URL harus berupa URL HTTPS. - Autentikasi
-
Anda dapat memilih untuk memasukkan kunci akses secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses titik akhir HTTP.
(Opsional) Tombol akses
Hubungi pemilik titik akhir jika Anda perlu mendapatkan kunci akses untuk mengaktifkan pengiriman data ke titik akhir mereka dari Firehose.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kunci akses untuk titik akhir HTTP. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu AWS Secrets Manager untuk kunci akses. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Din onaktifkan untuk pengkodean enable/disable konten permintaan Anda.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke titik akhir HTTP yang dipilih.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
penting
Untuk tujuan titik akhir HTTP, jika Anda melihat 413 kode respons dari titik akhir tujuan di CloudWatch Log, turunkan ukuran petunjuk buffering pada aliran Firehose Anda dan coba lagi.
Konfigurasikan pengaturan tujuan untuk Datadog
Bagian ini menjelaskan opsi untuk menggunakan Datadog untuk tujuan Anda. Untuk informasi lebih lanjut tentang Datadog, lihat. https://docs.datadoghq.com/integrations/amazon_web_services/
-
Berikan nilai untuk bidang berikut.
- URL titik akhir HTTP
-
Pilih tempat Anda ingin mengirim data dari salah satu opsi berikut di menu drop-down.
-
Log Datadog - US1
-
Log Datadog - US3
-
Log Datadog - US5
-
Log Datadog - AP1
-
Log Datadog - UE
-
Log Datadog - GOV
-
Metrik Datadog - AS
-
Metrik Datadog - US5
-
Metrik Datadog - AP1
-
Metrik Datadog - UE
-
Konfigurasi Datadog - US1
-
Konfigurasi Datadog - US3
-
Konfigurasi Datadog - US5
-
Konfigurasi Datadog - AP1
-
Konfigurasi Datadog - EU
-
Konfigurasi Datadog - US GOV
-
- Autentikasi
-
Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses Datadog.
Kunci API
Hubungi Datadog untuk mendapatkan kunci API yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kunci API untuk Datadog. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Din onaktifkan untuk pengkodean enable/disable konten permintaan Anda.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke titik akhir HTTP yang dipilih.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Awan Grafana
Bagian ini menjelaskan opsi untuk menggunakan Grafana Cloud untuk tujuan Anda.
Format URL titik akhir HTTP dan cakupan kunci API yang diperlukan bergantung pada jenis data yang Anda kirim. Untuk petunjuk tentang mengkonfigurasi koneksi, lihat dokumentasi berikut di Grafana situs web:
-
Data metrik — Ali ran CloudWatch metrik Amazon
-
Data log - Log Amazon Data Firehose
-
Pilih opsi untuk digunakan Grafana Cloud sebagai tujuan streaming Firehose Anda.
- Jenis tertelan
-
Pilih untuk mengirimkan Metrik atau Log (default) ke Grafana Cloud untuk analisis dan pemrosesan lebih lanjut.
- URL titik akhir HTTP
-
Tentukan URL untuk titik akhir HTTP. Format URL tergantung pada jenis data yang Anda kirim.
Untuk data metrik, gunakan format berikut.
https://aws-metric-streams-MIMIR_CELL_ID.DOMAIN/aws-metrics/api/v1/pushUntuk data log, gunakan format berikut.
https://aws-LOKI_CELL_ID.grafana.net/aws-logs/api/v1/pushUntuk petunjuk tentang menentukan nilai untuk Grafana Cloud akun Anda, lihat dokumentasi Grafana koneksi untuk jenis data yang Anda kirim.
- Autentikasi
-
Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengaksesGrafana Cloud.
Kunci API
Hasilkan kunci API di Grafana Cloud mana Anda perlu mengaktifkan pengiriman data ke titik akhir ini dari Firehose. Cakupan yang dibutuhkan kunci API bergantung pada jenis data yang Anda kirim. Untuk petunjuk tentang membuat kunci API, lihat dokumentasi Grafana koneksi untuk jenis data yang Anda kirim.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kunci API untukGrafana Cloud. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean konten
-
Pilih apakah Anda ingin mengaktifkan pengkodean konten untuk mengompres isi permintaan. Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Saat diaktifkan, konten dikompresi dalam format GZIP.
- Durasi coba lagi
-
Tentukan berapa lama Firehose mencoba mengirim data ke titik akhir HTTP yang dipilih.
Setelah mengirim data, akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Firehose mengirim data ke titik akhir HTTP, baik selama upaya awal atau setelah mencoba lagi, Firehose memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Petunjuk buffer termasuk ukuran buffer dan interval untuk streaming Anda. Ukuran buffer yang disarankan untuk tujuan bervariasi sesuai dengan penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Honeycomb
Bagian ini menjelaskan opsi untuk menggunakan Honeycomb untuk tujuan Anda. Untuk informasi lebih lanjut tentang Honeycomb, lihat https://docs.honeycomb.io/getting-data-in/metrics/aws-cloudwatch-metrics/
-
Berikan nilai untuk bidang berikut:
- Titik akhir Honeycomb Kinesis
-
Tentukan URL untuk titik akhir HTTP dalam format berikut: https://api.honeycomb.io/1/kinesis_events/ {{dataset}}
- Autentikasi
-
Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses Honeycomb.
Kunci API
Hubungi Honeycomb untuk mendapatkan kunci API yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kunci API untuk Honeycomb. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP untuk mengaktifkan pengkodean konten permintaan Anda. Ini adalah opsi yang disarankan untuk tujuan Honeycomb.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke titik akhir HTTP yang dipilih.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Coralogix
Bagian ini menjelaskan opsi untuk menggunakan Coralogix untuk tujuan Anda. Untuk informasi lebih lanjut tentang Coralogix, lihat Mem ulai dengan Coralogix.
-
Berikan nilai untuk bidang berikut:
- URL titik akhir HTTP
-
Pilih URL titik akhir HTTP dari pilihan berikut di menu tarik-turun:
-
Coralogix - US
-
Coralogix - SINGAPORE
-
Coralogix - IRELAND
-
Coralogix - INDIA
-
Coralogix - STOCKHOLM
-
- Autentikasi
-
Anda dapat memilih untuk memasukkan kunci pribadi secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses Coralogix.
Kunci pribadi
Hubungi Coralogix untuk mendapatkan kunci pribadi yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kunci pribadi untuk Coralogix. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP untuk mengaktifkan pengkodean konten permintaan Anda. Ini adalah opsi yang disarankan untuk tujuan Coralogix.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke titik akhir HTTP yang dipilih.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
-
applicationName: lingkungan tempat Anda menjalankan Data Firehose
-
subsystemName: nama integrasi Data Firehose
-
computerName: nama aliran Firehose yang sedang digunakan
-
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang disarankan untuk tujuan bervariasi berdasarkan penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Dynatrace
Bagian ini menjelaskan opsi untuk menggunakan Dynatrace untuk tujuan Anda. Untuk informasi selengkapnya, lihat https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/
-
Pilih opsi untuk menggunakan Dynatrace sebagai tujuan untuk streaming Firehose Anda.
- Jenis konsumsi
-
Pilih apakah Anda ingin mengirimkan Metrik atau Log (default) di Dynatrace untuk analisis dan pemrosesan lebih lanjut.
- URL titik akhir HTTP
-
Pilih URL titik akhir HTTP (Dynatrace AS, Dynatrace EU, atau Dynatrace Global) dari menu drop-down.
- Autentikasi
-
Anda dapat memilih untuk memasukkan token API secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses Dynatrace.
Token API
Buat token API Dynatrace yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose. Untuk informasi selengkapnya, lihat Dynatrace API - Token dan otentikasi.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi token API untuk Dynatrace. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- URL API
-
Berikan URL API lingkungan Dynatrace Anda.
- Pengkodean konten
-
Pilih apakah Anda ingin mengaktifkan pengkodean konten untuk mengompres isi permintaan. Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Saat diaktifkan, konten dikompresi dalam format GZIP.
- Durasi coba lagi
-
Tentukan berapa lama Firehose mencoba mengirim data ke titik akhir HTTP yang dipilih.
Setelah mengirim data, akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Firehose mengirim data ke titik akhir HTTP, baik selama upaya awal atau setelah mencoba lagi, Firehose memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Petunjuk buffer termasuk ukuran buffer dan interval untuk streaming Anda. Ukuran buffer yang disarankan untuk tujuan bervariasi sesuai dengan penyedia layanan.
Konfigurasikan pengaturan tujuan untuk LogicMonitor
Bagian ini menjelaskan opsi untuk digunakan LogicMonitor untuk tujuan Anda. Untuk informasi selengkapnya, lihat https://www.logicmonitor.com
-
Berikan nilai untuk bidang berikut:
- URL titik akhir HTTP
-
Tentukan URL untuk titik akhir HTTP dalam format berikut.
https://ACCOUNT.logicmonitor.com - Autentikasi
-
Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses LogicMonitor.
Kunci API
Hubun LogicMonitor gi untuk mendapatkan kunci API yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kunci API untuk LogicMonitor. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Din onaktifkan untuk pengkodean enable/disable konten permintaan Anda.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke titik akhir HTTP yang dipilih.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Logz.io
Bagian ini menjelaskan opsi untuk digunakan Logz.io untuk tujuan Anda. Untuk informasi selengkapnya, lihat https://logz.io/
catatan
Di wilayah Eropa (Milan), Logz.io tidak didukung sebagai tujuan Amazon Data Firehose.
-
Berikan nilai untuk bidang berikut:
- URL titik akhir HTTP
-
Tentukan URL untuk titik akhir HTTP dalam format berikut. URL harus berupa
HTTPSURL.https://listener-aws-metrics-stream-<region>.logz.io/Sebagai contoh
https://listener-aws-metrics-stream-us.logz.io/ - Autentikasi
-
Anda dapat memilih untuk memasukkan token pengiriman secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses Logz.io.
-
Token pengiriman
Hubun Logz.io gi untuk mendapatkan token pengiriman yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi token pengiriman untuk Logz.io. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
-
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke. Logz.io
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
Konfigurasikan pengaturan tujuan untuk MongoDB Atlas
Bagian ini menjelaskan opsi untuk menggunakan MongoDB Atlas untuk tujuan Anda. Untuk informasi selengkapnya, lihat MongoDB Atlas di Amazon Web Services
-
Berikan nilai untuk bidang berikut:
- URL Gerbang API
-
Tentukan URL untuk titik akhir HTTP dalam format berikut.
https://xxxxx.execute-api.region.amazonaws.com/stageURL harus berupa
HTTPSURL. - Autentikasi
-
Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses MongoDB Atlas.
Kunci API
Ikuti petunjuk di MongoDB Atlas di Amazon Web Services
untuk mendapatkan APIKeyValueyang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi Kunci API untuk API Gateway yang didukung oleh Lambda yang berinteraksi dengan MongoDB Atlas. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Din onaktifkan untuk pengkodean enable/disable konten permintaan Anda.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke penyedia pihak ketiga yang dipilih.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
Konfigurasikan pengaturan tujuan untuk New Relic
Bagian ini menjelaskan opsi untuk menggunakan New Relic untuk tujuan Anda. Untuk informasi selengkapnya, lihat https://newrelic.com
-
Berikan nilai untuk bidang berikut:
- URL titik akhir HTTP
-
Pilih URL titik akhir HTTP dari opsi berikut dalam daftar drop-down.
-
Log Peninggalan Baru - AS
-
Metrik Peninggalan Baru - AS
-
Metrik Peninggalan Baru - UE
-
- Autentikasi
-
Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses New Relic.
Kunci API
Masukkan Kunci Lisensi Anda, yang merupakan string heksadesimal 40 karakter, dari pengaturan Akun New Relic One Anda. Anda memerlukan kunci API ini untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kunci API untuk New Relic. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Din onaktifkan untuk pengkodean enable/disable konten permintaan Anda.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir HTTP New Relic.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Snowflake
Bagian ini menjelaskan opsi untuk menggunakan Snowflake untuk tujuan Anda.
catatan
Integrasi Firehose dengan Snowflake tersedia di AS Timur (Virginia Utara), AS Barat (Oregon), Eropa (Irlandia), AS Timur (Ohio), Asia Pasifik (Tokyo), Eropa (Frankfurt), Asia Pasifik (Singapura), Asia Pasifik (Seoul), dan Asia Pasifik (Sydney), Asia Pasifik (Mumbai), Eropa (London), Amerika Selatan (Sao Paulo), Kanada (Tengah), Eropa (Paris), Asia Pasifik (Osaka), Eropa (Stockholm), Asia Pasifik (Jakarta). Wilayah AWS
Pengaturan koneksi
-
Berikan nilai untuk bidang berikut:
- URL akun Snowflake
-
Tentukan URL akun Snowflake. Sebagai contoh:
xy12345.us-east-1.aws.snowflakecomputing.com. Lihat dokumentasi Snowflaketentang cara menentukan URL akun Anda. Perhatikan bahwa Anda tidak boleh menentukan nomor port, sedangkan protokol (https://) adalah opsional. - Autentikasi
-
Anda dapat memilih untuk memasukkan userlogin, kunci pribadi, dan frasa sandi secara manual atau mengambil rahasia untuk mengakses Snowflake. AWS Secrets Manager
-
Login pengguna
Tentukan pengguna Snowflake yang akan digunakan untuk memuat data. Pastikan pengguna memiliki akses untuk memasukkan data ke dalam tabel Snowflake.
-
Kunci pribadi
Tentukan kunci pribadi untuk otentikasi dengan Snowflake dalam
PKCS8format. Selain itu, jangan sertakan header dan footer PEM sebagai bagian dari kunci pribadi. Jika kunci dibagi menjadi beberapa baris, hapus jeda baris. Berikut ini adalah contoh seperti apa kunci pribadi Anda harus terlihat.-----BEGIN PRIVATE KEY----- KEY_CONTENT -----END PRIVATE KEY-----Hapus ruang di dalam
KEY_CONTENTdan berikan itu ke Firehose. Tidak ada header/footer atau karakter baris baru yang diperlukan. Frasa Sandi
Tentukan frasa sandi untuk mendekripsi kunci privat yang dienkripsi. Anda dapat membiarkan bidang ini kosong jika kunci privat tidak dienkripsi. Untuk selengkapnya, lihat Menggunakan Otentikasi Pasangan Kunci & Rotasi Kunci
. -
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kredenSIAL untuk Snowflake. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
-
- Konfigurasi peran
-
Gunakan peran Snowflake default - Jika opsi ini dipilih, Firehose tidak akan meneruskan peran apa pun ke Snowflake. Peran default diasumsikan untuk memuat data. Pastikan peran default memiliki izin untuk memasukkan data ke tabel Snowflake.
Gunakan peran Snowflake khusus - Masukkan peran Snowflake non-default yang akan diasumsikan oleh Firehose saat memuat data ke tabel Snowflake.
- Konektivitas Snowflake
-
Pilihannya adalah Privat atau Publik.
- ID VPCE Privat (opsional)
-
ID VPCE untuk Firehose untuk terhubung secara privat dengan Snowflake. Format ID adalah com.amazonaws.vpce. [wilayah] .vpce-svc-.
[id]Untuk informasi lebih lanjut, lihat AWS PrivateLink & Snowflake. catatan
Jika cluster Snowflake Anda mengaktifkan tautan pribadi, gunakan kebijakan jaringan
AwsVpceIdsberbasis untuk mengizinkan data Amazon Data Firehose. Firehose tidak mengharuskan Anda mengonfigurasi kebijakan IP-based jaringan di akun Snowflake Anda. Mengaktifkan kebijakan IP-based jaringan dapat mengganggu konektivitas Firehose. Jika Anda memiliki kasus tepi yang memerlukan IP-based kebijakan, hubungi tim Firehose dengan mengirimkan tiket https://support.console.aws.amazon.com/support/home?region=us-east-1#/case/createdukungan. Untuk daftar ID VPCE yang dapat Anda gunakan, lihat. Mengakses Snowflake di VPC
Konfigurasi basis data
-
Anda harus menentukan pengaturan berikut agar dapat menggunakan Snowflake sebagai tujuan untuk aliran Firehose Anda.
-
Basis data Snowflake – Semua data di Snowflake disimpan dalam basis data.
-
Skema Snowflake – Setiap basis data terdiri dari satu atau lebih skema, yang merupakan pengelompokan logis objek basis data, seperti tabel dan tampilan
-
Tabel Snowflake – Semua data di Snowflake disimpan dalam tabel basis data, terstruktur secara logis sebagai kumpulan kolom dan baris.
-
Opsi pemuatan data untuk tabel Snowflake Anda
-
Gunakan kunci JSON sebagai nama kolom
Gunakan kolom VARIANT
Nama kolom konten — Tentukan nama kolom dalam tabel, tempat data mentah harus dimuat.
Nama kolom metadata (opsional) — Tentukan nama kolom dalam tabel, tempat informasi metadata harus dimuat. Ketika Anda mengaktifkan bidang ini, Anda akan melihat kolom berikut di tabel Snowflake berdasarkan jenis sumber.
Untuk PUT Langsung sebagai sumber
{ "firehoseDeliveryStreamName" : "streamname", "IngestionTime" : "timestamp" }Untuk Kinesis Data Stream sebagai sumber
{ "kinesisStreamName" : "streamname", "kinesisShardId" : "Id", "kinesisPartitionKey" : "key", "kinesisSequenceNumber" : "1234", "subsequenceNumber" : "2334", "IngestionTime" : "timestamp" }
Durasi coba lagi
Durasi waktu (0-7200 detik) untuk Firehose untuk mencoba lagi jika saluran pembukaan atau pengiriman ke Snowflake gagal karena masalah layanan Snowflake. Firehose mencoba lagi dengan mundur eksponensial sampai durasi percobaan ulang berakhir. Jika Anda mengatur durasi percobaan ulang ke 0 (nol) detik, Firehose tidak akan mencoba lagi jika Snowflake gagal dan merutekan data ke bucket kesalahan Amazon S3.
Petunjuk penyangga
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan. Untuk informasi selengkapnya, lihat Konfigurasikan petunjuk buffering.
Konfigurasikan pengaturan tujuan untuk Splunk
Bagian ini menjelaskan opsi untuk menggunakan Splunk untuk tujuan Anda.
catatan
Firehose mengirimkan data ke cluster Splunk yang dikonfigurasi dengan Classic Load Balancer atau Application Load Balancer.
-
Berikan nilai untuk bidang berikut:
- Titik akhir cluster splunk
-
Untuk menentukan titik akhir, lihat Meng onfigurasi Amazon Data Firehose untuk Mengirim Data ke Platform Splunk
di dokumentasi Splunk. - Jenis titik akhir splunk
-
Pilih
Raw endpointdalam banyak kasus. PilihEvent endpointapakah Anda telah memproses data terlebih dahulu menggunakan AWS Lambda untuk mengirim data ke indeks yang berbeda berdasarkan jenis peristiwa. Untuk informasi tentang titik akhir yang akan digunakan, lihat Konfigurasikan Amazon Data Firehose untuk mengirim data ke platform Splunkdalam dokumentasi Splunk. - Autentikasi
-
Anda dapat memilih untuk memasukkan token otentikasi secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses Splunk.
Token otentikasi
Untuk menyiapkan titik akhir Splunk yang dapat menerima data dari Amazon Data Firehose, lihat ikhtisar Instalasi dan konfigurasi untuk Splunk Add-on for Amazon Data Firehose
di dokumentasi Splunk. Simpan token yang Anda dapatkan dari Splunk saat Anda mengatur titik akhir untuk aliran Firehose ini dan tambahkan di sini. -
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi token otentikasi untuk Splunk. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Batas waktu pengakuan HEC
-
Tentukan berapa lama Amazon Data Firehose menunggu pengakuan indeks dari Splunk. Jika Splunk tidak mengirim tanda terima sebelum batas waktu tercapai, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data. Amazon Data Firehose kemudian akan mencoba kembali atau mencadangkan data ke bucket Amazon S3 Anda, tergantung pada nilai durasi percobaan ulang yang Anda tetapkan.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke Splunk.
Setelah mengirim data, Amazon Data Firehose menunggu pengakuan dari Splunk terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke Splunk (baik percobaan awal atau percobaan ulang), ia memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari Splunk.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang disarankan untuk tujuan bervariasi berdasarkan penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Splunk Observability Cloud
Bagian ini menjelaskan opsi untuk menggunakan Splunk Observability Cloud untuk tujuan Anda. Untuk informasi selengkapnya, lihat https://docs.splunk.com/observability/en/gdi/get-data-in/connect/aws/aws-apiconfig.html #connect -to-aw
-
Berikan nilai untuk bidang berikut:
- URL Titik Akhir Cloud Ingest
-
Anda dapat menemukan URL Data Ingest Splunk Observability Cloud Anda di Profil> Organisasi> Real-time Real-time Data Ingest Endpoint di konsol Splunk Observability.
- Autentikasi
-
Anda dapat memilih untuk memasukkan token akses secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Splunk Observability Cloud.
Token Akses
Salin token akses Observabilitas Splunk Anda dengan cakupan otorisasi PENYERAPAN dari Token Akses di bawah Pengaturan di konsol Observabilitas Splunk.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi token akses untuk Splunk Observability Cloud. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean Konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Din onaktifkan untuk pengkodean enable/disable konten permintaan Anda.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke titik akhir HTTP yang dipilih.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Sumo Logic
Bagian ini menjelaskan opsi untuk menggunakan Sumo Logic untuk tujuan Anda. Untuk informasi selengkapnya, lihat https://www.sumologic.com
-
Berikan nilai untuk bidang berikut:
- URL titik akhir HTTP
-
Tentukan URL untuk titik akhir HTTP dalam format berikut:
https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. URL harus berupa URL HTTPS. - Pengkodean konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Din onaktifkan untuk pengkodean enable/disable konten permintaan Anda.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke Sumo Logic.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang disarankan untuk tujuan Elastic bervariasi dari penyedia layanan ke penyedia layanan.
Konfigurasikan pengaturan tujuan untuk Elastic
Bagian ini menjelaskan opsi untuk menggunakan Elas tic untuk tujuan Anda.
-
Berikan nilai untuk bidang berikut:
- URL titik akhir elastis
-
Tentukan URL untuk titik akhir HTTP dalam format berikut:
https://<cluster-id>.es.<region>.aws.elastic-cloud.com. URL harus berupa URL HTTPS. - Autentikasi
-
Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia AWS Secrets Manager untuk mengakses Elastic.
Kunci API
Hubungi Elastic untuk mendapatkan kunci API yang Anda perlukan untuk mengaktifkan pengiriman data ke layanan mereka dari Firehose.
-
Rahasia
Pilih rahasia AWS Secrets Manager yang berisi kunci API untuk Elastic. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.
- Pengkodean konten
-
Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP (yang dipilih secara default) atau Din onaktifkan untuk pengkodean enable/disable konten permintaan Anda.
- Durasi coba lagi
-
Tentukan berapa lama Amazon Data Firehose mencoba lagi mengirim data ke Elastic.
Setelah mengirim data, Amazon Data Firehose akan menunggu pengakuan dari titik akhir HTTP terlebih dahulu. Jika terjadi kesalahan atau pengakuan tidak diberikan dalam periode batas waktu pengakuan, Amazon Data Firehose akan memulai penghitung durasi percobaan ulang. Amazon Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggap pengiriman data gagal dan mencadangkan data ke bucket Amazon S3 Anda.
Setiap kali Amazon Data Firehose mengirim data ke titik akhir HTTP (baik percobaan awal atau percobaan ulang), penghitung batas waktu pengakuan akan dimulai ulang dan menunggu pengakuan dari titik akhir HTTP.
Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung percobaan ulang. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.
Jika Anda tidak ingin Amazon Data Firehose mencoba mengirim data lagi, setel nilai ini ke 0.
- Parameter - opsional
-
Amazon Data Firehose menyertakan pasangan kunci-nilai ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.
- Petunjuk penyangga
-
Amazon Data Firehose melakukan buffer pada data masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan Elastic adalah 1 MiB.