Konfigurasikan pengaturan tujuan - Amazon Data Firehose

Mengirimkan aliran Amazon Data Firehose ke Apache Iceberg Tables di Amazon S3 sedang dalam pratinjau dan dapat berubah sewaktu-waktu.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan pengaturan tujuan

Bagian ini menjelaskan pengaturan yang harus Anda konfigurasikan untuk aliran Firehose Anda berdasarkan tujuan yang Anda pilih.

Konfigurasikan pengaturan tujuan untuk Amazon S3

Anda harus menentukan pengaturan berikut untuk menggunakan Amazon S3 sebagai tujuan aliran Firehose Anda.

  • Masukkan nilai untuk bidang berikut.

    Ember S3

    Pilih bucket S3 yang Anda miliki tempat data streaming harus dikirim. Anda dapat membuat bucket S3 atau memilih yang sudah ada.

    Pembatas baris baru

    Anda dapat mengonfigurasi aliran Firehose untuk menambahkan pembatas baris baru di antara catatan dalam objek yang dikirimkan ke Amazon S3. Untuk melakukannya, pilih Diaktifkan. Untuk tidak menambahkan pembatas baris baru di antara catatan dalam objek yang dikirim ke Amazon S3, pilih Dinonaktifkan. Jika Anda berencana menggunakan Athena untuk menanyakan objek S3 dengan catatan agregat, aktifkan opsi ini.

    Partisi dinamis

    Pilih Diaktifkan untuk mengaktifkan dan mengonfigurasi partisi dinamis.

    Deagregasi multi rekor

    Ini adalah proses penguraian melalui catatan di aliran Firehose dan memisahkannya berdasarkan pembatas baris baru yang JSON valid atau yang ditentukan.

    Jika Anda menggabungkan beberapa peristiwa, log, atau catatan menjadi satu PutRecord dan PutRecordBatch API panggilan, Anda masih dapat mengaktifkan dan mengonfigurasi partisi dinamis. Dengan data agregat, saat Anda mengaktifkan partisi dinamis, Amazon Data Firehose mem-parsing catatan dan mencari beberapa objek yang valid dalam setiap panggilan. JSON API Jika aliran Firehose dikonfigurasi dengan Kinesis Data Stream sebagai sumber, Anda juga dapat menggunakan agregasi bawaan di Kinesis Producer Library (). KPL Fungsionalitas partisi data dijalankan setelah data dideagregasi. Oleh karena itu, setiap catatan di setiap API panggilan dapat dikirimkan ke awalan Amazon S3 yang berbeda. Anda juga dapat memanfaatkan integrasi fungsi Lambda untuk melakukan deagregasi lain atau transformasi lainnya sebelum fungsionalitas partisi data.

    penting

    Jika data Anda digabungkan, partisi dinamis hanya dapat diterapkan setelah deagregasi data dilakukan. Jadi, jika Anda mengaktifkan partisi dinamis ke data agregat Anda, Anda harus memilih Diaktifkan untuk mengaktifkan deagregasi multi rekaman.

    Firehose stream melakukan langkah-langkah pemrosesan berikut dengan urutan sebagai berikut: deagregasi KPL (protobuf), atau deagregasi JSON pembatas, pemrosesan Lambda, partisi data, konversi format data, dan pengiriman Amazon S3.

    Jenis deagregasi multi record

    Jika Anda mengaktifkan deagregasi multi rekaman, Anda harus menentukan metode Firehose untuk mendeagregasi data Anda. Gunakan menu drop-down untuk memilih salah satu JSONatau Delimited.

    Penguraian sebaris

    Ini adalah salah satu mekanisme yang didukung untuk secara dinamis mempartisi data Anda yang terikat untuk Amazon S3. Untuk menggunakan penguraian inline untuk partisi dinamis data Anda, Anda harus menentukan parameter catatan data yang akan digunakan sebagai kunci partisi dan memberikan nilai untuk setiap kunci partisi yang ditentukan. Pilih Diaktifkan untuk mengaktifkan dan mengonfigurasi penguraian sebaris.

    penting

    Jika Anda menentukan AWS Fungsi Lambda pada langkah-langkah di atas untuk mengubah catatan sumber Anda, Anda dapat menggunakan fungsi ini untuk secara dinamis mempartisi data Anda yang terikat ke S3 dan Anda masih dapat membuat kunci partisi Anda dengan parsing inline. Dengan partisi dinamis, Anda dapat menggunakan penguraian sebaris atau AWS Lambda berfungsi untuk membuat kunci partisi Anda. Atau Anda dapat menggunakan penguraian inline dan AWS Lambda berfungsi pada saat yang sama untuk membuat kunci partisi Anda.

    Tombol partisi dinamis

    Anda dapat menggunakan bidang Kunci dan Nilai untuk menentukan parameter catatan data yang akan digunakan sebagai kunci partisi dinamis dan kueri jq untuk menghasilkan nilai kunci partisi dinamis. Firehose hanya mendukung jq 1.6. Anda dapat menentukan hingga 50 tombol partisi dinamis. Anda harus memasukkan ekspresi jq yang valid untuk nilai kunci partisi dinamis agar berhasil mengonfigurasi partisi dinamis untuk aliran Firehose Anda.

    Awalan ember S3

    Saat mengaktifkan dan mengonfigurasi partisi dinamis, Anda harus menentukan awalan bucket S3 tempat Amazon Data Firehose akan mengirimkan data yang dipartisi.

    Agar partisi dinamis dapat dikonfigurasi dengan benar, jumlah awalan bucket S3 harus identik dengan jumlah kunci partisi yang ditentukan.

    Anda dapat mempartisi data sumber Anda dengan parsing inline atau dengan yang Anda tentukan AWS Fungsi Lambda. Jika Anda menentukan AWS Fungsi Lambda untuk membuat kunci partisi untuk data sumber Anda, Anda harus mengetikkan nilai awalan bucket S3 secara manual menggunakan format berikut: "Lambda:KeyID”. partitionKeyFrom Jika Anda menggunakan penguraian inline untuk menentukan kunci partisi untuk data sumber Anda, Anda dapat mengetikkan nilai pratinjau bucket S3 secara manual menggunakan format berikut: "partitionKeyFromquery:keyID” atau Anda dapat memilih tombol Terapkan tombol partisi dinamis untuk menggunakan pasangan kunci/nilai partisi dinamis Anda untuk menghasilkan awalan bucket S3 secara otomatis. Saat mempartisi data Anda dengan penguraian inline atau AWS Lambda, Anda juga dapat menggunakan formulir ekspresi berikut di awalan bucket S3 Anda:! {namespace:value}, di mana namespace dapat berupa Query atau Lambda. partitionKeyFrom partitionKeyFrom

    Bucket S3 dan zona waktu awalan keluaran kesalahan S3

    Pilih zona waktu yang ingin Anda gunakan untuk tanggal dan waktu di awalan khusus untuk objek Amazon S3. Secara default, Firehose menambahkan awalan waktu di. UTC Anda dapat mengubah zona waktu yang digunakan dalam awalan S3 jika Anda ingin menggunakan zona waktu yang berbeda.

    Petunjuk penyangga

    Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    Kompresi S3

    PilihGZIP, Snappy, Zip, atau kompresi data Snappy yang Kompatibel dengan Hadoop, atau tidak ada kompresi data. Kompresi Snappy Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk aliran Firehose dengan Amazon Redshift sebagai tujuannya.

    Format ekstensi file S3 (opsional)

    Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.parquet atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang benar saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.

    Enkripsi S3

    Firehose mendukung enkripsi sisi server Amazon S3 dengan AWS Key Management Service (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau untuk mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan salah satu default AWS kunci terkelola (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Enkripsi Sisi Server dengan AWS KMS-Kunci Terkelola (SSE-KMS).

Konfigurasikan pengaturan tujuan untuk Apache Iceberg Tables

Apache Iceberg Tables sebagai tujuan tersedia di AS Timur (Virginia N.), AS Barat (Oregon), Eropa (Irlandia), Asia Pasifik (Tokyo), Kanada (Tengah), dan Asia Pasifik (Sydney) Wilayah AWS.

Untuk informasi selengkapnya tentang Apache Iceberg Tables sebagai tujuan Anda, lihat. Mengirimkan data ke Apache Iceberg Tables dengan Amazon Data Firehose

Konfigurasikan setelan tujuan untuk Amazon Redshift

Bagian ini menjelaskan setelan untuk menggunakan Amazon Redshift sebagai tujuan streaming Firehose Anda.

Pilih salah satu dari prosedur berikut berdasarkan apakah Anda memiliki klaster yang disediakan Amazon Redshift atau grup kerja Amazon Redshift Tanpa Server.

Cluster Penyediaan Amazon Redshift

Bagian ini menjelaskan setelan untuk menggunakan klaster yang disediakan Amazon Redshift sebagai tujuan streaming Firehose Anda.

  • Masukkan nilai untuk bidang berikut:

    Kluster

    Klaster Amazon Redshift tempat tujuan data bucket S3 disalin. Konfigurasikan klaster Amazon Redshift agar dapat diakses publik dan buka blokir alamat IP Amazon Data Firehose. Untuk informasi selengkapnya, lihat Berikan akses Firehose ke tujuan Amazon Redshift .

    Autentikasi

    Anda dapat memilih untuk memasukkan nama pengguna/kata sandi secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses cluster Amazon Redshift.

    • Nama pengguna

      Tentukan pengguna Amazon Redshift dengan izin untuk mengakses klaster Amazon Redshift. Pengguna ini harus memiliki izin INSERT Amazon Redshift untuk menyalin data dari bucket S3 ke klaster Amazon Redshift.

    • Kata Sandi

      Tentukan kata sandi untuk pengguna yang memiliki izin untuk mengakses cluster.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kredensil untuk cluster Amazon Redshift. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager untuk kredensyal Amazon Redshift Anda. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Basis Data

    Basis data Amazon Redshift tempat tujuan data disalin.

    Tabel

    Tabel Amazon Redshift tempat tujuan data disalin.

    Kolom

    (Opsional) Kolom tertentu dari tabel tempat tujuan data disalin. Gunakan opsi ini jika jumlah kolom yang didefinisikan di objek Amazon S3 Anda kurang dari jumlah kolom dalam tabel Amazon Redshift.

    Tujuan S3 Menengah

    Firehose mengirimkan data Anda ke bucket S3 Anda terlebih dahulu dan kemudian mengeluarkan COPY perintah Amazon Redshift untuk memuat data ke cluster Amazon Redshift Anda. Tentukan bucket S3 yang Anda miliki tempat data streaming harus dikirim. Anda dapat membuat bucket S3 atau memilih bucket yang Anda miliki.

    Firehose tidak menghapus data dari bucket S3 Anda setelah memuatnya ke cluster Amazon Redshift Anda. Anda dapat mengelola data dalam bucket S3 Anda menggunakan konfigurasi siklus hidup. Untuk informasi selengkapnya, lihat Manajemen Siklus Hidup Objek di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

    Awalan S3 menengah

    (Opsional) Untuk menggunakan prefiks default untuk objek Amazon S3, biarkan opsi ini kosong. Firehose secara otomatis menggunakan awalan dalam format UTC waktu "YYYY/MM/dd/HH" untuk objek Amazon S3 yang dikirimkan. Anda dapat menambahkan ke awal prefiks ini. Untuk informasi selengkapnya, lihat Konfigurasikan format nama objek Amazon S3.

    COPYpilihan

    Parameter yang dapat Anda tentukan di perintah COPY Amazon Redshift. Ini mungkin diperlukan untuk konfigurasi Anda. Misalnya, "GZIP" diperlukan jika kompresi data Amazon S3 diaktifkan. “REGION" diperlukan jika ember S3 Anda tidak sama AWS Wilayah sebagai cluster Amazon Redshift Anda. Untuk informasi selengkapnya, lihat COPYdi Panduan Pengembang Database Amazon Redshift.

    COPYperintah

    Perintah COPY Amazon Redshift. Untuk informasi selengkapnya, lihat COPYdi Panduan Pengembang Database Amazon Redshift.

    Coba lagi durasi

    Durasi waktu (0—7200 detik) untuk Firehose mencoba lagi jika data ke klaster COPY Amazon Redshift Anda gagal. Firehose mencoba lagi setiap 5 menit sampai durasi coba lagi berakhir. Jika Anda menyetel durasi coba lagi ke 0 (nol) detik, Firehose tidak akan mencoba lagi setelah COPY kegagalan perintah.

    Petunjuk penyangga

    Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    Kompresi S3

    PilihGZIP, Snappy, Zip, atau kompresi data Snappy yang Kompatibel dengan Hadoop, atau tidak ada kompresi data. Kompresi Snappy Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk aliran Firehose dengan Amazon Redshift sebagai tujuannya.

    Format ekstensi file S3 (opsional)

    Format ekstensi file S3 (opsional) — Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.parquet atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang benar saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.

    Enkripsi S3

    Firehose mendukung enkripsi sisi server Amazon S3 dengan AWS Key Management Service (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau untuk mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan salah satu default AWS kunci terkelola (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Enkripsi Sisi Server dengan AWS KMS-Kunci Terkelola (SSE-KMS).

Konfigurasikan setelan tujuan untuk workgroup Amazon Redshift Tanpa Server

Bagian ini menjelaskan setelan untuk menggunakan workgroup Amazon Redshift Serverless sebagai tujuan streaming Firehose Anda.

  • Masukkan nilai untuk bidang berikut:

    Nama Workgroup

    Workgroup Amazon Redshift Tanpa Server tempat data bucket S3 disalin. Konfigurasikan workgroup Amazon Redshift Tanpa Server agar dapat diakses publik dan buka blokir alamat IP Firehose. Untuk informasi selengkapnya, lihat bagian Connect ke instans Amazon Redshift Tanpa Server yang dapat diakses publik di Menyambung ke Amazon Redshift Tanpa Server dan juga. Berikan akses Firehose ke tujuan Amazon Redshift

    Autentikasi

    Anda dapat memilih untuk memasukkan nama pengguna/kata sandi secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses workgroup Amazon Redshift Serverless.

    • Nama pengguna

      Tentukan pengguna Amazon Redshift dengan izin untuk mengakses grup kerja Amazon Redshift Tanpa Server. Pengguna ini harus memiliki INSERT izin Amazon Redshift untuk menyalin data dari bucket S3 ke workgroup Amazon Redshift Serverless.

    • Kata Sandi

      Tentukan kata sandi untuk pengguna yang memiliki izin untuk mengakses grup kerja Amazon Redshift Tanpa Server.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kredensi untuk workgroup Amazon Redshift Serverless. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager untuk kredensyal Amazon Redshift Anda. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Basis Data

    Basis data Amazon Redshift tempat tujuan data disalin.

    Tabel

    Tabel Amazon Redshift tempat tujuan data disalin.

    Kolom

    (Opsional) Kolom tertentu dari tabel tempat tujuan data disalin. Gunakan opsi ini jika jumlah kolom yang didefinisikan di objek Amazon S3 Anda kurang dari jumlah kolom dalam tabel Amazon Redshift.

    Tujuan S3 Menengah

    Amazon Data Firehose mengirimkan data Anda ke bucket S3 Anda terlebih dahulu dan kemudian mengeluarkan COPY perintah Amazon Redshift untuk memuat data ke dalam grup kerja Amazon Redshift Tanpa Server Anda. Tentukan bucket S3 yang Anda miliki tempat data streaming harus dikirim. Anda dapat membuat bucket S3 atau memilih bucket yang Anda miliki.

    Firehose tidak menghapus data dari bucket S3 setelah memuatnya ke workgroup Amazon Redshift Tanpa Server. Anda dapat mengelola data dalam bucket S3 Anda menggunakan konfigurasi siklus hidup. Untuk informasi selengkapnya, lihat Manajemen Siklus Hidup Objek di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

    Awalan S3 menengah

    (Opsional) Untuk menggunakan prefiks default untuk objek Amazon S3, biarkan opsi ini kosong. Firehose secara otomatis menggunakan awalan dalam format UTC waktu "YYYY/MM/dd/HH" untuk objek Amazon S3 yang dikirimkan. Anda dapat menambahkan ke awal prefiks ini. Untuk informasi selengkapnya, lihat Konfigurasikan format nama objek Amazon S3.

    COPYpilihan

    Parameter yang dapat Anda tentukan di perintah COPY Amazon Redshift. Ini mungkin diperlukan untuk konfigurasi Anda. Misalnya, "GZIP" diperlukan jika kompresi data Amazon S3 diaktifkan. “REGION" diperlukan jika ember S3 Anda tidak sama AWS Wilayah sebagai grup kerja Amazon Redshift Tanpa Server Anda. Untuk informasi selengkapnya, lihat COPYdi Panduan Pengembang Database Amazon Redshift.

    COPYperintah

    Perintah COPY Amazon Redshift. Untuk informasi selengkapnya, lihat COPYdi Panduan Pengembang Database Amazon Redshift.

    Coba lagi durasi

    Durasi waktu (0—7200 detik) untuk Firehose mencoba lagi jika data ke grup kerja COPY Amazon Redshift Tanpa Server gagal. Firehose mencoba lagi setiap 5 menit sampai durasi coba lagi berakhir. Jika Anda menyetel durasi coba lagi ke 0 (nol) detik, Firehose tidak akan mencoba lagi setelah COPY kegagalan perintah.

    Petunjuk penyangga

    Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    Kompresi S3

    PilihGZIP, Snappy, Zip, atau kompresi data Snappy yang Kompatibel dengan Hadoop, atau tidak ada kompresi data. Kompresi Snappy Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk aliran Firehose dengan Amazon Redshift sebagai tujuannya.

    Format ekstensi file S3 (opsional)

    Format ekstensi file S3 (opsional) — Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.parquet atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang benar saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.

    Enkripsi S3

    Firehose mendukung enkripsi sisi server Amazon S3 dengan AWS Key Management Service (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau untuk mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan salah satu default AWS kunci terkelola (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Enkripsi Sisi Server dengan AWS KMS-Kunci Terkelola (SSE-KMS).

Konfigurasikan setelan tujuan untuk OpenSearch Layanan

Bagian ini menjelaskan opsi untuk menggunakan OpenSearch Layanan untuk tujuan Anda.

  • Masukkan nilai untuk bidang berikut:

    OpenSearch Domain layanan

    Domain OpenSearch Layanan tempat data Anda dikirimkan.

    Indeks

    Nama indeks OpenSearch Layanan yang akan digunakan saat mengindeks data ke kluster OpenSearch Service Anda.

    Rotasi indeks

    Pilih apakah dan seberapa sering indeks OpenSearch Layanan harus diputar. Jika rotasi indeks diaktifkan, Amazon Data Firehose menambahkan stempel waktu yang sesuai ke nama indeks yang ditentukan dan berputar. Untuk informasi selengkapnya, lihat Konfigurasikan rotasi indeks untuk OpenSearch Layanan.

    Jenis

    Nama tipe OpenSearch Layanan yang akan digunakan saat mengindeks data ke kluster OpenSearch Service Anda. Untuk Elasticsearch 7.x dan OpenSearch 1.x, hanya ada satu jenis per indeks. Jika Anda mencoba menentukan tipe baru untuk indeks yang sudah ada yang sudah memiliki tipe lain, Firehose mengembalikan kesalahan selama runtime.

    Untuk Elasticsearch 7.x, biarkan bidang ini kosong.

    Coba lagi durasi

    Durasi waktu Firehose untuk mencoba lagi jika permintaan indeks gagal. OpenSearch Dalam hal ini, Firehose mencoba ulang setiap 5 menit hingga durasi percobaan ulang berakhir. Untuk durasi coba lagi, Anda dapat mengatur nilai apa pun antara 0-7200 detik.

    Setelah durasi percobaan ulang berakhir, Firehose mengirimkan data ke Dead Letter Queue (DLQ), bucket kesalahan S3 yang dikonfigurasi. Untuk data yang dikirimkan keDLQ, Anda harus mengarahkan ulang data kembali dari bucket kesalahan S3 yang dikonfigurasi ke OpenSearch tujuan.

    Jika ingin memblokir aliran Firehose agar tidak mengirimkan data DLQ karena waktu henti atau pemeliharaan OpenSearch cluster, Anda dapat mengonfigurasi durasi coba lagi ke nilai yang lebih tinggi dalam hitungan detik. Anda dapat meningkatkan nilai durasi coba lagi di atas menjadi 7200 detik dengan menghubungi AWS dukungan.

    Jenis DocumentID

    Menunjukkan metode untuk mengatur ID dokumen. Metode yang didukung adalah ID dokumen buatan Firehose dan ID dokumen yang dihasilkan OpenSearch Layanan. ID dokumen yang dihasilkan Firehose adalah opsi default saat nilai ID dokumen tidak disetel. OpenSearch ID dokumen yang dihasilkan layanan adalah opsi yang direkomendasikan karena mendukung operasi berat tulis, termasuk analitik log dan observabilitas, mengkonsumsi lebih sedikit CPU sumber daya di domain OpenSearch Layanan dan dengan demikian, menghasilkan peningkatan kinerja.

    VPCKonektivitas tujuan

    Jika domain OpenSearch Layanan Anda bersifat pribadiVPC, gunakan bagian ini untuk menentukannyaVPC. Juga tentukan subnet dan subgrup yang Anda inginkan Amazon Data Firehose untuk digunakan saat mengirim data ke domain Layanan Anda. OpenSearch Anda dapat menggunakan grup keamanan yang sama dengan yang digunakan domain OpenSearch Layanan. Jika Anda menentukan grup keamanan yang berbeda, pastikan grup tersebut mengizinkan HTTPS lalu lintas keluar ke grup keamanan domain OpenSearch Layanan. Pastikan juga bahwa grup keamanan domain OpenSearch Layanan mengizinkan HTTPS lalu lintas dari grup keamanan yang Anda tentukan saat mengonfigurasi aliran Firehose. Jika Anda menggunakan grup keamanan yang sama untuk aliran Firehose dan domain OpenSearch Layanan, pastikan aturan masuk grup keamanan mengizinkan lalu lintas. HTTPS Untuk informasi selengkapnya tentang aturan grup keamanan, lihat Aturan grup keamanan di VPC dokumentasi Amazon.

    penting

    Saat Anda menentukan subnet untuk mengirimkan data ke tujuan secara pribadiVPC, pastikan Anda memiliki cukup banyak alamat IP gratis di subnet yang dipilih. Jika tidak ada alamat IP gratis yang tersedia di subnet tertentu, Firehose tidak dapat membuat atau ENIs menambahkan untuk pengiriman data secara VPC pribadi, dan pengiriman akan terdegradasi atau gagal.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Tanpa OpenSearch Server

Bagian ini menjelaskan opsi untuk menggunakan OpenSearch Tanpa Server untuk tujuan Anda.

  • Masukkan nilai untuk bidang berikut:

    OpenSearch Koleksi tanpa server

    Titik akhir untuk sekelompok indeks OpenSearch Tanpa Server tempat data Anda dikirimkan.

    Indeks

    Nama indeks OpenSearch Tanpa Server yang akan digunakan saat mengindeks data ke koleksi Tanpa Server Anda OpenSearch .

    VPCKonektivitas tujuan

    Jika koleksi OpenSearch Tanpa Server Anda bersifat pribadiVPC, gunakan bagian ini untuk menentukannya. VPC Juga tentukan subnet dan subgrup yang Anda inginkan Amazon Data Firehose untuk digunakan saat mengirimkan data ke koleksi Tanpa Server Anda. OpenSearch

    penting

    Saat Anda menentukan subnet untuk mengirimkan data ke tujuan secara pribadiVPC, pastikan Anda memiliki cukup banyak alamat IP gratis di subnet yang dipilih. Jika tidak ada alamat IP gratis yang tersedia di subnet tertentu, Firehose tidak dapat membuat atau ENIs menambahkan untuk pengiriman data secara VPC pribadi, dan pengiriman akan terdegradasi atau gagal.

    Coba lagi durasi

    Durasi waktu Firehose untuk mencoba lagi jika permintaan indeks ke Tanpa Server gagal OpenSearch . Dalam hal ini, Firehose mencoba ulang setiap 5 menit hingga durasi percobaan ulang berakhir. Untuk durasi coba lagi, Anda dapat mengatur nilai apa pun antara 0-7200 detik.

    Setelah durasi percobaan ulang berakhir, Firehose mengirimkan data ke Dead Letter Queue (DLQ), bucket kesalahan S3 yang dikonfigurasi. Untuk data yang dikirimkanDLQ, Anda harus mengarahkan kembali data dari bucket kesalahan S3 yang dikonfigurasi ke tujuan Tanpa OpenSearch Server.

    Jika Anda ingin memblokir aliran Firehose agar tidak mengirimkan data DLQ karena waktu henti atau pemeliharaan kluster OpenSearch Tanpa Server, Anda dapat mengonfigurasi durasi percobaan ulang ke nilai yang lebih tinggi dalam hitungan detik. Anda dapat meningkatkan nilai durasi coba lagi di atas menjadi 7200 detik dengan menghubungi AWS dukungan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan setelan tujuan untuk HTTP Endpoint

Bagian ini menjelaskan opsi untuk menggunakan HTTPtitik akhir untuk tujuan Anda.

penting

Jika Anda memilih HTTP titik akhir sebagai tujuan Anda, tinjau dan ikuti petunjuknyaMemahami permintaan pengiriman HTTP titik akhir dan spesifikasi respons.

  • Berikan nilai untuk bidang berikut:

    HTTPnama titik akhir - opsional

    Tentukan nama yang ramah pengguna untuk HTTP titik akhir. Misalnya, My HTTP Endpoint Destination.

    HTTPtitik akhir URL

    Tentukan URL untuk HTTP titik akhir dalam format berikut:https://xyz.httpendpoint.com. URLHarus menjadi sebuah HTTPSURL.

    Autentikasi

    Anda dapat memilih untuk memasukkan kunci akses secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses HTTP titik akhir.

    • (Opsional) Kunci akses

      Hubungi pemilik endpoint jika Anda perlu mendapatkan kunci akses untuk mengaktifkan pengiriman data ke titik akhir mereka dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci akses untuk HTTP titik akhir. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager untuk kunci akses. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIPatau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir yang dipilih. HTTP

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    penting

    Untuk tujuan HTTP titik akhir, jika Anda melihat 413 kode respons dari titik akhir tujuan di CloudWatch Log, turunkan ukuran petunjuk buffering pada aliran Firehose Anda dan coba lagi.

Konfigurasikan pengaturan tujuan untuk Datadog

Bagian ini menjelaskan opsi untuk menggunakan Datadog untuk tujuan Anda. Untuk informasi selengkapnya tentang Datadog, lihat https://docs.datadoghq.com/integrations/ amazon_web_services/.

  • Berikan nilai untuk bidang berikut.

    HTTPtitik akhir URL

    Pilih tempat Anda ingin mengirim data dari salah satu opsi berikut di menu tarik-turun.

    • Log Datadog - US1

    • Log Datadog - US3

    • Log Datadog - US5

    • Log Datadog - AP1

    • Log datadog - UE

    • Log Datadog - GOV

    • Metrik Datadog - AS

    • Metrik Datadog - US5

    • Metrik Datadog - AP1

    • Metrik Datadog - UE

    • Konfigurasi Datadog - US1

    • Konfigurasi Datadog - US3

    • Konfigurasi Datadog - US5

    • Konfigurasi Datadog - AP1

    • Konfigurasi Datadog - EU

    • Konfigurasi Datadog - AS GOV

    Autentikasi

    Anda dapat memilih untuk memasukkan API kunci secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Datadog.

    • APIkunci

      Hubungi Datadog untuk mendapatkan API kunci yang Anda butuhkan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi API kunci untuk Datadog. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIPatau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir yang dipilih. HTTP

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Honeycomb

Bagian ini menjelaskan opsi untuk menggunakan Honeycomb untuk tujuan Anda. Untuk informasi lebih lanjut tentang Honeycomb, lihat https://docs.honeycomb.io/ /metrics//getting-data-in. aws-cloudwatch-metrics

  • Berikan nilai untuk bidang berikut:

    Titik akhir Kinesis Honeycomb

    Tentukan HTTP titik akhir dalam format berikut: https://api.honeycom b.io/1/kinesis_events/ {{dataset}} URL

    Autentikasi

    Anda dapat memilih untuk memasukkan API kunci secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Honeycomb.

    • APIkunci

      Hubungi Honeycomb untuk mendapatkan API kunci yang Anda butuhkan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi API kunci untuk Honeycomb. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIPuntuk mengaktifkan pengkodean konten permintaan Anda. Ini adalah opsi yang disarankan untuk tujuan Honeycomb.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir yang dipilih. HTTP

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Coralogix

Bagian ini menjelaskan opsi untuk menggunakan Coralogix untuk tujuan Anda. Untuk informasi selengkapnya tentang Coralogix, lihat Memulai Coralogix.

  • Berikan nilai untuk bidang berikut:

    HTTPtitik akhir URL

    Pilih HTTP titik akhir URL dari opsi berikut di menu tarik-turun:

    • Coralogix - AS

    • Coralogix - SINGAPORE

    • Coralogix - IRELAND

    • Coralogix - INDIA

    • Coralogix - STOCKHOLM

    Autentikasi

    Anda dapat memilih untuk memasukkan kunci pribadi secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Coralogix.

    • Kunci pribadi

      Hubungi Coralogix untuk mendapatkan kunci pribadi yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci pribadi untuk Coralogix. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIPuntuk mengaktifkan pengkodean konten permintaan Anda. Ini adalah opsi yang direkomendasikan untuk tujuan Coralogix.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir yang dipilih. HTTP

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    • applicationName: lingkungan tempat Anda menjalankan Data Firehose

    • subsystemName: nama integrasi Data Firehose

    • computerName: nama aliran Firehose yang digunakan

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang disarankan untuk tujuan bervariasi berdasarkan penyedia layanan.

Konfigurasikan setelan tujuan untuk Dynatrace

Bagian ini menjelaskan opsi untuk menggunakan Dynatrace untuk tujuan Anda. Untuk informasi selengkapnya, lihat https://www.dynatrace.com/support/help/technology-support/cloud-platforms/ amazon-web-services /integrations//. cloudwatch-metric-streams

  • Pilih opsi untuk menggunakan Dynatrace sebagai tujuan aliran Firehose Anda.

    Jenis konsumsi

    Pilih apakah Anda ingin mengirimkan Metrik atau Log (default) di Dynatrace untuk analisis dan pemrosesan lebih lanjut.

    HTTPtitik akhir URL

    Pilih HTTP titik akhir URL (Dynatrace US, Dynatrace EU, atau Dynatrace Global) dari menu tarik-turun.

    Autentikasi

    Anda dapat memilih untuk memasukkan API token secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Dynatrace.

    • APItoken

      Buat API token Dynatrace yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose. Untuk informasi selengkapnya, lihat Dynatrace API - Token dan otentikasi.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi API token untuk Dynatrace. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    API URL

    Sediakan API URL lingkungan Dynatrace Anda.

    Pengkodean konten

    Pilih apakah Anda ingin mengaktifkan pengkodean konten untuk mengompres isi permintaan. Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Saat diaktifkan, konten yang dikompresi dalam GZIPformat.

    Coba lagi durasi

    Tentukan berapa lama Firehose mencoba mengirim data ke titik akhir yang dipilih. HTTP

    Setelah mengirim data, Firehose terlebih dahulu menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Firehose mengirimkan data ke HTTP titik akhir, baik selama upaya awal atau setelah mencoba lagi, Firehose memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Firehose mencoba mengirim data lagi, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Petunjuk buffer mencakup ukuran buffer dan interval untuk aliran Anda. Ukuran buffer yang disarankan untuk tujuan bervariasi sesuai dengan penyedia layanan.

Konfigurasikan setelan tujuan untuk LogicMonitor

Bagian ini menjelaskan opsi untuk digunakan LogicMonitoruntuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://www.logicmonitor.com.

  • Berikan nilai untuk bidang berikut:

    HTTPtitik akhir URL

    Tentukan URL untuk HTTP titik akhir dalam format berikut.

    https://ACCOUNT.logicmonitor.com
    Autentikasi

    Anda dapat memilih untuk memasukkan API kunci secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses LogicMonitor.

    • APIkunci

      Hubungi LogicMonitor untuk mendapatkan API kunci yang Anda butuhkan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi API kunci untuk LogicMonitor. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIPatau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir yang dipilih. HTTP

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Logz.io

Bagian ini menjelaskan opsi untuk menggunakan Logz.io untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://logz.io/.

catatan

Di wilayah Eropa (Milan), Logz.io tidak didukung sebagai tujuan Amazon Data Firehose.

  • Berikan nilai untuk bidang berikut:

    HTTPtitik akhir URL

    Tentukan URL untuk HTTP titik akhir dalam format berikut. URLHarus menjadi sebuah HTTPSURL.

    https://listener-aws-metrics-stream-<region>.logz.io/

    Sebagai contoh

    https://listener-aws-metrics-stream-us.logz.io/
    Autentikasi

    Anda dapat memilih untuk memasukkan token pengiriman secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Logz.io.

    • Token pengiriman

      Hubungi Logz.io untuk mendapatkan token pengiriman yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi token pengiriman untuk Logz.io. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke Logz.io.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk MongoDB Cloud

Bagian ini menjelaskan opsi untuk menggunakan MongoDB Cloud untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://www.mongodb.com.

  • Berikan nilai untuk bidang berikut:

    Webhook MongoDB Realm URL

    Tentukan URL untuk HTTP titik akhir dalam format berikut.

    https://webhooks.mongodb-realm.com

    URLHarus menjadi sebuah HTTPSURL.

    Autentikasi

    Anda dapat memilih untuk memasukkan API kunci secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses MongoDB Cloud.

    • APIkunci

      Hubungi MongoDB Cloud untuk mendapatkan kunci API yang Anda butuhkan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi API kunci untuk MongoDB Cloud. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIPatau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke penyedia pihak ketiga yang dipilih.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

Konfigurasikan pengaturan tujuan untuk New Relic

Bagian ini menjelaskan opsi untuk menggunakan New Relic untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://newrelic.com.

  • Berikan nilai untuk bidang berikut:

    HTTPtitik akhir URL

    Pilih HTTP titik akhir URL dari opsi berikut dalam daftar drop-down.

    • Log Relik Baru - AS

    • Metrik Relik Baru - AS

    • Metrik Relik Baru - UE

    Autentikasi

    Anda dapat memilih untuk memasukkan API kunci secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses New Relic.

    • APIkunci

      Masukkan Kunci Lisensi Anda, yang merupakan string heksadesimal 40 karakter, dari pengaturan Akun New Relic One Anda. Anda memerlukan API kunci ini untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi API kunci untuk New Relic. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIPatau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir New Relic. HTTP

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Snowflake

Bagian ini menjelaskan opsi untuk menggunakan Snowflake untuk tujuan Anda.

catatan

Integrasi Firehose dengan Snowflake tersedia di AS Timur (Virginia N.), AS Barat (Oregon), Eropa (Irlandia), AS Timur (Ohio), Asia Pasifik (Tokyo), Eropa (Frankfurt), Asia Pasifik (Singapura), Asia Pasifik (Seoul), dan Asia Pasifik (Sydney), Asia Pasifik (Mumbai), Eropa (London), Amerika Selatan (Sao Paulo), Kanada (Tengah), Eropa (Paris), Asia Pasifik (Osaka), Eropa (Stockholm), Asia Pasifik (Jakarta) Wilayah AWS.

Pengaturan koneksi
  • Berikan nilai untuk bidang berikut:

    Akun kepingan salju URL

    Tentukan akun Snowflake. URL Sebagai contoh: xy12345.us-east-1.aws.snowflakecomputing.com. Lihat dokumentasi Snowflake tentang cara menentukan akun Anda. URL Perhatikan bahwa Anda tidak harus menentukan nomor port, sedangkan protokol (https://) adalah opsional.

    Autentikasi

    Anda dapat memilih untuk memasukkan userlogin, kunci pribadi, dan frasa sandi secara manual atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Snowflake.

    • Login pengguna

      Tentukan pengguna Snowflake yang akan digunakan untuk memuat data. Pastikan pengguna memiliki akses untuk memasukkan data ke dalam tabel Snowflake.

    • Kunci pribadi

      Tentukan kunci pribadi pengguna yang digunakan untuk otentikasi dengan Snowflake. Pastikan kunci privat dalam PKCS8 format. Jangan sertakan PEM header dan footer sebagai bagian dari kunci ini. Jika kunci dibagi menjadi beberapa baris, hapus jeda baris.

    • Frasa sandi

      Tentukan frasa sandi untuk mendekripsi kunci pribadi terenkripsi. Anda dapat membiarkan bidang ini kosong jika kunci pribadi tidak dienkripsi. Untuk selengkapnya, lihat Menggunakan Otentikasi Pasangan Kunci & Rotasi Kunci.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kredensil untuk Snowflake. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Konfigurasi peran

    Gunakan peran Snowflake default - Jika opsi ini dipilih, Firehose tidak akan meneruskan peran apa pun ke Snowflake. Peran default diasumsikan memuat data. Pastikan peran default memiliki izin untuk menyisipkan data ke tabel Snowflake.

    Gunakan peran Snowflake kustom — Masukkan peran Snowflake non-default yang akan diasumsikan oleh Firehose saat memuat data ke dalam tabel Snowflake.

    Konektivitas kepingan salju

    Pilihannya adalah Pribadi atau Publik.

    VPCEID Pribadi (opsional)

    VPCEID untuk Firehose untuk terhubung secara pribadi dengan Snowflake. Format ID adalah com.amazonaws.vpce. [wilayah] .vpce-svc-[id]. Untuk informasi lebih lanjut, lihat AWS PrivateLink & Kepingan Salju.

    catatan

    Pastikan jaringan Snowflake Anda mengizinkan akses ke Firehose. Kami menyarankan Anda mematikan kebijakan jaringan berbasis IP pada akun Snowflake Anda, ketika kebijakan jaringan AwsVpceIds berbasis sudah diaktifkan. Jika Anda mengaktifkan kebijakan jaringan berbasis IP di Snowflake, itu mungkin memblokir lalu lintas data Firehose. Jika Anda memiliki kasus tepi yang memerlukan kebijakan berbasis IP, hubungi tim Firehose dengan mengirimkan tiket dukungan. Untuk daftar VPCE IDs yang dapat Anda gunakan, lihatMengakses Snowflake di VPC.

Konfigurasi basis data
  • Anda harus menentukan pengaturan berikut untuk menggunakan Snowflake sebagai tujuan aliran Firehose Anda.

    • Database Snowflake — Semua data di Snowflake dikelola dalam database.

    • Skema kepingan salju — Setiap database terdiri dari satu atau lebih skema, yang merupakan pengelompokan logis objek database, seperti tabel dan tampilan

    • Tabel kepingan salju — Semua data di Snowflake disimpan dalam tabel database, secara logis terstruktur sebagai kumpulan kolom dan baris.

Opsi pemuatan data untuk tabel Snowflake Anda

  • Gunakan JSON tombol sebagai nama kolom

  • Gunakan VARIANT kolom

    • Nama kolom konten - Tentukan nama kolom dalam tabel, tempat data mentah harus dimuat.

    • Nama kolom metadata (opsional) - Tentukan nama kolom dalam tabel, tempat informasi metadata harus dimuat.

Coba lagi durasi

Durasi waktu (0-7200 detik) untuk Firehose untuk mencoba lagi jika membuka saluran atau pengiriman ke Snowflake gagal karena masalah layanan Snowflake. Firehose mencoba lagi dengan backoff eksponensial hingga durasi coba lagi berakhir. Jika Anda menyetel durasi coba lagi ke 0 (nol) detik, Firehose tidak akan mencoba lagi saat kegagalan Snowflake dan merutekan data ke bucket kesalahan Amazon S3.

Petunjuk penyangga

Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan. Untuk informasi selengkapnya, lihat Konfigurasikan petunjuk buffering.

Konfigurasikan pengaturan tujuan untuk Splunk

Bagian ini menjelaskan opsi untuk menggunakan Splunk untuk tujuan Anda.

catatan

Firehose mengirimkan data ke cluster Splunk yang dikonfigurasi dengan Classic Load Balancer atau Application Load Balancer.

  • Berikan nilai untuk bidang berikut:

    Titik akhir klaster splunk

    Untuk menentukan titik akhir, lihat Mengonfigurasi Amazon Data Firehose untuk Mengirim Data ke Platform Splunk dalam dokumentasi Splunk.

    Jenis titik akhir splunk

    Pilih Raw endpoint dalam banyak kasus. Pilih Event endpoint apakah Anda telah memproses data Anda menggunakan AWS Lambda untuk mengirim data ke indeks yang berbeda berdasarkan jenis acara. Untuk informasi tentang titik akhir yang akan digunakan, lihat Mengonfigurasi Amazon Data Firehose untuk mengirim data ke platform Splunk dalam dokumentasi Splunk.

    Autentikasi

    Anda dapat memilih untuk memasukkan token otentikasi secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Splunk.

    HECbatas waktu pengakuan

    Tentukan berapa lama Amazon Data Firehose menunggu pengakuan indeks dari Splunk. Jika Splunk tidak mengirimkan pengakuan sebelum batas waktu tercapai, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data. Amazon Data Firehose kemudian mencoba ulang atau mencadangkan data ke bucket Amazon S3 Anda, tergantung pada nilai durasi coba lagi yang Anda tetapkan.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke Splunk.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari Splunk. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke Splunk (baik upaya awal atau percobaan lagi), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari Splunk.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang disarankan untuk tujuan bervariasi berdasarkan penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Splunk Observability Cloud

Bagian ini menjelaskan opsi untuk menggunakan Splunk Observability Cloud untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://docs.splunk.com/observability/en/gdi/ get-data-in /connect/aws/aws-apiconfig.html # - -api. connect-to-aws-using the-splunk-observability-cloud

  • Berikan nilai untuk bidang berikut:

    Titik Akhir Pencernaan Awan URL

    Anda dapat menemukan Pencerapan Data Real-time Splunk Observability Cloud URL di Profile > Organizations > Real-time Data Ingest Endpoint di konsol Observabilitas Splunk.

    Autentikasi

    Anda dapat memilih untuk memasukkan token akses secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Splunk Observability Cloud.

    • Token Akses

      Salin token akses Observabilitas Splunk Anda dengan cakupan INGEST otorisasi dari Token Akses di bawah Pengaturan di konsol Observabilitas Splunk.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi token akses untuk Splunk Observability Cloud. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Pengkodean Konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIPatau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir yang dipilih. HTTP

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Sumo Logic

Bagian ini menjelaskan opsi untuk menggunakan Sumo Logic untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://www.sumologic.com.

  • Berikan nilai untuk bidang berikut:

    HTTPtitik akhir URL

    Tentukan URL untuk HTTP titik akhir dalam format berikut:https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. URLHarus menjadi sebuah HTTPSURL.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIPatau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke Sumo Logic.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan Elastic bervariasi dari penyedia layanan ke penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Elastic

Bagian ini menjelaskan opsi untuk menggunakan Elastic untuk tujuan Anda.

  • Berikan nilai untuk bidang berikut:

    Titik akhir elastis URL

    Tentukan URL untuk HTTP titik akhir dalam format berikut:https://<cluster-id>.es.<region>.aws.elastic-cloud.com. URLHarus menjadi sebuah HTTPSURL.

    Autentikasi

    Anda dapat memilih untuk memasukkan API kunci secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Elastic.

    • APIkunci

      Hubungi Elastic untuk mendapatkan API kunci yang Anda perlukan untuk mengaktifkan pengiriman data ke layanan mereka dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi API kunci untuk Elastic. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager di Amazon Data Firehose.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP(yang dipilih secara default) atau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke Elastic.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir. HTTP Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke HTTP titik akhir (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir. HTTP

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan. HTTP Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang disarankan untuk tujuan Elastic adalah 1 MiB.