Mengontrol akses dengan Amazon Data Firehose

Bagian berikut mencakup cara mengontrol akses ke dan dari sumber daya Amazon Data Firehose Anda. Informasi yang mereka bahas termasuk cara memberikan akses aplikasi Anda sehingga dapat mengirim data ke aliran Firehose Anda. Mereka juga menjelaskan bagaimana Anda dapat memberikan akses Amazon Data Firehose ke bucket Amazon Simple Storage Service (Amazon S3), cluster Amazon Redshift, atau cluster Amazon OpenSearch Service, serta izin akses yang Anda perlukan jika Anda menggunakan Datadog, Dynatrace,, MongoDB, New Relic, Splunk LogicMonitor, atau Sumo Logic sebagai tujuan Anda. Terakhir, Anda akan menemukan panduan topik ini tentang cara mengonfigurasi Amazon Data Firehose sehingga dapat mengirimkan data ke tujuan milik AWS akun yang berbeda. Teknologi untuk mengelola semua bentuk akses ini adalah AWS Identity and Access Management (IAM). Untuk informasi selengkapnya tentang IAM, lihat Apa itu IAM?.

Daftar Isi

Berikan akses ke sumber daya Firehose Anda
Berikan akses Firehose ke cluster Amazon MSK pribadi Anda
Izinkan Firehose untuk mengambil peran IAM
Berikan akses Firehose ke AWS Glue untuk konversi format data
Memberikan akses Firehose ke tujuan Amazon S3
Berikan akses Firehose ke Tabel Amazon S3
Berikan akses Firehose ke tujuan Apache Iceberg Tables
Berikan akses Firehose ke tujuan Amazon Redshift
Berikan akses Firehose ke tujuan OpenSearch Layanan publik
Memberikan akses Firehose ke tujuan OpenSearch Layanan di VPC
Berikan akses Firehose ke tujuan Tanpa OpenSearch Server publik
Berikan akses Firehose ke tujuan OpenSearch Tanpa Server di VPC
Berikan akses Firehose ke tujuan Splunk
Mengakses Splunk di VPC
Mengambil log aliran VPC ke Splunk menggunakan Amazon Data Firehose
Mengakses Snowflake atau titik akhir HTTP
Berikan akses Firehose ke tujuan Snowflake
Mengakses Snowflake di VPC
Berikan akses Firehose ke tujuan titik akhir HTTP
Cross-account pengiriman dari Amazon MSK
Cross-account pengiriman ke tujuan Amazon S3
Cross-account pengiriman ke tujuan OpenSearch Layanan
Menggunakan tanda untuk mengontrol akses

Berikan akses ke sumber daya Firehose Anda

Untuk memberikan aplikasi Anda akses ke aliran Firehose Anda, gunakan kebijakan yang mirip dengan contoh ini. Anda dapat menyesuaikan tiap-tiap operasi API yang Anda beri akses dengan memodifikasi bagian Action, atau memberikan akses ke semua operasi dengan "firehose:*".

Berikan akses Firehose ke cluster Amazon MSK pribadi Anda

Jika sumber aliran Firehose Anda adalah cluster Amazon MSK pribadi, gunakan kebijakan yang mirip dengan contoh ini.

Anda harus menambahkan kebijakan seperti ini ke kebijakan berbasis sumber daya cluster untuk memberikan izin kepada prinsipal layanan Firehose untuk memanggil operasi Amazon MSK API. CreateVpcConnection

Izinkan Firehose untuk mengambil peran IAM

Bagian ini menjelaskan izin dan kebijakan yang memberikan akses Amazon Data Firehose untuk menyerap, memproses, dan mengirimkan data dari sumber ke tujuan.

catatan

Jika Anda menggunakan konsol untuk membuat aliran Firehose dan memilih opsi untuk membuat peran baru, AWS lampirkan kebijakan kepercayaan yang diperlukan ke peran tersebut. Jika Anda ingin Amazon Data Firehose menggunakan peran IAM yang ada atau jika Anda membuat peran sendiri, lampirkan kebijakan kepercayaan berikut ke peran tersebut sehingga Amazon Data Firehose dapat menanggapinya. Edit kebijakan untuk diganti account-id dengan ID AWS akun Anda. Untuk informasi tentang cara mengubah hubungan kepercayaan suatu peran, lihat Mengubah Peran.

Amazon Data Firehose menggunakan peran IAM untuk semua izin yang dibutuhkan aliran Firehose untuk memproses dan mengirimkan data. Pastikan bahwa kebijakan kepercayaan berikut dilampirkan ke peran tersebut sehingga Amazon Data Firehose dapat mengasumsikannya.

Jika memilih Amazon MSK sebagai sumber aliran Firehose, Anda harus menentukan peran IAM lain yang memberikan izin Amazon Data Firehose untuk menyerap data sumber dari cluster Amazon MSK yang ditentukan. Pastikan bahwa kebijakan kepercayaan berikut dilampirkan ke peran tersebut sehingga Amazon Data Firehose dapat mengasumsikannya.

Pastikan peran yang memberikan izin Amazon Data Firehose untuk menyerap data sumber dari cluster Amazon MSK tertentu memberikan izin berikut:

Berikan akses Firehose ke AWS Glue untuk konversi format data

Jika aliran Firehose Anda melakukan konversi format data, Amazon Data Firehose mereferensikan definisi tabel yang disimpan di. AWS Glue Untuk memberi Amazon Data Firehose akses yang diperlukan AWS Glue, tambahkan pernyataan berikut ke kebijakan Anda. Untuk informasi tentang cara menemukan ARN tabel, lihat Menentukan ARN Sumber AWS Daya Lem.


{
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "glue:GetTable",
        "glue:GetTableVersion",
        "glue:GetTableVersions"
    ],
    "Resource": [
        "arn:aws:glue:us-east-1:123456789012:catalog",
        "arn:aws:glue:us-east-1:123456789012:database/b",
        "arn:aws:glue:us-east-1:123456789012:table/b/easd"
    ]
},
{
      actions: ['glue:GetSchemaVersion'],
      grantee: options.role,
      resourceArns: ['*'],
}

Kebijakan yang disarankan untuk mendapatkan skema dari registri skema tidak memiliki batasan sumber daya. Untuk informasi selengkapnya, lihat contoh IAM untuk deserializer di Panduan Pengembang. AWS Glue

Memberikan akses Firehose ke tujuan Amazon S3

Saat Anda menggunakan tujuan Amazon S3, Amazon Data Firehose mengirimkan data ke bucket S3 Anda dan secara opsional dapat menggunakan AWS KMS kunci yang Anda miliki untuk enkripsi data. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Anda diharuskan memiliki peran IAM saat membuat aliran Firehose. Amazon Data Firehose mengasumsikan bahwa IAM berperan dan memperoleh akses ke bucket, kunci, dan grup CloudWatch log dan aliran yang ditentukan.

JSON


{
    "Version":"2012-10-17",   
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ] 
        },        
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStream",
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:ListShards"
            ],
            "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:us-east-1:123456789012:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.us-east-1.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:log-stream-name"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version"
           ]
        }
    ]
}

Kebijakan di atas juga memiliki pernyataan yang memungkinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut. Jika Anda menggunakan Amazon MSK sebagai sumber Anda, maka Anda dapat mengganti pernyataan itu dengan yang berikut:


{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka:GetBootstrapBrokers",
      "kafka:DescribeCluster",
      "kafka:DescribeClusterV2",
      "kafka-cluster:Connect"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:cluster/{{mskClusterName}}/{{clusterUUID}}"
},
{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka-cluster:DescribeTopic",
      "kafka-cluster:DescribeTopicDynamicConfiguration",
      "kafka-cluster:ReadData"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:topic/{{mskClusterName}}/{{clusterUUID}}/{{mskTopicName}}"
},
{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka-cluster:DescribeGroup"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:group/{{mskClusterName}}/{{clusterUUID}}/*"
}

Untuk informasi selengkapnya tentang mengi AWS zinkan layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di Panduan Pengguna IAM.

Untuk mempelajari cara memberikan akses Amazon Data Firehose ke tujuan Amazon S3 di akun lain, lihatCross-account pengiriman ke tujuan Amazon S3.

Berikan akses Firehose ke Tabel Amazon S3

Firehose memerlukan peran IAM dengan izin khusus untuk mengakses AWS AWS Glue tabel dan menulis data ke tabel di bucket tabel Amazon S3. Untuk menulis ke tabel di bucket tabel Amazon S3, Anda juga harus memberikan peran IAM dengan izin yang diperlukan. Izin yang diperlukan untuk katalog Tabel Amazon S3 bergantung pada mode kontrol akses yang Anda gunakan:

Kontrol akses IAM — Peran pengiriman Firehose memerlukan izin IAM langsung pada sumber daya Amazon S3 Tables.
Kontrol akses Formasi Danau — Peran pengiriman Firehose memerlukan AWS AWS Lake Formation izin untuk mengelola akses ke sumber daya tabel Anda. AWS Lake Formation menggunakan model izin sendiri yang memungkinkan kontrol akses halus untuk sumber daya Katalog Data.

Anda mengonfigurasi peran IAM ini saat membuat aliran Firehose. Pilih tab yang sesuai dengan mode kontrol akses Anda.

Kontrol akses IAM

Jika Anda menggunakan mode kontrol akses IAM (tanpa AWS Lake Formation), peran pengiriman Firehose memerlukan izin IAM langsung pada sumber daya Amazon S3 Tables dan objek Katalog AWS Glue Data.

Masuk ke Konsol Manajemen AWS dan buka konsol IAM di https://console.aws.amazon.com/iam/.

Buat kebijakan dan pilih JSON di editor kebijakan. Tambahkan kebijakan sebaris berikut yang memberikan izin yang diperlukan.


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "S3TablesAccessPermission",
            "Effect": "Allow",
            "Action": [
                "s3tables:GetNamespace",
                "s3tables:GetTable",
                "s3tables:GetTableData",
                "s3tables:GetTableMetadataLocation",
                "s3tables:PutTableData",
                "s3tables:UpdateTableMetadataLocation"
            ],
            "Resource": [
                "arn:aws:s3tables:region:account-id:bucket/*",
                "arn:aws:s3tables:region:account-id:bucket/*/table/*"
            ]
        },
        {
            "Sid": "S3TableBucketAccessPermission",
            "Effect": "Allow",
            "Action": [
                "s3tables:GetTableBucket"
            ],
            "Resource": "arn:aws:s3tables:region:account-id:bucket/*"
        },
        {
            "Sid": "GlueCatalogAccessPermission",
            "Effect": "Allow",
            "Action": [
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:GetTable",
                "glue:GetTables",
                "glue:UpdateTable"
            ],
            "Resource": [
                "arn:aws:glue:region:account-id:catalog",
                "arn:aws:glue:region:account-id:catalog/s3tablescatalog",
                "arn:aws:glue:region:account-id:catalog/s3tablescatalog/*",
                "arn:aws:glue:region:account-id:database/*",
                "arn:aws:glue:region:account-id:table/*/*"
            ]
        },
        {
            "Sid": "S3DeliveryErrorBucketPermission",
            "Effect": "Allow",
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::error-delivery-bucket",
                "arn:aws:s3:::error-delivery-bucket/*"
            ]
        },
        {
            "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource",
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStream",
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:ListShards"
            ],
            "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
            "Sid": "KMSPermissionForS3TablesEncryption",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:GenerateDataKey"
            ],
            "Resource": [
                "arn:aws:kms:region:account-id:key/key-id"
            ],
            "Condition": {
                "StringEquals": {
                    "kms:ViaService": "s3.region.amazonaws.com"
                },
                "StringLike": {
                    "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3tables:region:account-id:bucket/*/table/*"
                }
            }
        },
        {
            "Sid": "RequiredWhenUsingLambdaForDataTransformation",
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction",
                "lambda:GetFunctionConfiguration"
            ],
            "Resource": "arn:aws:lambda:region:account-id:function:function-name:function-version"
        },
        {
            "Sid": "CloudWatchLogsPermission",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents"
            ],
            "Resource": "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
        }
    ]
}

Kebijakan ini memiliki pernyataan yang memungkinkan akses ke Amazon Kinesis Data Streams, memanggil fungsi Lambda, dan akses ke kunci. AWS KMS Jika Anda tidak menggunakan salah satu sumber daya ini, Anda dapat menghapus pernyataan masing-masing. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Anda harus mengonfigurasi grup log dan nama aliran log untuk menggunakan opsi ini. Untuk nama grup log dan aliran log, lihatPantau Amazon Data Firehose Menggunakan Log CloudWatch.

Dalam kebijakan sebaris, ganti nilai placeholder dengan nama sumber daya, Akun AWS nomor, dan Wilayah yang sebenarnya.

Setelah Anda membuat kebijakan, buka konsol IAM di https://console.aws.amazon.com/iam/ dan buat peran IAM dengan jenis enti Layanan AWS tas te percaya.

Untuk Layanan atau kasus penggunaan, pilih Kinesis. Untuk kasus penggunaan, pilih Kinesis Fire hose.

Pada halaman berikutnya, pilih kebijakan yang dibuat pada langkah sebelumnya untuk dilampirkan ke peran ini. Pada halaman ulasan, Anda akan menemukan kebijakan kepercayaan yang sudah dilampirkan ke peran ini yang memberikan izin ke layanan Firehose untuk mengambil peran ini. Saat Anda membuat peran, Amazon Data Firehose dapat menganggapnya untuk melakukan operasi yang diperlukan pada AWS Glue dan Tabel Amazon S3. Tambahkan prinsipal layanan Firehose ke kebijakan kepercayaan dari peran yang dibuat. Untuk informasi selengkapnya, lihat Izinkan Firehose untuk mengambil peran IAM.

Kontrol akses Formasi Danau

Jika Anda menggunakan mode kontrol AWS Lake Formation akses, peran pengiriman Firehose memerlukan AWS Lake Formation izin untuk penjual otomatis kredensi selain kebijakan IAM.

Masuk ke Konsol Manajemen AWS dan buka konsol IAM di https://console.aws.amazon.com/iam/.

Buat kebijakan dan pilih JSON di editor kebijakan. Tambahkan kebijakan sebaris berikut yang memberikan izin Amazon S3 seperti read/write izin, izin untuk memperbarui tabel di katalog data, dan lainnya.

JSON


{
  "Version":"2012-10-17", 
  "Statement": [
    {
      "Sid": "S3TableAccessViaGlueFederation",
      "Effect": "Allow",
      "Action": [
        "glue:GetTable",
        "glue:GetDatabase",
        "glue:UpdateTable"
      ],
      "Resource": [
        "arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/*",
        "arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog",
        "arn:aws:glue:us-east-1:123456789012:catalog",
        "arn:aws:glue:us-east-1:123456789012:database/*",
        "arn:aws:glue:us-east-1:123456789012:table/*/*"
      ]
    },
    {
      "Sid": "S3DeliveryErrorBucketPermission",
      "Effect": "Allow",
      "Action": [
        "s3:AbortMultipartUpload",
        "s3:GetBucketLocation",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::<error delivery bucket>",
        "arn:aws:s3:::<error delivery bucket>/*"
      ]
    },
    {
      "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource",
      "Effect": "Allow",
      "Action": [
        "kinesis:DescribeStream",
        "kinesis:GetShardIterator",
        "kinesis:GetRecords",
        "kinesis:ListShards"
      ],
      "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/<stream-name>"
    },
    {
      "Sid": "RequiredWhenDoingMetadataReadsANDDataAndMetadataWriteViaLakeformation",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": "*"
    },
    {
      "Sid": "RequiredWhenUsingKMSEncryptionForS3ErrorBucketDelivery",
      "Effect": "Allow",
      "Action": [
        "kms:Decrypt",
        "kms:GenerateDataKey"
      ],
      "Resource": [
        "arn:aws:kms:us-east-1:123456789012:key/<KMS-key-id>"
      ],
      "Condition": {
        "StringEquals": {
          "kms:ViaService": "s3.us-east-1.amazonaws.com"
        },
        "StringLike": {
          "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::<error delivery bucket>/prefix*"
        }
      }
    },
    {
      "Sid": "LoggingInCloudWatch",
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents"
      ],
      "Resource": [
        "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name>:log-stream:<log-stream-name>"
      ]
    },
    {
      "Sid": "RequiredWhenAttachingLambdaToFirehose",
      "Effect": "Allow",
      "Action": [
        "lambda:InvokeFunction",
        "lambda:GetFunctionConfiguration"
      ],
      "Resource": [
        "arn:aws:lambda:us-east-1:123456789012:function:<function-name>:<function-version>"
      ]
    }
  ]
}

Dalam kebijakan sebaris, ganti <error delivery bucket> dengan nama bucket Amazon S3 Anda, aws-account-id dan Wilayah dengan Akun AWS nomor dan Wilayah sumber daya yang valid.

Selain kebijakan IAM, Anda juga harus memberikan peran pengiriman Firehose izin yang diperlukan di. AWS Lake Formation Untuk informasi selengkapnya, lihat Memberikan izin pada tabel.

Setelah Anda membuat kebijakan, buka konsol IAM di https://console.aws.amazon.com/iam/ dan buat peran IAM dengan jenis enti Layanan AWS tas te percaya.

Untuk Layanan atau kasus penggunaan, pilih Kinesis. Untuk kasus penggunaan, pilih Kinesis Fire hose.

Pada halaman berikutnya, pilih kebijakan yang dibuat pada langkah sebelumnya untuk dilampirkan ke peran ini. Pada halaman ulasan, Anda akan menemukan kebijakan kepercayaan yang sudah dilampirkan ke peran ini yang memberikan izin ke layanan Firehose untuk mengambil peran ini. Saat Anda membuat peran, Amazon Data Firehose dapat menganggapnya untuk melakukan operasi yang diperlukan pada AWS Glue dan bucket S3. Tambahkan prinsipal layanan Firehose ke kebijakan kepercayaan dari peran yang dibuat. Untuk informasi selengkapnya, lihat Izinkan Firehose untuk mengambil peran IAM.

Berikan akses Firehose ke tujuan Apache Iceberg Tables

Anda harus memiliki peran IAM sebelum membuat aliran Firehose dan Apache Iceberg Tables menggunakan. AWS Glue Gunakan langkah-langkah berikut untuk membuat kebijakan dan peran IAM. Firehose mengambil peran IAM ini dan melakukan tindakan yang diperlukan.

Masuk ke Konsol Manajemen AWS dan buka konsol IAM di https://console.aws.amazon.com/iam/.
Buat kebijakan dan pilih JSON di editor kebijakan.
Tambahkan kebijakan sebaris berikut yang memberikan izin Amazon S3 seperti read/write izin, izin untuk memperbarui tabel di katalog data, dll.

Kebijakan ini memiliki pernyataan yang memungkinkan akses ke Amazon Kinesis Data Streams, memanggil fungsi Lambda, dan akses ke kunci KMS. Jika Anda tidak menggunakan salah satu sumber daya ini, Anda dapat menghapus pernyataan masing-masing.

Jika logging kesalahan diaktifkan, Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Untuk ini, Anda harus mengonfigurasi grup log dan nama aliran log. Untuk nama grup log dan aliran log, lihatPantau Amazon Data Firehose Menggunakan Log CloudWatch.
Dalam kebijakan sebaris, ganti amzn-s3-demo-bucket dengan nama bucket Amazon S3 Anda, aws-account-id, dan Wilayah dengan Akun AWS nomor yang valid dan Wilayah sumber daya.

catatan
Peran ini memberikan izin ke semua database dan tabel dalam katalog data Anda. Jika mau, Anda dapat memberikan izin hanya untuk tabel dan database tertentu.
Setelah Anda membuat kebijakan, buka konsol IAM dan buat peran IAM dengan jenis enti Layanan AWS tas te percaya.
Untuk Layanan atau kasus penggunaan, pilih Kinesis. Untuk kasus penggunaan pilih Kinesis Fire hose.
Pada halaman berikutnya, pilih kebijakan yang dibuat pada langkah sebelumnya untuk dilampirkan ke peran ini. Pada halaman ulasan, Anda akan menemukan kebijakan kepercayaan yang sudah dilampirkan ke peran ini yang memberikan izin ke layanan Firehose untuk mengambil peran ini. Saat Anda membuat peran, Amazon Data Firehose dapat menganggapnya untuk melakukan operasi yang diperlukan pada AWS Glue dan bucket S3.

Berikan akses Firehose ke tujuan Amazon Redshift

Lihat hal berikut saat Anda memberikan akses ke Amazon Data Firehose saat menggunakan tujuan Amazon Redshift.

Topik

Peran IAM dan kebijakan akses
Akses VPC ke cluster yang disediakan Amazon Redshift atau grup kerja Amazon Redshift Serverless

Peran IAM dan kebijakan akses

Saat Anda menggunakan tujuan Amazon Redshift, Amazon Data Firehose mengirimkan data ke bucket S3 Anda sebagai lokasi perantara. Secara opsional dapat menggunakan AWS KMS kunci yang Anda miliki untuk enkripsi data. Amazon Data Firehose kemudian memuat data dari bucket S3 ke cluster yang disediakan Amazon Redshift atau grup kerja Amazon Redshift Serverless Anda. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Amazon Data Firehose menggunakan nama pengguna dan kata sandi Amazon Redshift yang ditentukan untuk mengakses cluster yang disediakan atau grup kerja tanpa server Amazon Redshift, dan menggunakan peran IAM untuk mengakses bucket, kunci, grup log, dan aliran yang ditentukan. CloudWatch Anda diharuskan memiliki peran IAM saat membuat aliran Firehose.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket dan AWS KMS kunci S3 Anda. Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberikan pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut.

JSON


{
"Version":"2012-10-17",   
    "Statement":
    [    
        {      
            "Effect": "Allow",
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:us-east-1:123456789012:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.us-east-1.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },        
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:log-stream-name"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version"
           ]
        }
    ]
}

Untuk informasi selengkapnya tentang mengi AWS zinkan layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di Panduan Pengguna IAM.

Akses VPC ke cluster yang disediakan Amazon Redshift atau grup kerja Amazon Redshift Serverless

Jika cluster yang disediakan Amazon Redshift atau grup kerja Amazon Redshift Serverless berada di cloud pribadi virtual (VPC), klaster tersebut harus dapat diakses publik dengan alamat IP publik. Selain itu, berikan akses Amazon Data Firehose ke cluster yang disediakan Amazon Redshift atau grup kerja Tanpa Server Amazon Redshift dengan membuka blokir alamat IP Amazon Data Firehose. Amazon Data Firehose saat ini menggunakan satu blok CIDR untuk setiap Wilayah yang tersedia.

Region	Blok CIDR
AS Timur (Ohio)	`13.58.135.96/27`
AS Timur (Virginia Utara)	`52.70.63.192/27`
AS Barat (California Utara)	`13.57.135.192/27`
AS Barat (Oregon)	`52.89.255.224/27`
AWS GovCloud (US-East)	`18.253.138.96/27`
AWS GovCloud (US-West)	`52.61.204.160/27`
Kanada (Pusat)	`35.183.92.128/27`
Kanada Barat (Calgary)	`40.176.98.192/27`
Asia Pasifik (Hong Kong)	`18.162.221.32/27`
Asia Pasifik (Mumbai)	`13.232.67.32/27`
Asia Pasifik (Hyderabad)	`18.60.192.128/27`
Asia Pasifik (Seoul)	`13.209.1.64/27`
Asia Pasifik (Singapura)	`13.228.64.192/27`
Asia Pasifik (Sydney)	`13.210.67.224/27`
Asia Pasifik (Jakarta)	`108.136.221.64/27`
Asia Pasifik (Tokyo)	`13.113.196.224/27`
Asia Pasifik (Osaka)	`13.208.177.192/27`
Asia Pasifik (Thailand)	`43.208.112.96/27`
Asia Pasifik (Taipei)	`43.212.53.160/27`
China (Beijing)	`52.81.151.32/27`
China (Ningxia)	`161.189.23.64/27`
Europe (Zurich)	`16.62.183.32/27`
Eropa (Frankfurt)	`35.158.127.160/27`
Eropa (Irlandia)	`52.19.239.192/27`
Eropa (London)	`18.130.1.96/27`
Eropa (Paris)	`35.180.1.96/27`
Eropa (Stockholm)	`13.53.63.224/27`
Eropa (Spanyol)	`18.100.71.96/27`
Timur Tengah (Bahrain)	`15.185.91.0/27`
Meksiko (Tengah)	`78.12.207.32/27`
Amerika Selatan (Sao Paulo)	`18.228.1.128/27`
Europe (Milan)	`15.161.135.128/27`
Africa (Cape Town)	`13.244.121.224/27`
Timur Tengah (UAE)	`3.28.159.32/27`
Israel (Tel Aviv)	`51.16.102.0/27`
Asia Pacific (Melbourne)	`16.50.161.128/27`
Asia Pasifik (Malaysia)	`43.216.58.0/27`

Untuk informasi selengkapnya tentang cara membuka blokir alamat IP, lihat langkah Meng otorisasi Akses ke Cluster di panduan Panduan Memulai Amazon Redshift.

Berikan akses Firehose ke tujuan OpenSearch Layanan publik

Saat Anda menggunakan tujuan OpenSearch Layanan, Amazon Data Firehose mengirimkan data ke cluster OpenSearch Layanan Anda, dan secara bersamaan mencadangkan dokumen yang gagal atau semua dokumen ke bucket S3 Anda. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Amazon Data Firehose menggunakan peran IAM untuk mengakses domain OpenSearch Layanan, bucket S3, AWS KMS kunci, dan grup CloudWatch log serta aliran tertentu. Anda diharuskan memiliki peran IAM saat membuat aliran Firehose.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket S3, domain OpenSearch Layanan, dan AWS KMS kunci Anda. Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberikan pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut.

Untuk informasi selengkapnya tentang mengi AWS zinkan layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di Panduan Pengguna IAM.

Untuk mempelajari cara memberikan akses Amazon Data Firehose ke cluster OpenSearch Layanan di akun lain, lihatCross-account pengiriman ke tujuan OpenSearch Layanan.

Memberikan akses Firehose ke tujuan OpenSearch Layanan di VPC

Jika domain OpenSearch Layanan Anda berada di VPC, pastikan Anda memberi Amazon Data Firehose izin yang dijelaskan di bagian sebelumnya. Selain itu, Anda perlu memberi Amazon Data Firehose izin berikut untuk mengaktifkannya mengakses VPC domain OpenSearch Layanan Anda.

ec2:DescribeVpcs
ec2:DescribeVpcAttribute
ec2:DescribeSubnets
ec2:DescribeSecurityGroups
ec2:DescribeNetworkInterfaces
ec2:CreateNetworkInterface
ec2:CreateNetworkInterfacePermission
ec2:DeleteNetworkInterface

penting

Jangan mencabut izin ini setelah Anda membuat aliran Firehose. Jika Anda mencabut izin ini, aliran Firehose Anda akan terdegradasi atau berhenti mengirimkan data ke domain OpenSearch layanan Anda setiap kali layanan mencoba menanyakan atau memperbarui ENI.

penting

Saat Anda menentukan subnet untuk mengirimkan data ke tujuan di VPC pribadi, pastikan Anda memiliki cukup jumlah alamat IP gratis di subnet yang dipilih. Jika tidak ada alamat IP gratis yang tersedia di subnet tertentu, Firehose tidak dapat membuat atau menambahkan ENI untuk pengiriman data di VPC pribadi, dan pengiriman akan terdegradasi atau gagal.

Saat membuat atau memperbarui aliran Firehose, Anda menentukan grup keamanan untuk Firehose untuk digunakan saat mengirim data ke domain OpenSearch Layanan Anda. Anda dapat menggunakan grup keamanan yang sama yang OpenSearch digunakan domain Layanan atau yang berbeda. Jika Anda menentukan grup keamanan yang berbeda, pastikan grup tersebut mengizinkan lalu lintas HTTPS keluar ke grup keamanan domain OpenSearch Layanan. Juga pastikan bahwa grup keamanan domain OpenSearch Layanan mengizinkan lalu lintas HTTPS dari grup keamanan yang Anda tentukan saat mengonfigurasi aliran Firehose Anda. Jika Anda menggunakan grup keamanan yang sama untuk aliran Firehose dan domain OpenSearch Layanan, pastikan aturan masuk grup keamanan mengizinkan lalu lintas HTTPS. Untuk informasi lebih lanjut tentang aturan grup keamanan, lihat Aturan grup keamanan dalam Dokumentasi Amazon VPC.

Berikan akses Firehose ke tujuan Tanpa OpenSearch Server publik

Saat Anda menggunakan tujuan Tanpa OpenSearch Server, Amazon Data Firehose mengirimkan data ke koleksi OpenSearch Serverless Anda, dan secara bersamaan mencadangkan semua dokumen yang gagal atau semua dokumen ke bucket S3 Anda. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Amazon Data Firehose menggunakan peran IAM untuk mengakses koleksi OpenSearch Serverless yang ditentukan, bucket S3, AWS KMS kunci, dan grup CloudWatch log serta aliran. Anda diharuskan memiliki peran IAM saat membuat aliran Firehose.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket S3, domain OpenSearch tanpa server, dan AWS KMS kunci. Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberikan pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut.

JSON


{
    "Version":"2012-10-17",   
    "Statement": [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:us-east-1:123456789012:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.us-east-1.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },    
       {
          "Effect": "Allow",
          "Action": [
              "kinesis:DescribeStream",
              "kinesis:GetShardIterator",
              "kinesis:GetRecords",
              "kinesis:ListShards"
          ],
          "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name"
       },
       {
          "Effect": "Allow",
          "Action": [
              "logs:PutLogEvents"
          ],
          "Resource": [
              "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:log-stream-name"
          ]
       },
       {
          "Effect": "Allow", 
          "Action": [
              "lambda:InvokeFunction", 
              "lambda:GetFunctionConfiguration" 
          ],
          "Resource": [
              "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version"
          ]
       },
       {
        "Effect": "Allow",
        "Action": "aoss:APIAccessAll",
        "Resource": "arn:aws:aoss:us-east-1:123456789012:collection/collection-id"
      }
    ]
}

Selain kebijakan di atas, Anda juga harus mengonfigurasi Amazon Data Firehose agar memiliki izin minimum berikut yang ditetapkan dalam kebijakan akses data:



[
   {
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/target-collection/target-index"
            ],
            "Permission":[
               "aoss:WriteDocument",
               "aoss:UpdateIndex",
               "aoss:CreateIndex"
            ]
         }
      ],
      "Principal":[
         "arn:aws:sts::123456789012:assumed-role/firehose-delivery-role-name/*"
      ]
   }
]

Untuk informasi selengkapnya tentang mengi AWS zinkan layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di Panduan Pengguna IAM.

Berikan akses Firehose ke tujuan OpenSearch Tanpa Server di VPC

Jika koleksi OpenSearch Tanpa Server Anda ada di VPC, pastikan Anda memberi Amazon Data Firehose izin yang dijelaskan di bagian sebelumnya. Selain itu, Anda perlu memberi Amazon Data Firehose izin berikut untuk mengaktifkannya mengakses VPC koleksi OpenSearch Serverless Anda.

ec2:DescribeVpcs
ec2:DescribeVpcAttribute
ec2:DescribeSubnets
ec2:DescribeSecurityGroups
ec2:DescribeNetworkInterfaces
ec2:CreateNetworkInterface
ec2:CreateNetworkInterfacePermission
ec2:DeleteNetworkInterface

penting

Saat membuat atau memperbarui aliran Firehose, Anda menentukan grup keamanan untuk Firehose untuk digunakan saat mengirim data ke koleksi Tanpa OpenSearch Server Anda. Anda dapat menggunakan grup keamanan yang sama yang OpenSearch digunakan koleksi Tanpa Server atau yang berbeda. Jika Anda menentukan grup keamanan yang berbeda, pastikan itu mengizinkan lalu lintas HTTPS keluar ke grup keamanan koleksi OpenSearch Tanpa Server. Juga pastikan bahwa grup keamanan koleksi OpenSearch Tanpa Server mengizinkan lalu lintas HTTPS dari grup keamanan yang Anda tentukan saat mengonfigurasi aliran Firehose Anda. Jika Anda menggunakan grup keamanan yang sama untuk aliran Firehose dan koleksi OpenSearch Tanpa Server, pastikan aturan masuk grup keamanan mengizinkan lalu lintas HTTPS. Untuk informasi lebih lanjut tentang aturan grup keamanan, lihat Aturan grup keamanan dalam Dokumentasi Amazon VPC.

Berikan akses Firehose ke tujuan Splunk

Saat Anda menggunakan tujuan Splunk, Amazon Data Firehose mengirimkan data ke titik akhir Splunk HTTP Event Collector (HEC) Anda. Ini juga mencadangkan data tersebut ke bucket Amazon S3 yang Anda tentukan, dan Anda dapat secara opsional menggunakan AWS KMS kunci yang Anda miliki untuk enkripsi sisi server Amazon S3. Jika pencatatan kesalahan diaktifkan, Firehose mengirimkan kesalahan pengiriman data ke aliran CloudWatch log Anda. Anda juga dapat menggunakan AWS Lambda untuk transformasi data.

Jika Anda menggunakan penyeim AWS bang beban, pastikan itu adalah Classic Load Balancer atau Application Load Balancer. Selain itu, aktifkan sesi lengket berbasis durasi dengan kedaluwarsa cookie dinonaktifkan untuk Classic Load Balancer dan kedaluwarsa diatur ke maksimum (7 hari) untuk Application Load Balancer. Untuk informasi tentang cara melakukannya, lihat Sesi Seksi Duration-Based untuk Classic Load Balancer atau Application Load Balancer. https://docs.aws.amazon.com/elasticloadbalancing/latest/application/sticky-sessions.html

Anda harus memiliki peran IAM saat membuat aliran Firehose. Firehose mengasumsikan bahwa IAM berperan dan mendapatkan akses ke bucket, kunci, dan grup CloudWatch log dan aliran yang ditentukan.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket S3 Anda. Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberikan pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memberikan akses Amazon Data Firehose CloudWatch untuk pencatatan kesalahan dan AWS Lambda untuk transformasi data. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut. Amazon Data Firehose tidak menggunakan IAM untuk mengakses Splunk. Untuk mengakses Splunk, ia menggunakan token HEC Anda.

JSON


{
    "Version":"2012-10-17",   
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]     
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:us-east-1:123456789012:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.us-east-1.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },     
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:*"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version"
           ]
        }
    ]
}

Untuk informasi selengkapnya tentang mengi AWS zinkan layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di Panduan Pengguna IAM.

Mengakses Splunk di VPC

Jika platform Splunk Anda ada di VPC, maka platform tersebut harus dapat diakses secara publik dengan alamat IP publik. Juga, berikan akses Amazon Data Firehose ke platform Splunk Anda dengan membuka blokir alamat IP Amazon Data Firehose. Amazon Data Firehose saat ini menggunakan blok CIDR berikut.

Region	Blok CIDR
AS Timur (Ohio)	`18.216.68.160/27, 18.216.170.64/27, 18.216.170.96/27`\
AS Timur (Virginia Utara)	`34.238.188.128/26, 34.238.188.192/26, 34.238.195.0/26`
AS Barat (California Utara)	`13.57.180.0/26`
AS Barat (Oregon)	`34.216.24.32/27, 34.216.24.192/27, 34.216.24.224/27`
AWS GovCloud (US-East)	`18.253.138.192/26`
AWS GovCloud (US-West)	`52.61.204.192/26`
Asia Pasifik (Hong Kong)	`18.162.221.64/26`
Asia Pasifik (Taipei)	`43.212.53.192/26`
Asia Pasifik (Mumbai)	`13.232.67.64/26`
Asia Pasifik (Seoul)	`13.209.71.0/26`
Asia Pasifik (Singapura)	`13.229.187.128/26`
Asia Pasifik (Sydney)	`13.211.12.0/26`
Asia Pasifik (Thailand)	`43.208.112.128/26`
Asia Pasifik (Tokyo)	`13.230.21.0/27, 13.230.21.32/27`
(Canada (Central)	`35.183.92.64/26`
Kanada Barat (Calgary)	`40.176.98.128/26`
Eropa (Frankfurt)	`18.194.95.192/27, 18.194.95.224/27, 18.195.48.0/27`
Eropa (Irlandia)	`34.241.197.32/27, 34.241.197.64/27, 34.241.197.96/27`
Eropa (London)	`18.130.91.0/26`
Eropa (Paris)	`35.180.112.0/26`
Eropa (Spanyol)	`18.100.194.0/26`
Eropa (Stockholm)	`13.53.191.0/26`
Timur Tengah (Bahrain)	`15.185.91.64/26`
Meksiko (Tengah)	`78.12.207.64/26`
Amerika Selatan (Sao Paulo)	`18.228.1.192/26`
Europe (Milan)	`15.161.135.192/26`
Africa (Cape Town)	`13.244.165.128/26`
Asia Pasifik (Osaka)	`13.208.217.0/26`
China (Beijing)	`52.81.151.64/26`
China (Ningxia)	`161.189.23.128/26`
Asia Pasifik (Jakarta)	`108.136.221.128/26`
Timur Tengah (UAE)	`3.28.159.64/26`
Israel (Tel Aviv)	`51.16.102.64/26`
Europe (Zurich)	`16.62.183.64/26`
Asia Pasifik (Hyderabad)	`18.60.192.192/26`
Asia Pacific (Melbourne)	`16.50.161.192/26`
Asia Pasifik (Malaysia)	`43.216.44.192/26`
Asia Pasifik (Selandia Baru)	`3.102.119.128/26`

Mengambil log aliran VPC ke Splunk menggunakan Amazon Data Firehose

Untuk mempelajari selengkapnya tentang cara membuat langganan log alur VPC, menerbitkan ke Firehose, dan mengirim log alur VPC ke tujuan yang didukung, lihat Mengambil log aliran VPC ke Splunk menggunakan Amazon Data Firehose.

Mengakses Snowflake atau titik akhir HTTP

Tidak ada subset rentang alamat AWS IP khusus untuk Amazon Data Firehose ketika tujuannya adalah titik akhir HTTP atau cluster publik Snowflake.

Untuk menambahkan Firehose ke daftar izin untuk cluster Snowflake publik atau ke titik akhir HTTP atau HTTPS publik Anda, tambahkan semua rentang alamat AWS IP saat ini ke aturan masuk Anda.

catatan

Pemberitahuan tidak selalu bersumber dari alamat IP di Wil AWS ayah yang sama dengan topik terkait. Anda harus menyertakan rentang alamat AWS IP untuk semua Wilayah.

Berikan akses Firehose ke tujuan Snowflake

Saat Anda menggunakan Snowflake sebagai tujuan, Firehose mengirimkan data ke akun Snowflake menggunakan URL akun Snowflake Anda. Ini juga mencadangkan data kesalahan ke bucket Amazon Simple Storage Service yang Anda tentukan, dan Anda dapat secara opsional menggunakan AWS Key Management Service kunci yang Anda miliki untuk enkripsi sisi server Amazon S3. Jika pencatatan kesalahan diaktifkan, Firehose mengirimkan kesalahan pengiriman data ke aliran CloudWatch Log Anda.

Anda harus memiliki peran IAM sebelum membuat aliran Firehose. Firehose mengasumsikan bahwa IAM berperan dan mendapatkan akses ke bucket, kunci, dan grup dan aliran CloudWatch Log yang ditentukan. Gunakan kebijakan akses berikut untuk mengaktifkan Firehose mengakses bucket S3 Anda. Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon Simple Storage Service, yang memberikan pemilik bucket akses penuh ke objek yang dikirimkan oleh Firehose. Kebijakan ini juga memberikan akses Firehose CloudWatch untuk pencatatan kesalahan. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut. Firehose tidak menggunakan IAM untuk mengakses Snowflake. Untuk mengakses Snowflake, ia menggunakan Url akun Snowflake Anda dan Id PrivateLink Vpce dalam kasus cluster pribadi.

Untuk informasi selengkapnya tentang mengi AWS zinkan layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di Panduan Pengguna IAM.

Mengakses Snowflake di VPC

Jika cluster Snowflake Anda mengaktifkan tautan pribadi, Firehose akan menggunakan salah satu titik akhir VPC berikut pada saat pembuatan tautan pribadi untuk mengirimkan data ke cluster pribadi Anda tanpa melalui internet publik. Untuk ini, buat aturan jaringan Snowflake untuk memungkinkan masuknya dari yang berikut AwsVpceIds untuk cluster Wilayah AWS Anda berada. Untuk informasi selengkapnya, lihat Membuat aturan jaringan di Panduan Pengguna Snowflake.

Id Titik Akhir VPC yang akan digunakan berdasarkan Wilayah tempat cluster Anda berada
Wilayah AWS	`VPCE IDs`
AS Timur (Ohio)	vpce-0d96cafcd96a50aeb vpce-0cec34343d48f537b
AS Timur (Virginia Utara)	vpce-0b4d7e8478e141ba8 vpce-0b75cd681fb507352 vpce-01c03e63820ec00d8 vpce-0c2cfc51dc2882422 vpce-06ca862f019e4e056 vpce-020cda0cfa63f8d1c vpce-0b80504a1a783cd70 vpce-0289b9ff0b5259a96 vpce-0d7add8628bd69a12 vpce-02bfb5966cc59b2af vpce-09e707674af878bf2 vpce-049b52e96cc1a2165 vpce-0bb6c7b7a8a86cdbb vpce-03b22d599f51e80f3 vpce-01d60dc60fc106fe1 vpce-0186d20a4b24ecbef vpce-0533906401a36e416 vpce-05111fb13d396710e vpce-0694613f4fbd6f514 vpce-09b21cb25fe4cc4f4 vpce-06029c3550e4d2399 vpce-00961862a21b033da vpce-01620b9ae33273587 vpce-078cf4ec226880ac9 vpce-0d711bf076ce56381 vpce-066b7e13cbfca6f6e vpce-0674541252d9ccc26 vpce-03540b88dedb4b000 vpce-0b1828e79ad394b95 vpce-0dc0e6f001fb1a60d vpce-0d8f82e71a244098a vpce-00e374d9e3f1af5ce vpce-0c1e3d6631ddb442f
AS Barat (Oregon)	vpce-0f60f72da4cd1e4e7 vpce-0c60d21eb8b1669fd vpce-01c4e3e29afdafbef vpce-0cc6bf2a88da139de vpce-0797e08e169e50662 vpce-033cbe480381b5c0e vpce-00debbdd8f9eb10a5 vpce-08ec2f386c809e889 vpce-0856d14310857b545
Eropa (Frankfurt)	vpce-068dbb7d71c9460fb vpce-0a7a7f095942d4ec9
Eropa (Irlandia)	vpce-06857e59c005a6276 vpce-04390f4f8778b75f2 vpce-011fd2b1f0aa172fd
Asia Pasifik (Tokyo)	vpce-06369e5258144e68a vpce-0f2363cdb8926fbe8
Asia Pasifik (Singapura)	vpce-049cd46cce7a12d52 vpce-0e8965a1a4bdb8941
Asia Pasifik (Seoul)	vpce-0aa444d9001e1faa1 vpce-04a49d4dcfd02b884
Asia Pasifik (Sydney)	vpce-048a60a182c52be63 vpce-03c19949787fd1859
Asia Pasifik (Mumbai)	vpce-0d68cb822f6f0db68 vpce-0517d32692ffcbde2
Eropa (London)	vpce-0fd1874a0ba3b9374 vpce-08091b1a85e206029
Amerika Selatan (Sao Paulo)	vpce-065169b8144e4f12e vpce-0493699f0e5762d63
Kanada (Pusat)	vpce-07e6ed81689d5271f vpce-0f53239730541394c
Eropa (Paris)	vpce-09419680077e6488a vpce-0ea81ba2c08140c14
Asia Pasifik (Osaka)	vpce-0a9f003e6a7e38c05 vpce-02886510b897b1c5a
Eropa (Stockholm)	vpce-0d96410833219025a vpce-060a32f9a75ba969f
Asia Pasifik (Jakarta)	vpce-00add4b9a25e5c649 vpce-004ae2de34338a856

Berikan akses Firehose ke tujuan titik akhir HTTP

Anda dapat menggunakan Amazon Data Firehose untuk mengirimkan data ke tujuan titik akhir HTTP apa pun. Amazon Data Firehose juga mencadangkan data tersebut ke bucket Amazon S3 yang Anda tentukan, dan Anda dapat secara opsional menggunakan AWS KMS kunci yang Anda miliki untuk enkripsi sisi server Amazon S3. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose mengirimkan kesalahan pengiriman data ke aliran CloudWatch log Anda. Anda juga dapat menggunakan AWS Lambda untuk transformasi data.

Anda diharuskan memiliki peran IAM saat membuat aliran Firehose. Amazon Data Firehose mengasumsikan bahwa IAM berperan dan memperoleh akses ke bucket, kunci, dan grup CloudWatch log dan aliran yang ditentukan.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket S3 yang Anda tentukan untuk pencadangan data. Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberikan pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memberikan akses Amazon Data Firehose CloudWatch untuk pencatatan kesalahan dan AWS Lambda untuk transformasi data. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut.

penting

Amazon Data Firehose tidak menggunakan IAM untuk mengakses tujuan titik akhir HTTP yang dimiliki oleh penyedia layanan pihak ketiga yang didukung, termasuk Datadog, Dynatrace,, MongoDB, New Relic, Spl LogicMonitor unk, atau Sumo Logic. Untuk mengakses tujuan titik akhir HTTP tertentu yang dimiliki oleh penyedia layanan pihak ketiga yang didukung, hubungi penyedia layanan tersebut untuk mendapatkan kunci API atau kunci akses yang diperlukan untuk mengaktifkan pengiriman data ke layanan tersebut dari Amazon Data Firehose.

Untuk informasi selengkapnya tentang mengi AWS zinkan layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di Panduan Pengguna IAM.

penting

Saat ini Amazon Data Firehose TIDAK mendukung pengiriman data ke titik akhir HTTP di VPC.

Cross-account pengiriman dari Amazon MSK

Saat Anda membuat aliran Firehose dari akun Firehose Anda (misalnya, Akun B) dan sumber Anda adalah cluster MSK di AWS akun lain (Akun A), Anda harus memiliki konfigurasi berikut.

Akun A:

Di konsol Amazon MSK, pilih cluster yang disediakan, lalu pilih Properties.
Di bawah Pengaturan jaringan, pilih Edit dan aktifkan Multi-VPC konektivitas.

Di bawah Pengaturan keamanan pilih Edit kebijakan cluster.

Jika cluster belum memiliki kebijakan yang dikonfigurasi, centang Ser takan prinsipal layanan Firehose dan Aktifkan pengiriman S3 lintas akun Firehose. Secara otomatis Konsol Manajemen AWS akan menghasilkan kebijakan dengan izin yang sesuai.

Jika cluster sudah memiliki kebijakan yang dikonfigurasi, tambahkan izin berikut ke kebijakan yang ada:


{
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::us-east-1:role/mskaasTestDeliveryRole"
      },
      "Action": [
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeCluster",
        "kafka:DescribeClusterV2",
        "kafka-cluster:Connect"
      ],
      "Resource": "arn:aws:kafka:us-east-1:123456789012:cluster/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20"  // ARN of the cluster
    },
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws::iam::us-east-1:role/mskaasTestDeliveryRole"
      },
      "Action": [
        "kafka-cluster:DescribeTopic",
        "kafka-cluster:DescribeTopicDynamicConfiguration",
        "kafka-cluster:ReadData"
      ],
      "Resource": "arn:aws:kafka:us-east-1:arn:topic/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*"//topic of the cluster
    },
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::us-east-1:role/mskaasTestDeliveryRole"
      },
      "Action": "kafka-cluster:DescribeGroup",
      "Resource": "arn:aws:kafka:us-east-1:arn:group/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster
    },
 }

Di bawah AWS prinsip, masukkan ID utama dari Akun B.
Di bawah Top ik, tentukan topik Apache Kafka dari mana Anda ingin aliran Firehose Anda menyerap data. Setelah aliran Firehose dibuat, Anda tidak dapat memperbarui topik ini.
Pilih Save changes (Simpan perubahan)

Akun B:

Di konsol Firehose, pilih Buat aliran Firehose menggunakan Akun B.
Di bawah Sumber, pilih Amazon Managed Streaming untuk Apache Kafka.
Di bawah Pengaturan Sumber, untuk Amazon Managed Streaming untuk cluster Apache Kafka, masukkan ARN cluster Amazon MSK di Akun A.
Di bawah Top ik, tentukan topik Apache Kafka dari mana Anda ingin aliran Firehose Anda menyerap data. Setelah aliran Firehose dibuat, Anda tidak dapat memperbarui topik ini.
Di Nama aliran pengiriman, tentukan nama untuk aliran Firehose Anda.

Di Akun B saat Anda membuat aliran Firehose, Anda harus memiliki peran IAM (dibuat secara default saat menggunakan Konsol Manajemen AWS) yang memberikan akses 'baca' aliran Firehose ke cluster Amazon MSK lintas-akun untuk topik yang dikonfigurasi.

Berikut ini adalah apa yang dikonfigurasi oleh Konsol Manajemen AWS:


{
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeCluster",
        "kafka:DescribeClusterV2",
        "kafka-cluster:Connect"
        ],
    "Resource": "arn:aws:kafka:us-east-1:arn:aws::cluster/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster
    },
    {
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka-cluster:DescribeTopic",
        "kafka-cluster:DescribeTopicDynamicConfiguration",
        "kafka-cluster:ReadData"
    ],
    "Resource": "arn:aws:kafka:us-east-1:arn:aws::topic/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/mskaas_test_topic" //topic of the cluster
    },
    {
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka-cluster:DescribeGroup"
    ],
    "Resource": "arn:aws:kafka:us-east-1:arn:aws::group/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster
    },
 }

Selanjutnya, Anda dapat menyelesaikan langkah opsional mengonfigurasi transformasi rekaman dan konversi format rekaman. Untuk informasi selengkapnya, lihat (Opsional) Konfigurasikan transformasi rekaman dan konversi format.

Cross-account pengiriman ke tujuan Amazon S3

Anda dapat menggunakan AWS CLI atau Amazon Data Firehose API untuk membuat aliran Firehose di satu AWS akun dengan tujuan Amazon S3 di akun yang berbeda. Prosedur berikut menunjukkan contoh mengonfigurasi aliran Firehose yang dimiliki oleh akun A untuk mengirimkan data ke bucket Amazon S3 yang dimiliki oleh akun B.

Buat peran IAM di bawah akun A menggunakan langkah-langkah yang dijelaskan dalam Memberikan Akses Firehose ke Tujuan Amazon S3.

catatan
Dalam kasus ini, bucket Amazon S3 yang ditentukan dalam kebijakan akses dimiliki oleh akun B. Pastikan Anda menambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3 dalam kebijakan akses, yang memberikan akun B akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Izin ini diperlukan untuk pengiriman lintas akun. Amazon Data Firehose menyetel header “x-amz-acl” pada permintaan ke “bucket-owner-full-control”.

Untuk mengizinkan akses dari IAM role yang dibuat sebelumnya, buat kebijakan bucket S3 pada akun B. Kode berikut adalah contoh kebijakan bucket. Untuk informasi selengkapnya, lihat Menggunakan Kebijakan Bucket dan Kebijakan Pengguna.

Buat aliran Firehose di bawah akun A menggunakan peran IAM yang Anda buat di langkah 1.

Cross-account pengiriman ke tujuan OpenSearch Layanan

Anda dapat menggunakan AWS CLI atau Amazon Data Firehose API untuk membuat aliran Firehose di satu AWS akun dengan tujuan OpenSearch Layanan di akun yang berbeda. Prosedur berikut menunjukkan contoh bagaimana Anda dapat membuat aliran Firehose di bawah akun A dan mengonfigurasinya untuk mengirimkan data ke tujuan OpenSearch Layanan yang dimiliki oleh akun B.

Buat IAM role di akun A menggunakan langkah-langkah yang dijelaskan pada Berikan akses Firehose ke tujuan OpenSearch Layanan publik.

Untuk mengizinkan akses dari peran IAM yang Anda buat pada langkah sebelumnya, buat kebijakan OpenSearch Layanan di bawah akun B. JSON berikut adalah contoh.

Buat aliran Firehose di bawah akun A menggunakan peran IAM yang Anda buat di langkah 1. Saat Anda membuat aliran Firehose, gunakan AWS CLI atau Amazon Data Firehose API dan tentukan ClusterEndpoint bidang alih-alih DomainARN untuk OpenSearch Layanan.

catatan

Untuk membuat aliran Firehose di satu AWS akun dengan tujuan OpenSearch Layanan di akun yang berbeda, Anda harus menggunakan API AWS CLI atau Amazon Data Firehose. Anda tidak dapat menggunakan Konsol Manajemen AWS untuk membuat konfigurasi lintas akun semacam ini.

Menggunakan tanda untuk mengontrol akses

Anda dapat menggunakan Condition elemen opsional (atau Condition blok) dalam kebijakan IAM untuk menyempurnakan akses ke operasi Amazon Data Firehose berdasarkan kunci tag dan nilai. Subbagian berikut menjelaskan cara melakukan ini untuk operasi Amazon Data Firehose yang berbeda. Untuk informasi selengkapnya tentang penggunaan elemen Condition dan operator yang dapat Anda gunakan di dalamnya, lihat Elemen Kebijakan JSON IAM: Syarat.

CreateDeliveryStream

Untuk operasi CreateDeliveryStream, gunakan kunci syarat aws:RequestTag. Pada contoh berikut, MyKey dan MyValue mewakili kunci dan nilai yang sesuai untuk sebuah tanda. Untuk informasi selengkapnya, lihat Memahami dasar-dasar tag

TagDeliveryStream

Untuk operasi TagDeliveryStream, gunakan kunci syarat aws:TagKeys. Pada contoh berikut, MyKey adalah contoh kunci tanda.

UntagDeliveryStream

Untuk operasi UntagDeliveryStream, gunakan kunci syarat aws:TagKeys. Pada contoh berikut, MyKey adalah contoh kunci tanda.

ListDeliveryStreams

Anda tidak dapat menggunakan kendali akses berbasis tanda dengan ListDeliveryStreams.

Operasi lainnya

Untuk semua operasi Firehose selainCreateDeliveryStream,TagDeliveryStream,UntagDeliveryStream, danListDeliveryStreams, gunakan kunci aws:RequestTag kondisi. Pada contoh berikut, MyKey dan MyValue mewakili kunci dan nilai yang sesuai untuk sebuah tanda.

ListDeliveryStreams, gunakan kunci firehose:ResourceTag kondisi untuk mengontrol akses berdasarkan tag pada aliran Firehose tersebut.

Pada contoh berikut, MyKey dan MyValue mewakili kunci dan nilai yang sesuai untuk sebuah tanda. Kebijakan ini hanya akan berlaku untuk aliran Data Firehose yang memiliki tag bernama MyKey dengan nilaiMyValue. Untuk informasi selengkapnya tentang mengendalikan akses berdasarkan tag sumber daya, lihat Meng ontrol akses ke AWS sumber daya menggunakan tag di Panduan Pengguna IAM.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Perlindungan Data

Otentikasi dengan AWS Secrets Manager