Mengirimkan aliran Amazon Data Firehose ke Apache Iceberg Tables di Amazon S3 sedang dalam pratinjau dan dapat berubah sewaktu-waktu.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengontrol akses dengan Amazon Data Firehose

Bagian berikut mencakup cara mengontrol akses ke dan dari sumber daya Amazon Data Firehose Anda. Informasi yang mereka cakup mencakup cara memberikan akses aplikasi Anda sehingga dapat mengirim data ke aliran Firehose Anda. Mereka juga menjelaskan bagaimana Anda dapat memberikan Amazon Data Firehose akses ke bucket Amazon Simple Storage Service (Amazon S3), cluster Amazon Redshift, atau OpenSearch kluster Layanan Amazon, serta izin akses yang Anda perlukan jika Anda menggunakan Datadog, Dynatrace,, MongoDB, New Relic, Splunk, atau Sumo LogicMonitor Logic sebagai tujuan Anda. Terakhir, Anda akan menemukan panduan topik ini tentang cara mengonfigurasi Amazon Data Firehose sehingga dapat mengirimkan data ke tujuan yang termasuk dalam akun yang berbeda AWS . Teknologi untuk mengelola semua bentuk akses ini adalah AWS Identity and Access Management (IAM). Untuk informasi lebih lanjut tentangIAM, lihat Apa ituIAM? .

Berikan akses ke sumber daya Firehose Anda

Untuk memberikan akses aplikasi Anda ke aliran Firehose Anda, gunakan kebijakan yang mirip dengan contoh ini. Anda dapat menyesuaikan API operasi individual yang Anda berikan akses dengan memodifikasi Action bagian, atau memberikan akses ke semua operasi dengan"firehose:*".

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "firehose:DeleteDeliveryStream",
                "firehose:PutRecord",
                "firehose:PutRecordBatch",
                "firehose:UpdateDestination"
            ],
            "Resource": [
                "arn:aws:firehose:region:account-id:deliverystream/delivery-stream-name"
            ]
        }
    ]
}

Berikan akses Firehose ke kluster Amazon pribadi Anda MSK

Jika sumber aliran Firehose Anda adalah MSK klaster Amazon pribadi, gunakan kebijakan yang mirip dengan contoh ini.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "Service": [
          "firehose.amazonaws.com"
        ]
    },
    "Effect": "Allow",
    "Action": [
      "kafka:CreateVpcConnection"
    ],
    "Resource": "cluster-arn"
    }
  ]
}

Anda harus menambahkan kebijakan seperti ini ke kebijakan berbasis sumber daya kluster untuk memberikan izin kepada prinsipal layanan Firehose untuk menjalankan operasi Amazon. MSK CreateVpcConnection API

Izinkan Firehose untuk mengambil peran IAM

Bagian ini menjelaskan izin dan kebijakan yang memberikan Amazon Data Firehose akses untuk mencerna, memproses, dan mengirimkan data dari sumber ke tujuan.

Amazon Data Firehose menggunakan IAM peran untuk semua izin yang dibutuhkan aliran Firehose untuk memproses dan mengirimkan data. Pastikan bahwa kebijakan kepercayaan berikut dilampirkan pada peran tersebut sehingga Amazon Data Firehose dapat menerimanya.

{
	"Version": "2012-10-17",
	"Statement": [{
		"Sid": "",
		"Effect": "Allow",
		"Principal": {
			"Service": "firehose.amazonaws.com"
		},
		"Action": "sts:AssumeRole",
		"Condition": {
			"StringEquals": {
				"sts:ExternalId": "account-id"
			}
		}
	}]
}

Kebijakan ini menggunakan kunci konteks sts:ExternalId kondisi untuk memastikan bahwa hanya aktivitas Amazon Data Firehose yang berasal dari AWS akun Anda yang dapat mengambil peran ini. IAM Untuk informasi selengkapnya tentang mencegah penggunaan IAM peran yang tidak sah, lihat Masalah wakil yang membingungkan di Panduan IAM Pengguna.

Jika Anda memilih Amazon MSK sebagai sumber untuk aliran Firehose, Anda harus menentukan IAM peran lain yang memberikan izin Amazon Data Firehose untuk menyerap data sumber dari klaster Amazon yang ditentukan. MSK Pastikan bahwa kebijakan kepercayaan berikut dilampirkan pada peran tersebut sehingga Amazon Data Firehose dapat menerimanya.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "Service": [
          "firehose.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": "sts:AssumeRole"
    }
  ]
}
        

Pastikan peran ini yang memberikan izin Amazon Data Firehose untuk mencerna data sumber dari klaster MSK Amazon yang ditentukan memberikan izin berikut:

{
   "Version": "2012-10-17",      
   "Statement": [{
        "Effect":"Allow",
        "Action": [
           "kafka:GetBootstrapBrokers",
           "kafka:DescribeCluster",
           "kafka:DescribeClusterV2",
           "kafka-cluster:Connect"
         ],
         "Resource": "CLUSTER-ARN"
       },
       {
         "Effect":"Allow",
         "Action": [
           "kafka-cluster:DescribeTopic",
           "kafka-cluster:DescribeTopicDynamicConfiguration",
           "kafka-cluster:ReadData"
         ],
         "Resource": "TOPIC-ARN"
       }]
}
        

Berikan akses Firehose AWS Glue untuk konversi format data

Jika aliran Firehose Anda melakukan konversi format data, Amazon Data Firehose mereferensikan definisi tabel yang disimpan. AWS Glue Untuk memberikan Amazon Data Firehose akses yang diperlukan AWS Glue, tambahkan pernyataan berikut ke kebijakan Anda. Untuk informasi tentang cara menemukan tabel, lihat Menentukan Sumber Daya AWS ARNs Glue. ARN

[{
    "Effect": "Allow",
    "Action": [
        "glue:GetTable",
        "glue:GetTableVersion",
        "glue:GetTableVersions"
    ],
    "Resource": "table-arn"
}, {
    "Sid": "GetSchemaVersion",
    "Effect": "Allow",
    "Action": [
        "glue:GetSchemaVersion"
    ],
    "Resource": ["*"]
}]

Kebijakan yang disarankan untuk mendapatkan skema dari registri skema tidak memiliki batasan sumber daya. Untuk informasi selengkapnya, lihat IAMcontoh deserializer di Panduan Pengembang. AWS Glue

Berikan akses Firehose ke tujuan Amazon S3

Saat Anda menggunakan tujuan Amazon S3, Amazon Data Firehose mengirimkan data ke bucket S3 Anda dan secara opsional dapat menggunakan AWS KMS kunci yang Anda miliki untuk enkripsi data. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Anda harus memiliki IAM peran saat membuat aliran Firehose. Amazon Data Firehose mengasumsikan IAM peran tersebut dan mendapatkan akses ke bucket, kunci, dan grup CloudWatch log serta stream yang ditentukan.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket dan kunci S3 Anda. AWS KMS Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3. Ini memberi pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose.

{
    "Version": "2012-10-17",  
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::bucket-name",
                "arn:aws:s3:::bucket-name/*"		    
            ]    
        },        
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStream",
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:ListShards"
            ],
            "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket-name/prefix*"
               }
           }
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:region:account-id:function:function-name:function-version"
           ]
        }
    ]
}

Kebijakan di atas juga memiliki pernyataan yang memungkinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut. Jika Anda menggunakan Amazon MSK sebagai sumber Anda, maka Anda dapat mengganti pernyataan itu dengan yang berikut:

{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka:GetBootstrapBrokers",
      "kafka:DescribeCluster",
      "kafka:DescribeClusterV2",
      "kafka-cluster:Connect"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:cluster/{{mskClusterName}}/{{clusterUUID}}"
},
{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka-cluster:DescribeTopic",
      "kafka-cluster:DescribeTopicDynamicConfiguration",
      "kafka-cluster:ReadData"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:topic/{{mskClusterName}}/{{clusterUUID}}/{{mskTopicName}}"
},
{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka-cluster:DescribeGroup"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:group/{{mskClusterName}}/{{clusterUUID}}/*"
}

Untuk informasi selengkapnya tentang mengizinkan AWS layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di IAMPanduan Pengguna.

Untuk mempelajari cara memberikan Amazon Data Firehose akses ke tujuan Amazon S3 di akun lain, lihat. Pengiriman lintas akun ke tujuan Amazon S3

Berikan akses Firehose ke tujuan Apache Iceberg Tables

Anda harus memiliki IAM peran sebelum membuat aliran Firehose dan Apache Iceberg Tables menggunakan. AWS Glue Gunakan langkah-langkah berikut untuk membuat kebijakan dan IAM peran. Firehose mengasumsikan IAM peran ini dan melakukan tindakan yang diperlukan.

Berikan akses Firehose ke tujuan Amazon Redshift

Lihat hal berikut saat Anda memberikan akses ke Amazon Data Firehose saat menggunakan tujuan Amazon Redshift.

IAMkebijakan peran dan akses

Saat Anda menggunakan tujuan Amazon Redshift, Amazon Data Firehose mengirimkan data ke bucket S3 Anda sebagai lokasi perantara. Secara opsional dapat menggunakan AWS KMS kunci yang Anda miliki untuk enkripsi data. Amazon Data Firehose kemudian memuat data dari bucket S3 ke cluster yang disediakan Amazon Redshift atau workgroup Amazon Redshift Serverless. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Amazon Data Firehose menggunakan nama pengguna dan kata sandi Amazon Redshift yang ditentukan untuk mengakses klaster yang disediakan atau grup kerja Tanpa Server Amazon Redshift, dan IAM menggunakan peran untuk mengakses bucket, kunci, grup log, dan aliran yang ditentukan. CloudWatch Anda harus memiliki IAM peran saat membuat aliran Firehose.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket dan kunci S3 Anda. AWS KMS Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberi pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut.

{
"Version": "2012-10-17",  
    "Statement":
    [    
        {      
            "Effect": "Allow",
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::bucket-name",
                "arn:aws:s3:::bucket-name/*"		    
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket-name/prefix*"
               }
           }
        },        
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:region:account-id:function:function-name:function-version"
           ]
        }
    ]
}

Untuk informasi selengkapnya tentang mengizinkan AWS layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di IAMPanduan Pengguna.

VPCakses ke klaster yang disediakan Amazon Redshift atau grup kerja Amazon Redshift Tanpa Server

Jika klaster yang disediakan Amazon Redshift atau grup kerja Tanpa Server Amazon Redshift Anda berada di cloud pribadi virtual (VPC), klaster tersebut harus dapat diakses publik dengan alamat IP publik. Selain itu, berikan akses Amazon Data Firehose ke klaster yang disediakan Amazon Redshift atau grup kerja Tanpa Server Amazon Redshift dengan membuka blokir alamat IP Amazon Data Firehose. Amazon Data Firehose saat ini menggunakan satu CIDR blok untuk setiap Wilayah yang tersedia.

Untuk informasi selengkapnya tentang cara membuka blokir alamat IP, lihat langkah Otorisasi Akses ke Cluster di panduan Panduan Memulai Pergeseran Merah Amazon.

Berikan akses Firehose ke tujuan Layanan publik OpenSearch

Saat Anda menggunakan tujuan OpenSearch Layanan, Amazon Data Firehose mengirimkan data ke kluster OpenSearch Layanan, dan secara bersamaan mencadangkan gagal atau semua dokumen ke bucket S3 Anda. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Amazon Data Firehose menggunakan IAM peran untuk mengakses domain OpenSearch Layanan tertentu, bucket S3, AWS KMS kunci, dan grup CloudWatch log serta stream. Anda harus memiliki IAM peran saat membuat aliran Firehose.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket, domain OpenSearch Layanan, dan kunci S3 Anda. AWS KMS Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberi pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut.

{
    "Version": "2012-10-17",  
    "Statement": [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::bucket-name",
                "arn:aws:s3:::bucket-name/*"
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket-name/prefix*"
               }
           }
        },
        {
           "Effect": "Allow",
           "Action": [
               "es:DescribeDomain",
               "es:DescribeDomains",
               "es:DescribeDomainConfig",
               "es:ESHttpPost",
               "es:ESHttpPut"
           ],
          "Resource": [
              "arn:aws:es:region:account-id:domain/domain-name",
              "arn:aws:es:region:account-id:domain/domain-name/*"
          ]
       },
       {
          "Effect": "Allow",
          "Action": [
              "es:ESHttpGet"
          ],
          "Resource": [
              "arn:aws:es:region:account-id:domain/domain-name/_all/_settings",
              "arn:aws:es:region:account-id:domain/domain-name/_cluster/stats",
              "arn:aws:es:region:account-id:domain/domain-name/index-name*/_mapping/type-name",
              "arn:aws:es:region:account-id:domain/domain-name/_nodes",
              "arn:aws:es:region:account-id:domain/domain-name/_nodes/stats",
              "arn:aws:es:region:account-id:domain/domain-name/_nodes/*/stats",
              "arn:aws:es:region:account-id:domain/domain-name/_stats",
              "arn:aws:es:region:account-id:domain/domain-name/index-name*/_stats",
              "arn:aws:es:region:account-id:domain/domain-name/"
          ]
       },        
       {
          "Effect": "Allow",
          "Action": [
              "kinesis:DescribeStream",
              "kinesis:GetShardIterator",
              "kinesis:GetRecords",
              "kinesis:ListShards"
          ],
          "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
       },
       {
          "Effect": "Allow",
          "Action": [
              "logs:PutLogEvents"
          ],
          "Resource": [
              "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
          ]
       },
       {
          "Effect": "Allow", 
          "Action": [
              "lambda:InvokeFunction", 
              "lambda:GetFunctionConfiguration" 
          ],
          "Resource": [
              "arn:aws:lambda:region:account-id:function:function-name:function-version"
          ]
       }
    ]
}

Untuk informasi selengkapnya tentang mengizinkan AWS layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di IAMPanduan Pengguna.

Untuk mempelajari cara memberikan Amazon Data Firehose akses ke kluster OpenSearch Layanan di akun lain, lihat. Pengiriman lintas akun ke tujuan OpenSearch Layanan

Berikan akses Firehose ke tujuan OpenSearch Layanan di VPC

Jika domain OpenSearch Layanan Anda adaVPC, pastikan Anda memberi Amazon Data Firehose izin yang dijelaskan di bagian sebelumnya. Selain itu, Anda perlu memberi Amazon Data Firehose izin berikut untuk mengaktifkannya mengakses domain OpenSearch Layanan Anda. VPC

Saat membuat atau memperbarui aliran Firehose, Anda menentukan grup keamanan untuk Firehose yang akan digunakan saat mengirim data ke domain Layanan Anda. OpenSearch Anda dapat menggunakan grup keamanan yang sama dengan yang digunakan domain OpenSearch Layanan atau yang berbeda. Jika Anda menentukan grup keamanan yang berbeda, pastikan bahwa itu memungkinkan HTTPS lalu lintas keluar ke grup keamanan domain OpenSearch Layanan. Pastikan juga bahwa grup keamanan domain OpenSearch Layanan mengizinkan HTTPS lalu lintas dari grup keamanan yang Anda tentukan saat mengonfigurasi aliran Firehose. Jika Anda menggunakan grup keamanan yang sama untuk aliran Firehose dan domain OpenSearch Layanan, pastikan aturan masuk grup keamanan mengizinkan lalu lintas. HTTPS Untuk informasi selengkapnya tentang aturan grup keamanan, lihat Aturan grup keamanan di VPC dokumentasi Amazon.

Berikan akses Firehose ke tujuan publik Tanpa Server OpenSearch

Saat Anda menggunakan tujuan OpenSearch Tanpa Server, Amazon Data Firehose mengirimkan data ke koleksi OpenSearch Tanpa Server Anda, dan secara bersamaan mencadangkan gagal atau semua dokumen ke bucket S3 Anda. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose juga mengirimkan kesalahan pengiriman data ke grup CloudWatch log dan aliran Anda. Amazon Data Firehose menggunakan IAM peran untuk mengakses kumpulan OpenSearch Serverless, bucket S3, AWS KMS kunci, dan CloudWatch grup log serta stream yang ditentukan. Anda harus memiliki IAM peran saat membuat aliran Firehose.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket S3, domain OpenSearch Tanpa Server, dan kunci Anda. AWS KMS Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberi pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut.

{
    "Version": "2012-10-17",  
    "Statement": [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::bucket-name",
                "arn:aws:s3:::bucket-name/*"		    
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket-name/prefix*"
               }
           }
        },    
       {
          "Effect": "Allow",
          "Action": [
              "kinesis:DescribeStream",
              "kinesis:GetShardIterator",
              "kinesis:GetRecords",
              "kinesis:ListShards"
          ],
          "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
       },
       {
          "Effect": "Allow",
          "Action": [
              "logs:PutLogEvents"
          ],
          "Resource": [
              "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
          ]
       },
       {
          "Effect": "Allow", 
          "Action": [
              "lambda:InvokeFunction", 
              "lambda:GetFunctionConfiguration" 
          ],
          "Resource": [
              "arn:aws:lambda:region:account-id:function:function-name:function-version"
          ]
       },
       {
        "Effect": "Allow",
        "Action": "aoss:APIAccessAll",
        "Resource": "arn:aws:aoss:region:account-id:collection/collection-id"
      }
    ]
}

Selain kebijakan di atas, Anda juga harus mengonfigurasi Amazon Data Firehose agar izin minimum berikut ditetapkan dalam kebijakan akses data:

[
   {
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/target-collection/target-index"
            ],
            "Permission":[
               "aoss:WriteDocument",
               "aoss:UpdateIndex",
               "aoss:CreateIndex"
            ]
         }
      ],
      "Principal":[
         "arn:aws:sts::account-id:assumed-role/firehose-delivery-role-name/*"
      ]
   }
] 

Untuk informasi selengkapnya tentang mengizinkan AWS layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di IAMPanduan Pengguna.

Berikan akses Firehose ke tujuan Tanpa OpenSearch Server di VPC

Jika koleksi OpenSearch Tanpa Server Anda adaVPC, pastikan Anda memberi Amazon Data Firehose izin yang dijelaskan di bagian sebelumnya. Selain itu, Anda perlu memberi Amazon Data Firehose izin berikut untuk mengaktifkannya mengakses koleksi Tanpa OpenSearch Server Anda. VPC

Saat membuat atau memperbarui aliran Firehose, Anda menentukan grup keamanan untuk Firehose yang akan digunakan saat mengirimkan data ke koleksi Tanpa Server Anda. OpenSearch Anda dapat menggunakan grup keamanan yang sama dengan yang digunakan oleh koleksi OpenSearch Tanpa Server atau yang berbeda. Jika Anda menentukan grup keamanan yang berbeda, pastikan bahwa itu memungkinkan HTTPS lalu lintas keluar ke grup keamanan koleksi OpenSearch Tanpa Server. Pastikan juga bahwa grup keamanan koleksi OpenSearch Tanpa Server mengizinkan HTTPS lalu lintas dari grup keamanan yang Anda tentukan saat mengonfigurasi aliran Firehose. Jika Anda menggunakan grup keamanan yang sama untuk aliran Firehose dan koleksi OpenSearch Tanpa Server, pastikan aturan masuk grup keamanan mengizinkan lalu lintas. HTTPS Untuk informasi selengkapnya tentang aturan grup keamanan, lihat Aturan grup keamanan di VPC dokumentasi Amazon.

Berikan akses Firehose ke tujuan Splunk

Saat Anda menggunakan tujuan Splunk, Amazon Data Firehose mengirimkan data ke titik akhir HTTP Splunk Event Collector () Anda. HEC Ini juga mencadangkan data tersebut ke bucket Amazon S3 yang Anda tentukan, dan Anda dapat menggunakan AWS KMS kunci yang Anda miliki untuk enkripsi sisi server Amazon S3 secara opsional. Jika pencatatan kesalahan diaktifkan, Firehose mengirimkan kesalahan pengiriman data ke aliran CloudWatch log Anda. Anda juga dapat menggunakan AWS Lambda untuk transformasi data.

Jika Anda menggunakan AWS load balancer, pastikan bahwa itu adalah Classic Load Balancer atau Application Load Balancer. Selain itu, aktifkan sesi lengket berbasis durasi dengan kedaluwarsa cookie dinonaktifkan untuk Classic Load Balancer dan kedaluwarsa diatur ke maksimum (7 hari) untuk Application Load Balancer. Untuk informasi tentang cara melakukannya, lihat Kelengketan Sesi Berbasis Durasi untuk Classic Load Balancer atau Application Load Balancer.

Anda harus memiliki IAM peran saat membuat aliran Firehose. Firehose mengasumsikan IAM peran tersebut dan mendapatkan akses ke bucket, key, dan grup CloudWatch log serta stream yang ditentukan.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket S3 Anda. Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberi pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memberikan Amazon Data Firehose akses CloudWatch untuk pencatatan kesalahan dan AWS Lambda untuk transformasi data. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut. Amazon Data Firehose tidak digunakan IAM untuk mengakses Splunk. Untuk mengakses Splunk, ia menggunakan token AndaHEC.

{
    "Version": "2012-10-17",  
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::bucket-name",
                "arn:aws:s3:::bucket-name/*"		    
            ]     
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket-name/prefix*"
               }
           }
        },     
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:*"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:region:account-id:function:function-name:function-version"
           ]
        }
    ]
}

Untuk informasi selengkapnya tentang mengizinkan AWS layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di IAMPanduan Pengguna.

Mengakses Splunk di VPC

Jika platform Splunk Anda berada di aVPC, itu harus dapat diakses publik dengan alamat IP publik. Juga, berikan Amazon Data Firehose akses ke platform Splunk Anda dengan membuka blokir alamat IP Amazon Data Firehose. Amazon Data Firehose saat ini menggunakan blok berikutCIDR.

Menelan log VPC aliran ke Splunk menggunakan Amazon Data Firehose

Untuk mempelajari lebih lanjut tentang cara membuat langganan log VPC alur, terbitkan ke Firehose, dan kirim log VPC aliran ke tujuan yang didukung, lihat log aliran Ingest VPC ke Splunk menggunakan Amazon Data Firehose.

Mengakses Snowflake atau titik akhir HTTP

Tidak ada subset rentang alamat AWS IP khusus untuk Amazon Data Firehose ketika tujuannya HTTP adalah titik akhir atau klaster publik Snowflake.

Untuk menambahkan Firehose ke daftar izin untuk kluster Snowflake publik atau ke publik HTTP atau HTTPS titik akhir Anda, tambahkan semua rentang alamat AWS IP saat ini ke aturan masuk Anda.

Berikan akses Firehose ke tujuan Snowflake

Saat Anda menggunakan Snowflake sebagai tujuan, Firehose mengirimkan data ke akun Snowflake menggunakan akun Snowflake Anda. URL Ini juga mencadangkan data kesalahan ke bucket Amazon Simple Storage Service yang Anda tentukan, dan Anda dapat menggunakan AWS Key Management Service kunci yang Anda miliki untuk enkripsi sisi server Amazon S3 secara opsional. Jika pencatatan kesalahan diaktifkan, Firehose mengirimkan kesalahan pengiriman data ke aliran CloudWatch Log Anda.

Anda harus memiliki IAM peran sebelum membuat aliran Firehose. Firehose mengasumsikan IAM peran tersebut dan mendapatkan akses ke grup dan aliran bucket, kunci, serta CloudWatch Log yang ditentukan. Gunakan kebijakan akses berikut untuk mengaktifkan Firehose mengakses bucket S3 Anda. Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon Simple Storage Service, yang memberi pemilik bucket akses penuh ke objek yang dikirimkan oleh Firehose. Kebijakan ini juga memberikan akses Firehose CloudWatch untuk pencatatan kesalahan. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut. Firehose tidak digunakan IAM untuk mengakses Snowflake. Untuk mengakses Snowflake, ia menggunakan Url akun Snowflake dan PrivateLink Vpce Id Anda dalam kasus cluster pribadi.

{
"Version": "2012-10-17",  
    "Statement":
    [    
        {
"Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::bucket-name",
                "arn:aws:s3:::bucket-name/*"            
            ]     
        },
        {
"Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
"StringEquals": {
"kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket-name/prefix*"
               }
           }
        },     
        {
"Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
"Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:*"
           ]
        }
    ]
}

Untuk informasi selengkapnya tentang mengizinkan AWS layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di IAMPanduan Pengguna.

Mengakses Snowflake di VPC

Jika klaster Snowflake Anda mengaktifkan tautan pribadi, Firehose menggunakan VPC Endpoint untuk mengirimkan data ke klaster pribadi Anda tanpa melalui internet publik. Untuk ini, buat aturan jaringan Snowflake untuk mengizinkan masuknya dari berikut ini AwsVpceIds untuk klaster Wilayah AWS Anda. Untuk informasi selengkapnya, lihat Membuat aturan jaringan di Panduan Pengguna Kepingan Salju.

Berikan akses Firehose ke tujuan titik akhir HTTP

Anda dapat menggunakan Amazon Data Firehose untuk mengirimkan data ke tujuan titik HTTP akhir mana pun. Amazon Data Firehose juga mencadangkan data tersebut ke bucket Amazon S3 yang Anda tentukan, dan Anda dapat menggunakan AWS KMS kunci yang Anda miliki untuk enkripsi sisi server Amazon S3 secara opsional. Jika pencatatan kesalahan diaktifkan, Amazon Data Firehose mengirimkan kesalahan pengiriman data ke aliran CloudWatch log Anda. Anda juga dapat menggunakan AWS Lambda untuk transformasi data.

Anda harus memiliki IAM peran saat membuat aliran Firehose. Amazon Data Firehose mengasumsikan IAM peran tersebut dan mendapatkan akses ke bucket, kunci, dan grup CloudWatch log serta stream yang ditentukan.

Gunakan kebijakan akses berikut untuk mengaktifkan Amazon Data Firehose mengakses bucket S3 yang Anda tentukan untuk pencadangan data. Jika Anda tidak memiliki bucket S3, tambahkan s3:PutObjectAcl ke daftar tindakan Amazon S3, yang memberi pemilik bucket akses penuh ke objek yang dikirimkan oleh Amazon Data Firehose. Kebijakan ini juga memberikan Amazon Data Firehose akses CloudWatch untuk pencatatan kesalahan dan AWS Lambda untuk transformasi data. Kebijakan ini juga memiliki pernyataan yang mengizinkan akses ke Amazon Kinesis Data Streams. Jika Anda tidak menggunakan Kinesis Data Streams sebagai sumber data, Anda dapat menghapus pernyataan tersebut.

{
    "Version": "2012-10-17",  
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::bucket-name",
                "arn:aws:s3:::bucket-name/*"		    
            ]     
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket-name/prefix*"
               }
           }
        },     
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:*"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:region:account-id:function:function-name:function-version"
           ]
        }
    ]
}

Untuk informasi selengkapnya tentang mengizinkan AWS layanan lain mengakses AWS sumber daya Anda, lihat Membuat Peran untuk Mendelegasikan Izin ke AWS Layanan di IAMPanduan Pengguna.

Pengiriman lintas akun dari Amazon MSK

Saat membuat aliran Firehose dari akun Firehose (misalnya, Akun B) dan sumber Anda adalah MSK klaster di AWS akun lain (Akun A), Anda harus memiliki konfigurasi berikut.

Akun A:

Akun B:

Di Akun B saat membuat aliran Firehose, Anda harus memiliki IAM peran (dibuat secara default saat menggunakan AWS Management Console) yang memberikan akses 'baca' aliran Firehose ke klaster Amazon MSK lintas akun untuk topik yang dikonfigurasi.

Berikut ini adalah apa yang dikonfigurasi oleh AWS Management Console:

{
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeCluster",
        "kafka:DescribeClusterV2",
        "kafka-cluster:Connect"
        ],
    "Resource": "arn:aws:kafka:us-east-1:arn:cluster/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster
    },
    {
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka-cluster:DescribeTopic",
        "kafka-cluster:DescribeTopicDynamicConfiguration",
        "kafka-cluster:ReadData"
    ],
    "Resource": "arn:aws:kafka:us-east-1:arn:topic/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/mskaas_test_topic" //topic of the cluster
    },
    {
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka-cluster:DescribeGroup"
    ],
    "Resource": "arn:aws:kafka:us-east-1:arn:group/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster
    },
 }        	

Selanjutnya, Anda dapat menyelesaikan langkah opsional untuk mengonfigurasi transformasi catatan dan konversi format rekaman. Untuk informasi selengkapnya, lihat (Opsional) Konfigurasikan transformasi rekaman dan konversi format.

Pengiriman lintas akun ke tujuan Amazon S3

Anda dapat menggunakan Amazon Data Firehose AWS CLI atau Amazon APIs untuk membuat aliran Firehose di satu AWS akun dengan tujuan Amazon S3 di akun lain. Prosedur berikut menunjukkan contoh mengonfigurasi aliran Firehose yang dimiliki oleh akun A untuk mengirimkan data ke bucket Amazon S3 yang dimiliki oleh akun B.

Pengiriman lintas akun ke tujuan OpenSearch Layanan

Anda dapat menggunakan Amazon Data Firehose AWS CLI atau Amazon APIs untuk membuat aliran Firehose di satu AWS akun dengan tujuan OpenSearch Layanan di akun lain. Prosedur berikut menunjukkan contoh bagaimana Anda dapat membuat aliran Firehose di bawah akun A dan mengonfigurasinya untuk mengirimkan data ke tujuan OpenSearch Layanan yang dimiliki oleh akun B.

Menggunakan tanda untuk mengontrol akses

Anda dapat menggunakan Condition elemen opsional (atau Condition memblokir) dalam IAM kebijakan untuk menyempurnakan akses ke operasi Amazon Data Firehose berdasarkan kunci dan nilai tag. Subbagian berikut menjelaskan cara melakukan ini untuk operasi Amazon Data Firehose yang berbeda. Untuk informasi lebih lanjut tentang penggunaan Condition elemen dan operator yang dapat Anda gunakan di dalamnya, lihat Elemen IAM JSON Kebijakan: Kondisi.

CreateDeliveryStream

Untuk operasi CreateDeliveryStream, gunakan kunci syarat aws:RequestTag. Pada contoh berikut, MyKey dan MyValue mewakili kunci dan nilai yang sesuai untuk sebuah tanda. Untuk informasi selengkapnya, silakan lihat Memahami dasar-dasar tag

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "firehose:CreateDeliveryStream",
            "firehose:TagDeliveryStream"
        ],
        "Resource": "*",
        "Condition": {
            "StringEquals": {
                "aws:RequestTag/MyKey": "MyValue"
            }
        }
    }]
}

TagDeliveryStream

Untuk operasi TagDeliveryStream, gunakan kunci syarat aws:TagKeys. Pada contoh berikut, MyKey adalah contoh kunci tanda.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:TagDeliveryStream",
            "Resource": "*",
            "Condition": {
                "ForAnyValue:StringEquals": {
                    "aws:TagKeys": "MyKey"
                 }
            }
        }
    ]
}

UntagDeliveryStream

Untuk operasi UntagDeliveryStream, gunakan kunci syarat aws:TagKeys. Pada contoh berikut, MyKey adalah contoh kunci tanda.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:UntagDeliveryStream",
            "Resource": "*",
            "Condition": {
                "ForAnyValue:StringEquals": {
                    "aws:TagKeys": "MyKey"
                 }
            }
        }
    ]
}

ListDeliveryStreams

Anda tidak dapat menggunakan kendali akses berbasis tanda dengan ListDeliveryStreams.

Operasi lainnya

Untuk semua operasi Firehose selainCreateDeliveryStream,,TagDeliveryStream, dan UntagDeliveryStreamListDeliveryStreams, gunakan tombol aws:RequestTag kondisi. Pada contoh berikut, MyKey dan MyValue mewakili kunci dan nilai yang sesuai untuk sebuah tanda.

ListDeliveryStreams, gunakan tombol firehose:ResourceTag kondisi untuk mengontrol akses berdasarkan tag pada aliran Firehose itu.

Pada contoh berikut, MyKey dan MyValue mewakili kunci dan nilai yang sesuai untuk sebuah tanda. Kebijakan ini hanya akan berlaku untuk aliran Firehose Data yang memiliki tag bernama MyKey dengan nilai. MyValue Untuk informasi selengkapnya tentang mengontrol akses berdasarkan tag sumber daya, lihat Mengontrol akses ke AWS sumber daya menggunakan tag di Panduan IAM Pengguna.

{
    "Version": "2012-10-17",
    "Statement": [
      {
            "Effect": "Deny",
            "Action": "firehose:DescribeDeliveryStream",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
	                     "firehose:ResourceTag/MyKey": "MyValue"
	                 }
            }
        }
    ]
}