Amazon Data Firehose によるアクセスの制御

次のセクションでは、Amazon Data Firehose リソースのアクセスを制御する方法について説明します。例えば、Firehose ストリームにデータを送信できるようにアプリケーションにアクセスを付与する方法などについて説明します。また、Amazon Data Firehose に Amazon Simple Storage Service (Amazon S3) バケット、Amazon Redshift クラスター、または Amazon OpenSearch Service クラスターへのアクセスを付与する方法、および Datadog、Dynatrace、LogicMonitor、MongoDB、New Relic、Splunk、または Sumo Logic を宛先として使用する場合に必要な許可を付与する方法についても説明します。最後に、このトピックガイダンスでは、別の AWS アカウントに属する宛先にデータを配信できるように Amazon Data Firehose を設定する方法について説明します。これらのすべてのアクセス形式を管理するテクノロジーが AWS Identity and Access Management (IAM) です。IAM の詳細については、「IAM とは?」を参照してください。

Firehose のリソースへのアクセスを付与する

アプリケーションに Firehose ストリームへのアクセスを付与するには、次の例のようなポリシーを使用します。Action セクションを変更するか、"firehose:*" を使用してすべてのオペレーションへのアクセス権を付与することで、アクセス権を付与する個別の API オペレーションを調整できます。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "firehose:DeleteDeliveryStream",
                "firehose:PutRecord",
                "firehose:PutRecordBatch",
                "firehose:UpdateDestination"
            ],
            "Resource": [
                "arn:aws:firehose:region:account-id:deliverystream/delivery-stream-name"
            ]
        }
    ]
}

Firehose にプライベートの Amazon MSK Cluster クラスターへのアクセスを付与する

Firehose ストリームのソースがプライベートの Amazon MSK クラスターである場合は、次の例のようなポリシーを使用します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "Service": [
          "firehose.amazonaws.com"
        ]
    },
    "Effect": "Allow",
    "Action": [
      "kafka:CreateVpcConnection"
    ],
    "Resource": "cluster-arn"
    }
  ]
}

Amazon MSK CreateVpcConnection API オペレーションを呼び出すための許可を Firehose サービスプリンシパルに付与するには、このようなポリシーをクラスターのリソースベースのポリシーに追加する必要があります。

Firehose が IAM ロールを引き受けることを許可する

このセクションでは、ソースから宛先へのデータの取り込み、処理、配信を行うためのアクセスを Amazon Data Firehose に付与する許可とポリシーについて説明します。

Amazon Data Firehose は、Firehose ストリームがデータを処理および配信する際に必要になるすべての許可にこの IAM ロールを使用します。Amazon Data Firehose がロールを引き受けることができるように、そのロールに次の信頼ポリシーがアタッチされていることを確認します。

{
	"Version": "2012-10-17",
	"Statement": [{
		"Sid": "",
		"Effect": "Allow",
		"Principal": {
			"Service": "firehose.amazonaws.com"
		},
		"Action": "sts:AssumeRole",
		"Condition": {
			"StringEquals": {
				"sts:ExternalId": "account-id"
			}
		}
	}]
}

このポリシーは、sts:ExternalId 条件コンテキストキーを使用することで、お使いの AWS アカウントで発生した Amazon Data Firehose アクティビティのみがこの IAM ロールを引き受けられるようにします。詳細については、「IAM ユーザーガイド」の「混乱する代理問題」を参照してください。

Amazon MSK を Firehose ストリームのソースに選ぶ場合は、指定した Amazon MSK クラスターからソースデータを取り込むための許可を Amazon Data Firehose に付与する別の IAM ロールを指定する必要があります。Amazon Data Firehose がロールを引き受けることができるように、そのロールに次の信頼ポリシーがアタッチされていることを確認します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "Service": [
          "firehose.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": "sts:AssumeRole"
    }
  ]
}
        

指定した Amazon MSK クラスターからソースデータを取り込むための許可を Amazon Data Firehose に付与するこのロールが、次の許可を付与していることを確認します。

{
   "Version": "2012-10-17",      
   "Statement": [{
        "Effect":"Allow",
        "Action": [
           "kafka:GetBootstrapBrokers",
           "kafka:DescribeCluster",
           "kafka:DescribeClusterV2",
           "kafka-cluster:Connect"
         ],
         "Resource": "CLUSTER-ARN"
       },
       {
         "Effect":"Allow",
         "Action": [
           "kafka-cluster:DescribeTopic",
           "kafka-cluster:DescribeTopicDynamicConfiguration",
           "kafka-cluster:ReadData"
         ],
         "Resource": "TOPIC-ARN"
       }]
}
        

データ形式変換のために Firehose に AWS Glue へのアクセスを付与する

Firehose ストリームがデータ形式の変換を実行する場合、Amazon Data Firehose は AWS Glue に保存されているテーブル定義を参照します。必要な AWS Glue へのアクセスを Amazon Data Firehose に付与するには、ポリシーに次のステートメントを追加します。テーブルの ARN を見つける方法については、「AWS Glue リソース ARN の指定」を参照してください。

[{
    "Effect": "Allow",
    "Action": [
        "glue:GetTable",
        "glue:GetTableVersion",
        "glue:GetTableVersions"
    ],
    "Resource": "table-arn"
}, {
    "Sid": "GetSchemaVersion",
    "Effect": "Allow",
    "Action": [
        "glue:GetSchemaVersion"
    ],
    "Resource": ["*"]
}]

スキーマレジストリからスキーマを取得するための推奨ポリシーには、リソースの制限はありません。詳細については、「AWS Glue デベロッパーガイド」の「IAM examples for deserializers 」を参照してください。

Firehose に Amazon S3 宛先へのアクセスを付与する

Amazon S3 の宛先を使用している場合、Amazon Data Firehose は S3 バケットにデータを配信し、オプションで、データ暗号化のためにお客様が所有している AWS KMS キーを使用できます。エラーログ記録が有効になっている場合、Amazon Data Firehose はデータ配信エラーを CloudWatch ロググループとストリームにも送信します。Firehose ストリームを作成するときは、IAM ロールが必要です。Amazon Data Firehose はその IAM ロールを引き受け、指定されたバケット、キー、および CloudWatch ロググループとストリームへのアクセスを取得します。

次のアクセスポリシーを使用して、Amazon Data Firehose が S3 バケットおよび AWS KMS キーにアクセスできるようにします。S3 バケットを所有していない場合、Amazon S3 アクションのリストに s3:PutObjectAcl を追加します。これにより、Amazon Data Firehose で配信されるオブジェクトへのフルアクセスが、バケット所有者に付与されます。

{
    "Version": "2012-10-17",  
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]    
        },        
        {
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStream",
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:ListShards"
            ],
            "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:region:account-id:function:function-name:function-version"
           ]
        }
    ]
}

上記のポリシーには、Amazon Kinesis Data Streams へのアクセスを許可するステートメントも含まれています。データソースとして Kinesis Data Streams を使用しない場合は、そのステートメントを削除できます。Amazon MSK をソースとして使用する場合は、このステートメントを次の文に置き換えることができます。

{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka:GetBootstrapBrokers",
      "kafka:DescribeCluster",
      "kafka:DescribeClusterV2",
      "kafka-cluster:Connect"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:cluster/{{mskClusterName}}/{{clusterUUID}}"
},
{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka-cluster:DescribeTopic",
      "kafka-cluster:DescribeTopicDynamicConfiguration",
      "kafka-cluster:ReadData"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:topic/{{mskClusterName}}/{{clusterUUID}}/{{mskTopicName}}"
},
{
   "Sid":"",
   "Effect":"Allow",
   "Action":[
      "kafka-cluster:DescribeGroup"
   ],
   "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:group/{{mskClusterName}}/{{clusterUUID}}/*"
}

他の AWS のサービスによる AWS リソースへのアクセスの許可の詳細については、IAM ユーザーガイド の「AWS サービスにアクセス許可を委任するロールの作成」を参照してください。

別のアカウントの Amazon S3 の宛先へのアクセスを Amazon Data Firehose に付与する方法については、「Amazon S3 の宛先へのクロスアカウント間の配信」を参照してください。

Apache Iceberg テーブルの宛先へのアクセスを Firehose に付与する

AWS Glue を使用して Firehose ストリームと Apache Iceberg テーブルを作成する前に、IAM ロールが必要です。ポリシーと IAM ロールを作成するには、次のステップを実行します。Firehose はこの IAM ロールを引き受け、必要なアクションを実行します。

Amazon Redshift の宛先へのアクセスを Firehose に付与する

Amazon Redshift の宛先を使用して Amazon Data Firehose にアクセスを付与するときは、次を参照してください。

IAM ロールとアクセスポリシー

Amazon Redshift の宛先を使用する場合、Amazon Data Firehose は中間の場所として S3 バケットにデータを配信します。オプションで、データ暗号化のためにお客様が所有している AWS KMS キーを使用できます。次に Amazon Data Firehose は、S3 バケットから Amazon Redshift プロビジョンドクラスターまたは Amazon Redshift Serverless ワークグループにデータをロードします。エラーログ記録が有効になっている場合、Amazon Data Firehose はデータ配信エラーを CloudWatch ロググループとストリームにも送信します。Amazon Data Firehose は、指定された Amazon Redshift ユーザー名とパスワードを使用してプロビジョンドクラスターまたは Amazon Redshift Serverless ワークグループにアクセスし、IAM ロールを使って、指定されたバケット、キー、CloudWatch ロググループ、ストリームにアクセスします。Firehose ストリームを作成するときは、IAM ロールが必要です。

次のアクセスポリシーを使用して、Amazon Data Firehose が S3 バケットおよび AWS KMS キーにアクセスできるようにします。S3 バケットを所有していない場合は、Amazon S3 アクションのリストに s3:PutObjectAcl を追加します。これにより、Amazon Data Firehose で配信されるオブジェクトへのフルアクセスが、バケット所有者に付与されます。このポリシーには、Amazon Kinesis Data Streams へのアクセスを許可するステートメントも含まれています。データソースとして Kinesis Data Streams を使用しない場合は、そのステートメントを削除できます。

{
"Version": "2012-10-17",  
    "Statement":
    [    
        {      
            "Effect": "Allow",
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },        
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:region:account-id:function:function-name:function-version"
           ]
        }
    ]
}

他の AWS のサービスによる AWS リソースへのアクセスの許可の詳細については、IAM ユーザーガイド の「AWS サービスにアクセス許可を委任するロールの作成」を参照してください。

Amazon Redshift プロビジョンドクラスターまたは Amazon Redshift Serverless サーバーレスワークグループへの VPC アクセス

Amazon Redshift プロビジョンドクラスターまたは Amazon Redshift Serverless ワークグループが仮想プライベートクラウド (VPC) にある場合、それらはパブリック IP アドレスでパブリックにアクセスできる必要があります。また、Amazon Data Firehose IP アドレスのブロックを解除して、Amazon Data Firehose に Amazon Redshift プロビジョンドクラスターまたは Amazon Redshift Serverless ワークグループへのアクセスを付与します。現在、Amazon Data Firehose は利用可能なリージョンごとに 1 つの CIDR ブロックを使用します。

IP アドレスのブロック解除方法の詳細については、Amazon Redshift 入門ガイドの「クラスターへのアクセスの許可」を参照してください。

Firehose に公開 OpenSearch Service の宛先へのアクセスを付与する

OpenSearch Service の宛先を使用している場合、Amazon Data Firehose はデータを OpenSearch Service クラスターに配信し、同時に、失敗したドキュメントまたはすべてのドキュメントを S3 バケットにバックアップします。エラーログ記録が有効になっている場合、Amazon Data Firehose はデータ配信エラーを CloudWatch ロググループとストリームにも送信します。Amazon Data Firehose は IAM ロールを使用して、指定された OpenSearch Service ドメイン、S3 バケット、AWS KMS キー、およびCloudWatch ロググループとストリームにアクセスします。Firehose ストリームを作成するときは、IAM ロールが必要です。

次のアクセスポリシーを使用して、Amazon Data Firehose が S3 バケット、OpenSearch Service ドメイン、および AWS KMS キーにアクセスできるようにします。S3 バケットを所有していない場合は、Amazon S3 アクションのリストに s3:PutObjectAcl を追加します。これにより、Amazon Data Firehose で配信されるオブジェクトへのフルアクセスが、バケット所有者に付与されます。このポリシーには、Amazon Kinesis Data Streams へのアクセスを許可するステートメントも含まれています。データソースとして Kinesis Data Streams を使用しない場合は、そのステートメントを削除できます。

{
    "Version": "2012-10-17",  
    "Statement": [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },
        {
           "Effect": "Allow",
           "Action": [
               "es:DescribeDomain",
               "es:DescribeDomains",
               "es:DescribeDomainConfig",
               "es:ESHttpPost",
               "es:ESHttpPut"
           ],
          "Resource": [
              "arn:aws:es:region:account-id:domain/domain-name",
              "arn:aws:es:region:account-id:domain/domain-name/*"
          ]
       },
       {
          "Effect": "Allow",
          "Action": [
              "es:ESHttpGet"
          ],
          "Resource": [
              "arn:aws:es:region:account-id:domain/domain-name/_all/_settings",
              "arn:aws:es:region:account-id:domain/domain-name/_cluster/stats",
              "arn:aws:es:region:account-id:domain/domain-name/index-name*/_mapping/type-name",
              "arn:aws:es:region:account-id:domain/domain-name/_nodes",
              "arn:aws:es:region:account-id:domain/domain-name/_nodes/stats",
              "arn:aws:es:region:account-id:domain/domain-name/_nodes/*/stats",
              "arn:aws:es:region:account-id:domain/domain-name/_stats",
              "arn:aws:es:region:account-id:domain/domain-name/index-name*/_stats",
              "arn:aws:es:region:account-id:domain/domain-name/"
          ]
       },        
       {
          "Effect": "Allow",
          "Action": [
              "kinesis:DescribeStream",
              "kinesis:GetShardIterator",
              "kinesis:GetRecords",
              "kinesis:ListShards"
          ],
          "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
       },
       {
          "Effect": "Allow",
          "Action": [
              "logs:PutLogEvents"
          ],
          "Resource": [
              "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
          ]
       },
       {
          "Effect": "Allow", 
          "Action": [
              "lambda:InvokeFunction", 
              "lambda:GetFunctionConfiguration" 
          ],
          "Resource": [
              "arn:aws:lambda:region:account-id:function:function-name:function-version"
          ]
       }
    ]
}

他の AWS のサービスによる AWS リソースへのアクセスの許可の詳細については、IAM ユーザーガイド の「AWS サービスにアクセス許可を委任するロールの作成」を参照してください。

別のアカウントの OpenSearch Service クラスターへのアクセスを Amazon Data Firehose に付与する方法については、「OpenSearch Service の宛先へのクロスアカウント間の配信」を参照してください。

VPC 内の OpenSearch Service の宛先へのアクセスを Firehose に付与する

OpenSearch Service ドメインが VPC 内にある場合は、前のセクションで説明した許可を Amazon Data Firehose に付与してください。さらに、OpenSearch Service ドメインの VPC にアクセスできるように、次の許可を Amazon Data Firehose に付与する必要があります。

Firehose ストリームを作成または更新するときに、OpenSearch Service ドメインにデータを送信するときに Firehose で使用するセキュリティグループを指定します。OpenSearch Service ドメインで使用しているのと同じセキュリティグループを使用することも、別のセキュリティグループを使用することもできます。別のセキュリティグループを指定する場合は、そのセキュリティグループで、OpenSearch Service ドメインのセキュリティグループへのアウトバウンド HTTPS トラフィックを必ず許可します。また、OpenSearch Service ドメインのセキュリティグループで、Firehose ストリームの設定時に指定したセキュリティグループからの HTTPS トラフィックを必ず許可します。Firehose ストリームと OpenSearch Service ドメインの両方に同じセキュリティグループを使用する場合は、セキュリティグループのインバウンドルールで HTTPS トラフィックを必ず許可します。セキュリティグループのルールの詳細については、Amazon VPCドキュメントの「セキュリティグループのルール」を参照してください。

Firehose に公開 OpenSearch Serverless の宛先へのアクセスを付与する

OpenSearch Serverless の宛先を使用している場合、Amazon Data Firehose はデータを OpenSearch Serverless クラスターに配信し、同時に、失敗したドキュメントまたはすべてのドキュメントを S3 バケットにバックアップします。エラーログ記録が有効になっている場合、Amazon Data Firehose はデータ配信エラーを CloudWatch ロググループとストリームにも送信します。Amazon Data Firehose は IAM ロールを使用して、指定された OpenSearch Serverless コレクション、S3 バケット、AWS KMS キー、CloudWatch ロググループ、ストリームにアクセスします。Firehose ストリームを作成するときは、IAM ロールが必要です。

次のアクセスポリシーを使用して、Amazon Data Firehose が S3 バケット、OpenSearch Serverless ドメイン、AWS KMS キーにアクセスできるようにします。S3 バケットを所有していない場合は、Amazon S3 アクションのリストに s3:PutObjectAcl を追加します。これにより、Amazon Data Firehose で配信されるオブジェクトへのフルアクセスが、バケット所有者に付与されます。このポリシーには、Amazon Kinesis Data Streams へのアクセスを許可するステートメントも含まれています。データソースとして Kinesis Data Streams を使用しない場合は、そのステートメントを削除できます。

{
    "Version": "2012-10-17",  
    "Statement": [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]    
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },    
       {
          "Effect": "Allow",
          "Action": [
              "kinesis:DescribeStream",
              "kinesis:GetShardIterator",
              "kinesis:GetRecords",
              "kinesis:ListShards"
          ],
          "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
       },
       {
          "Effect": "Allow",
          "Action": [
              "logs:PutLogEvents"
          ],
          "Resource": [
              "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name"
          ]
       },
       {
          "Effect": "Allow", 
          "Action": [
              "lambda:InvokeFunction", 
              "lambda:GetFunctionConfiguration" 
          ],
          "Resource": [
              "arn:aws:lambda:region:account-id:function:function-name:function-version"
          ]
       },
       {
        "Effect": "Allow",
        "Action": "aoss:APIAccessAll",
        "Resource": "arn:aws:aoss:region:account-id:collection/collection-id"
      }
    ]
}

上記のポリシーに加え、データアクセスポリシーで次の最小限の許可が割り当てられるように Amazon Data Firehose を設定します。

[
   {
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/target-collection/target-index"
            ],
            "Permission":[
               "aoss:WriteDocument",
               "aoss:UpdateIndex",
               "aoss:CreateIndex"
            ]
         }
      ],
      "Principal":[
         "arn:aws:sts::account-id:assumed-role/firehose-delivery-role-name/*"
      ]
   }
] 

他の AWS のサービスによる AWS リソースへのアクセスの許可の詳細については、IAM ユーザーガイド の「AWS サービスにアクセス許可を委任するロールの作成」を参照してください。

VPC 内の OpenSearch Serverless の宛先へのアクセスを Firehose に付与する

OpenSearch Serverless コレクションが VPC 内にある場合は、前のセクションで説明した許可を Amazon Data Firehose に付与してください。さらに、OpenSearch Serverless コレクションの VPC にアクセスできるように、次の許可を Amazon Data Firehose に付与する必要があります。

Firehose ストリームを作成または更新するときは、OpenSearch Serverless コレクションにデータを送信する際に Firehose で使用するセキュリティグループを指定します。OpenSearch Serverless コレクションで使用しているものと同じセキュリティグループを使用できますが、別のセキュリティグループも使用できます。別のセキュリティグループを指定する場合は、そのセキュリティグループが、OpenSearch Serverless コレクションのセキュリティグループへのアウトバウンド HTTPS トラフィックを許可していることを確認します。また、OpenSearch Serverless コレクションのセキュリティグループが、Firehose ストリームを設定したときに指定したセキュリティグループからの HTTPS トラフィックを許可していることも確認します。Firehose ストリームと OpenSearch Serverless コレクションの両方で同じセキュリティグループを使用する場合は、セキュリティグループのインバウンドルールが HTTPS トラフィックを許可していることを確認します。セキュリティグループのルールの詳細については、Amazon VPCドキュメントの「セキュリティグループのルール」を参照してください。

Splunk の宛先へのアクセスを Firehose に付与する

Splunk の宛先を使用している場合、Amazon Data Firehose はデータを Splunk HTTP Event Collector (HEC) エンドポイントに配信します。また、指定した Amazon S3 バケットにデータをバックアップします。必要に応じて Amazon S3 のサーバー側の暗号化のために所有している AWS KMS キーを使用することもできます。エラーログ記録が有効になっている場合、Firehose はデータ配信エラーを CloudWatch ログストリームに送信します。データ変換のために AWS Lambda を使用することもできます。

AWS ロードバランサーを使用した場合、それが Classic Load Balancer または Application Load Balancer であることを確認します。また、Classic Load Balancer の Cookie の有効期限を無効にした状態で、期間ベースのスティッキーセッションを有効にし、Application Load Balancer の有効期限を最大値 (7 日間) に設定します。これを行う方法の詳細については、Classic Load Balancer または Application Load Balancer の「Duration-Based Session Stickiness」を参照してください。

Firehose ストリームを作成する際には、IAM ロールが必要です。Firehose はその IAM ロールを引き受け、指定されたバケット、キー、および CloudWatch ロググループとストリームへのアクセスを取得します。

次のアクセスポリシーを使用して、Amazon Data Firehose が S3 バケットにアクセスできるようにします。S3 バケットを所有していない場合は、Amazon S3 アクションのリストに s3:PutObjectAcl を追加します。これにより、Amazon Data Firehose で配信されるオブジェクトへのフルアクセスが、バケット所有者に付与されます。このポリシーは、エラーログ記録のための CloudWatch へのアクセスとデータ変換のための AWS Lambda へのアクセスも Amazon Data Firehose に付与します。このポリシーには、Amazon Kinesis Data Streams へのアクセスを許可するステートメントも含まれています。データソースとして Kinesis Data Streams を使用しない場合は、そのステートメントを削除できます。Amazon Data Firehose は Splunk へのアクセスに IAM を使用しません。Splunk へのアクセスには、HEC トークンが使用されます。

{
    "Version": "2012-10-17",  
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]     
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },     
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:*"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:region:account-id:function:function-name:function-version"
           ]
        }
    ]
}

他の AWS のサービスによる AWS リソースへのアクセスの許可の詳細については、IAM ユーザーガイド の「AWS サービスにアクセス許可を委任するロールの作成」を参照してください。

VPC の Splunk へのアクセス

Splunk プラットフォームが VPC にある場合、パブリック IP アドレスでパブリックにアクセス可能である必要があります。また、Amazon Data Firehose の IP アドレスをブロック解除して、Splunk プラットフォームへのアクセスを Amazon Data Firehose に付与する必要があります。Amazon Data Firehose は現在、次の CIDR ブロックを使用します。

Amazon Data Firehose を使用して VPC フローログを Splunk に取り込む

VPC フローログサブスクリプションを作成し、Firehose に発行して、サポートされている宛先に VPC フローログを送信する方法の詳細については、「Amazon Data Firehose を使用して VPC フローログを Splunk に取り込む」を参照してください。

Snowflake または HTTP エンドポイントへのアクセス

宛先が HTTP エンドポイントまたは Snowflake パブリッククラスターである場合、Amazon Data Firehose に固有の AWS IP アドレス範囲のサブセットはありません。

Firehose をパブリック Snowflake クラスターの許可リストまたはパブリック HTTP もしくは HTTPS エンドポイントに追加するには、現在の AWS IP アドレス範囲をすべてイングレスルールに追加します。

Snowflake の宛先へのアクセスを Firehose に付与する

Snowflake を宛先として使用する場合、Firehose は Snowflake アカウント URL を使用して Snowflake アカウントにデータを配信します。また、指定した Amazon Simple Storage Service バケットにエラーデータをバックアップします。必要に応じて Amazon S3 のサーバー側の暗号化のために所有している AWS Key Management Service キーを使用することもできます。エラーログ記録が有効になっている場合、Firehose はデータ配信エラーを CloudWatch Logs ストリームに送信します。

Firehose ストリームを作成する前に、IAM ロールが必要です。Firehose はその IAM ロールを引き受け、指定されたバケット、キー、および CloudWatch ロググループとストリームへのアクセスを取得します。次のアクセスポリシーを使用して、Firehose が S3 バケットにアクセスできるようにします。S3 バケットを所有していない場合は、Amazon Simple Storage Service アクションのリストに s3:PutObjectAcl を追加します。これにより、Firehose で配信されるオブジェクトへのフルアクセスが、バケット所有者に付与されます。また、このポリシーは、エラーログ記録のために CloudWatch へのアクセスを Firehose に付与します。このポリシーには、Amazon Kinesis Data Streams へのアクセスを許可するステートメントも含まれています。データソースとして Kinesis Data Streams を使用しない場合は、そのステートメントを削除できます。Firehose は Snowflake にアクセスするために IAM を使用しません。Snowflake へのアクセスには、プライベートクラスターの場合は Snowflake アカウントの URL と PrivateLink Vpce Id を使用します。

{
"Version": "2012-10-17",  
    "Statement":
    [    
        {
"Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"            
            ]     
        },
        {
"Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
"StringEquals": {
"kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
"kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },     
        {
"Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
"Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:*"
           ]
        }
    ]
}

他の AWS のサービスによる AWS リソースへのアクセスの許可の詳細については、IAM ユーザーガイド の「AWS サービスにアクセス許可を委任するロールの作成」を参照してください。

VPC での Snowflake へのアクセス

Snowflake クラスターでプライベートリンクが有効になっている場合、Firehose はプライベートリンクの作成時に次のいずれかの VPC エンドポイントを使用して、パブリックインターネットを経由せずにプライベートクラスターにデータを配信します。そのためには、Snowflake ネットワークルールを作成して、クラスターが存在している AWS リージョン のために、次の AwsVpceIds からのイングレスを許可します。詳細については、「Snowflake ユーザーガイド」の「Creating network rule」を参照してください。

HTTP エンドポイントの宛先へのアクセスを Firehose に付与する

Amazon Data Firehose を使用して、任意の HTTP エンドポイントの宛先にデータを配信できます。また、Amazon Data Firehose は指定した Amazon S3 バケットにデータをバックアップします。必要に応じて Amazon S3 のサーバー側の暗号化のために所有している AWS KMS キーを使用することもできます。エラーログ記録が有効になっている場合、Amazon Data Firehose はデータ配信エラーを CloudWatch ログストリームに送信します。データ変換のために AWS Lambda を使用することもできます。

Firehose ストリームを作成するときは、IAM ロールが必要です。Amazon Data Firehose はその IAM ロールを引き受け、指定されたバケット、キー、および CloudWatch ロググループとストリームへのアクセスを取得します。

次のアクセスポリシーを使用して、Amazon Data Firehose がデータバックアップ用に指定した S3 バケットにアクセスできるようにします。S3 バケットを所有していない場合は、Amazon S3 アクションのリストに s3:PutObjectAcl を追加します。これにより、Amazon Data Firehose で配信されるオブジェクトへのフルアクセスが、バケット所有者に付与されます。このポリシーは、エラーログ記録のための CloudWatch へのアクセスとデータ変換のための AWS Lambda へのアクセスも Amazon Data Firehose に付与します。このポリシーには、Amazon Kinesis Data Streams へのアクセスを許可するステートメントも含まれています。データソースとして Kinesis Data Streams を使用しない場合は、そのステートメントを削除できます。

{
    "Version": "2012-10-17",  
    "Statement":
    [    
        {      
            "Effect": "Allow",      
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject"
            ],      
            "Resource": [        
                "arn:aws:s3:::amzn-s3-demo-bucket",
                "arn:aws:s3:::amzn-s3-demo-bucket/*"		    
            ]     
        },
        {
           "Effect": "Allow",
           "Action": [
               "kms:Decrypt",
               "kms:GenerateDataKey"
           ],
           "Resource": [
               "arn:aws:kms:region:account-id:key/key-id"           
           ],
           "Condition": {
               "StringEquals": {
                   "kms:ViaService": "s3.region.amazonaws.com"
               },
               "StringLike": {
                   "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*"
               }
           }
        },     
        {
           "Effect": "Allow",
           "Action": [
               "kinesis:DescribeStream",
               "kinesis:GetShardIterator",
               "kinesis:GetRecords",
               "kinesis:ListShards"
           ],
           "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name"
        },
        {
           "Effect": "Allow",
           "Action": [
               "logs:PutLogEvents"
           ],
           "Resource": [
               "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:*"
           ]
        },
        {
           "Effect": "Allow", 
           "Action": [
               "lambda:InvokeFunction", 
               "lambda:GetFunctionConfiguration" 
           ],
           "Resource": [
               "arn:aws:lambda:region:account-id:function:function-name:function-version"
           ]
        }
    ]
}

他の AWS のサービスによる AWS リソースへのアクセスの許可の詳細については、IAM ユーザーガイド の「AWS サービスにアクセス許可を委任するロールの作成」を参照してください。

Amazon MSK からのクロスアカウント配信

Firehose アカウント (アカウント B など) から Firehose ストリームを作成しており、ソースが別の AWS アカウント (アカウント A) の MSK クラスターである場合は、次の設定を行う必要があります。

アカウント A:

アカウント B:

アカウント B で Firehose ストリームを作成するときは、その Firehose ストリームに、設定したトピックでクロスアカウント Amazon MSK クラスターへの「読み取り」アクセスを許可する IAM ロールが必要になります (AWS Management Console を使用している場合はデフォルトで作成されます)。

AWS Management Console での設定内容は以下のとおりです。

{
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeCluster",
        "kafka:DescribeClusterV2",
        "kafka-cluster:Connect"
        ],
    "Resource": "arn:aws:kafka:us-east-1:arn:cluster/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster
    },
    {
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka-cluster:DescribeTopic",
        "kafka-cluster:DescribeTopicDynamicConfiguration",
        "kafka-cluster:ReadData"
    ],
    "Resource": "arn:aws:kafka:us-east-1:arn:topic/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/mskaas_test_topic" //topic of the cluster
    },
    {
    "Sid": "",
    "Effect": "Allow",
    "Action": [
        "kafka-cluster:DescribeGroup"
    ],
    "Resource": "arn:aws:kafka:us-east-1:arn:group/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster
    },
 }        	

次に、レコード変換とレコード形式の変換を設定するオプションのステップを実行できます。詳細については、「(オプション) レコード変換と形式変換を設定する」を参照してください。

Amazon S3 の宛先へのクロスアカウント間の配信

AWS CLI または Amazon Data Firehose API を使用して、1 つの AWS アカウントで Firehose ストリームを作成し、Amazon S3 の宛先は別のアカウントに設定できます。次の手順では、アカウント A が所有する Firehose ストリームを設定して、アカウント B が所有する Amazon S3 バケットにデータを配信する例を示します。

OpenSearch Service の宛先へのクロスアカウント間の配信

AWS CLI または Amazon Data Firehose API を使用して、1 つの AWS アカウントで Firehose ストリームを作成し、OpenSearch Service の宛先は別のアカウントに設定できます。次の手順では、アカウント A で Firehose ストリームを作成し、アカウント B が所有する OpenSearch Service の宛先にデータを配信するよう設定する方法の例を示しています。

タグを使用したアクセスへのコントロール

IAM ポリシーでオプションの Condition 要素 (または Condition ブロック) を使用して、タグキーと値に基づいて Amazon Data Firehose オペレーションへのアクセスをファインチューニングできます。次のサブセクションでは、さまざまな Amazon Data Firehose オペレーションのためにこれを行う方法について説明します。Condition 要素とその中で使用できる演算子の使用の詳細については、「IAM JSON ポリシー要素: Condition」を参照してください。

CreateDeliveryStream

CreateDeliveryStream オペレーションでは、aws:RequestTag 条件キーを使用します。次の例では、MyKey と MyValue はキー、およびタグの対応する値を表しています。詳細については、「タグの基本を理解する」を参照してください。

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "firehose:CreateDeliveryStream",
            "firehose:TagDeliveryStream"
        ],
        "Resource": "*",
        "Condition": {
            "StringEquals": {
                "aws:RequestTag/MyKey": "MyValue"
            }
        }
    }]
}

TagDeliveryStream

TagDeliveryStream オペレーションでは、aws:TagKeys 条件キーを使用します。次の例では、MyKey はサンプルタグキーです。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:TagDeliveryStream",
            "Resource": "*",
            "Condition": {
                "ForAnyValue:StringEquals": {
                    "aws:TagKeys": "MyKey"
                 }
            }
        }
    ]
}

UntagDeliveryStream

UntagDeliveryStream オペレーションでは、aws:TagKeys 条件キーを使用します。次の例では、MyKey はサンプルタグキーです。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:UntagDeliveryStream",
            "Resource": "*",
            "Condition": {
                "ForAnyValue:StringEquals": {
                    "aws:TagKeys": "MyKey"
                 }
            }
        }
    ]
}

ListDeliveryStreams

ListDeliveryStreams でタグベースのアクセスコントロールを使用することはできません。

その他のオペレーション

CreateDeliveryStream、TagDeliveryStream、UntagDeliveryStream、および ListDeliveryStreams 以外のすべての Firehose オペレーションで、aws:RequestTag 条件キーを使用します。次の例では、MyKey と MyValue はキー、およびタグの対応する値を表しています。

ListDeliveryStreams は、firehose:ResourceTag 条件キーを使用して、その Firehose ストリームのタグに基づいてアクセスをコントロールします。

次の例では、MyKey と MyValue はキー、およびタグの対応する値を表しています。このポリシーは、値が MyValue である MyKey というタグを持つ Data Firehose ストリームにのみ適用されます。リソースタグに基づいたアクセスコントロールの詳細については、「IAM ユーザーガイド」の「Controlling access to AWS resources using tags」を参照してください。

{
    "Version": "2012-10-17",
    "Statement": [
      {
            "Effect": "Deny",
            "Action": "firehose:DescribeDeliveryStream",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
	                     "firehose:ResourceTag/MyKey": "MyValue"
	                 }
            }
        }
    ]
}