翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon MSK デベロッパーガイドへようこそ このガイドの使用を開始するにあたり、実行しようとしている内容に基づいて次のトピックを参考にしてください。
-
「」のAmazon MSK の使用を開始するチュートリアルに従って MSK プロビジョニングされたクラスターを作成します。
-
でプロビジョニングされた MSK の機能について詳しく説明しますMSK プロビジョニング済み。
-
MSK サーバーレスとは を使用してクラスター容量の管理やスケーリングなしで Apache Kafka を実行する。
-
MSK Connect を理解する を使用して Apache Kafka クラスターとの間でデータをストリーミングする。
を使用してAmazon MSK Replicator とは、異なるリージョンまたは同じ AWS リージョン (複数可) の MSK プロビジョンドクラスター間でデータを確実にレプリケートします。
ハイライト、製品の詳細、価格情報については、Amazon MSK
Amazon MSK とは
Amazon Managed Streaming for Apache Kafka (Amazon MSK) は、Apache Kafka を使ってストリーミングデータを処理するアプリケーションの構築および実行を可能にする、フルマネージドサービスです。Amazon MSK は、クラスターの作成、更新、削除などに用いられるコントロールプレーンオペレーションを提供します。データの生成と消費などの、Apache Kafka データプレーンオペレーションを使用することができます。これは、Apache Kafka のオープンソースバージョンを実行します。つまり、パートナーや Apache Kafka コミュニティの既存のアプリケーション、ツール、プラグインが、アプリケーションコードを変更することなくサポートされます。Amazon MSK を使用して、「サポート対象の Apache Kafka バージョン」にリストされている任意の Apache Kafka バージョンを使用するクラスターを作成できます。
これらのコンポーネントでは、Amazon MSK のアーキテクチャについて説明します。
-
ブローカーノード ― Amazon MSK クラスターの作成時に、Amazon MSK が各アベイラビリティーゾーンに作成するブローカーノードの数を指定します。アベイラビリティーゾーンごとに 1 つのブローカーが最小です。各アベイラビリティーゾーンには、独自の仮想プライベートクラウド (VPC) サブネットがあります。Amazon MSK プロビジョンドには、 と のAmazon MSK Standard ブローカー 2 つのブローカータイプがありますAmazon MSK Express ブローカー。MSK Serverless では、MSK がトラフィックの処理に使用されるブローカーノードを管理し、クラスターレベルでのみ Kafka サーバーリソースをプロビジョニングします。
ZooKeeper ノード ― Amazon MSK は、Apache ZooKeeper ノードも作成します。Apache ZooKeeper は、信頼性の高い分散調整を可能にするオープンソースのサーバーです。
KRaft コントローラー — Apache Kafka コミュニティでは、Apache ZooKeeper に代わって Apache Kafka クラスターのメタデータ管理に使用できる KRaft が開発されました。KRaft モードでは、クラスターメタデータは ZooKeeper ノードではなく Kafka クラスターの一部である Kafka コントローラーのグループ内で伝播されます。KRaft コントローラーは追加料金なしで含まれており、追加のセットアップや管理は必要ありません。
注記
MSK の Apache Kafka バージョン 3.7.x から、ZooKeeper モードの代わりに KRaft モードを使用するクラスターを作成できます。
プロデューサー、コンシューマー、およびトピック作成者 ― Amazon MSK では、トピックの作成とデータの生成および消費のために、Apache Kafka データプレーンオペレーションを使用できます。
クラスターオペレーション SDK で AWS Management Console、 AWS Command Line Interface 、 (AWS CLI）、または APIs を使用して、コントロールプレーンオペレーションを実行できます。例えば、Amazon MSK クラスターを作成または削除したり、アカウント内のすべてのクラスターを一覧表示したり、クラスターのプロパティを表示したり、クラスター内のブローカーの数とタイプの更新を行うことができます。
Amazon MSK は、クラスターの最も一般的な障害シナリオを検出して自動的に回復します。これにより、プロデューサーおよびコンシューマーアプリケーションは、影響を最小限に抑えながら書き込みおよび読み取り操作を継続できます。Amazon MSK は、ブローカー障害を検出すると、障害を軽減するか、異常または到達不能なブローカーを新しいブローカーに置き換えます。また、可能な場合は、Apache Kafka が複製する必要があるデータを減らすために、古いブローカーからストレージを再利用します。可用性が影響を受けるのは、Amazon MSK が検出と回復に必要とする時間に限定されます。回復後、プロデューサーとコンシューマーのアプリは、障害発生前に使用したものと同じブローカー IP アドレスと通信し続けることができます。
