Amazon MSK デベロッパーガイドへようこそ - Amazon Managed Streaming for Apache Kafka
Amazon MSK とは

Amazon MSK デベロッパーガイドへようこそ

Amazon MSK デベロッパーガイドへようこそ このガイドの使用を開始するにあたり、実行しようとしている内容に基づいて次のトピックを参考にしてください。

ハイライト、製品の詳細、価格情報については、Amazon MSK のサービスページを参照してください。

Amazon MSK とは

Amazon Managed Streaming for Apache Kafka (Amazon MSK) は、Apache Kafka を使ってストリーミングデータを処理するアプリケーションの構築および実行を可能にする、フルマネージドサービスです。Amazon MSK は、クラスターの作成、更新、削除などに用いられるコントロールプレーンオペレーションを提供します。データの生成と消費などの、Apache Kafka データプレーンオペレーションを使用することができます。これは、Apache Kafka のオープンソースバージョンを実行します。つまり、パートナーや Apache Kafka コミュニティの既存のアプリケーション、ツール、プラグインが、アプリケーションコードを変更することなくサポートされます。Amazon MSK を使用して、「サポート対象の Apache Kafka バージョン」にリストされている任意の Apache Kafka バージョンを使用するクラスターを作成できます。

これらのコンポーネントでは、Amazon MSK のアーキテクチャについて説明します。

  • ブローカーノード ― Amazon MSK クラスターの作成時に、Amazon MSK が各アベイラビリティーゾーンに作成するブローカーノードの数を指定します。アベイラビリティーゾーンごとに 1 つのブローカーが最小です。各アベイラビリティーゾーンには、独自の仮想プライベートクラウド (VPC) サブネットがあります。

  • ZooKeeper ノード ― Amazon MSK は、Apache ZooKeeper ノードも作成します。Apache ZooKeeper は、信頼性の高い分散調整を可能にするオープンソースのサーバーです。

  • KRaft コントローラー — Apache Kafka コミュニティでは、Apache ZooKeeper に代わって Apache Kafka クラスターのメタデータ管理に使用できる KRaft が開発されました。KRaft モードでは、クラスターメタデータは ZooKeeper ノードではなく Kafka クラスターの一部である Kafka コントローラーのグループ内で伝播されます。KRaft コントローラーは追加料金なしで含まれており、追加のセットアップや管理は必要ありません。

    注記

    MSK の Apache Kafka バージョン 3.7.x から、ZooKeeper モードの代わりに KRaft モードを使用するクラスターを作成できます。

  • プロデューサー、コンシューマー、およびトピック作成者 ― Amazon MSK では、トピックの作成とデータの生成および消費のために、Apache Kafka データプレーンオペレーションを使用できます。

  • クラスターオペレーション コントロールプレーンオペレーションの実行には、AWS Management Console、AWS Command Line Interface (AWS CLI) または SDK の API を使用できます。例えば、Amazon MSK クラスターを作成または削除したり、アカウント内のすべてのクラスターを一覧表示したり、クラスターのプロパティを表示したり、クラスター内のブローカーの数とタイプの更新を行うことができます。

Amazon MSK は、クラスターの最も一般的な障害シナリオを検出して自動的に回復します。これにより、プロデューサーおよびコンシューマーアプリケーションは、影響を最小限に抑えながら書き込みおよび読み取り操作を継続できます。Amazon MSK は、ブローカー障害を検出すると、障害を軽減するか、異常または到達不能なブローカーを新しいブローカーに置き換えます。また、可能な場合は、Apache Kafka が複製する必要があるデータを減らすために、古いブローカーからストレージを再利用します。可用性が影響を受けるのは、Amazon MSK が検出と回復に必要とする時間に限定されます。回復後、プロデューサーとコンシューマーのアプリは、障害発生前に使用したものと同じブローカー IP アドレスと通信し続けることができます。