レプリケーションの仕組み

レプリケーターを作成すると、MSK レプリケーターはターゲットクラスターの AWS リージョンに必要なすべてのリソースをデプロイして、データレプリケーションのレイテンシーを最適化します。MSK レプリケーターは、ソースと呼ばれるプライマリ AWS リージョンのクラスターからターゲットと呼ばれる送信先リージョンのクラスターに、すべてのデータを自動的にコピーします。ソースクラスターとターゲットクラスターは、同じリージョンでも異なる AWS リージョンでもかまいません。

レプリケーションレイテンシーは、MSK クラスターの AWS リージョン間のネットワーク距離、ソースクラスターとターゲットクラスターのスループットキャパシティ、ソースクラスターとターゲットクラスターのパーティション数など、多くの要因によって異なります。MSK レプリケーターは、基盤となるリソースを自動的にスケーリングするため、容量のモニタリングやスケーリングを行わなくてもオンデマンドでデータをレプリケートできます。

デフォルトでは、MSK Replicator は、すべてのデータを、ソースクラスターのトピックパーティション内の最新のオフセットからターゲットクラスターに非同期にコピーします。[新しいトピックを検出してコピーする] 設定がオンになっている場合、MSK Replicator は新しいトピックまたはトピックパーティションを自動的に検出してターゲットクラスターにコピーします。ただし、レプリケーターがターゲットクラスターの新しいトピックまたはトピックパーティションを検出して作成するまでに、最大 30 秒かかる場合があります。ターゲットクラスターでトピックが作成される前にソーストピックに生成されたメッセージはレプリケートされません。または、既存のメッセージをレプリケートする場合は、作成時にレプリケーターを設定して、最も早いオフセットからレプリケーションを開始することもできます。

MSK Replicator はデータを保存しません。データはソースクラスターから消費され、メモリ内にバッファされ、ターゲットクラスターに書き込まれます。バッファは、データが正常に書き込まれるか、あるいは再試行後に失敗すると自動的にクリアされます。MSK レプリケーターとクラスター間のすべての通信とデータは、転送中に常に暗号化されます。DescribeClusterV2、 などのすべての MSK レプリケーター API コールDescribeTopicDynamicConfigurationはCreateTopic、 AWS CloudTrail にキャプチャされます。

MSK レプリケーターは、レプリケーション係数が 3 のターゲットクラスターにトピックを作成します。必要に応じて、ターゲットクラスターのレプリケーション係数を直接変更できます。