標準ブローカーの階層型ストレージ - Amazon Managed Streaming for Apache Kafka
階層型ストレージの要件階層型ストレージの制約

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

標準ブローカーの階層型ストレージ

階層型ストレージは、Amazon の低コストのストレージ階層MSKであり、実質的に無制限のストレージに拡張できるため、ストリーミングデータアプリケーションの構築に費用対効果が高くなります。

パフォーマンスとコストのバランスが取れた階層型ストレージで設定された Amazon MSKクラスターを作成できます。Amazon は、Apache Kafka トピックの保持制限に達するまで、ストリーミングデータをパフォーマンスが最適化されたプライマリストレージ階層にMSK保存します。次に、Amazon は新しい低コストのストレージ階層にデータMSKを自動的に移動します。

アプリケーションが階層型ストレージからのデータの読み取りを開始すると、最初の数バイトは読み取りレイテンシーが大きくなることが予想されます。残りのデータを低コスト階層から順次読み取り始めると、プライマリストレージ階層と同様のレイテンシーになることが予想されます。低コストの階層型ストレージ用にストレージをプロビジョニングしたり、インフラストラクチャを管理したりする必要はありません。任意の量のデータを保存することができ、使用量に応じた料金のみが発生します。この機能は、KIP-405: Kafka 階層型ストレージでAPIs導入された と互換性があります。

階層型ストレージには、次のような特徴があります。

  • 実質的に無制限にストレージをスケーリングできます。Apache Kafka インフラストラクチャをスケーリングする方法を考える必要はありません。

  • ブローカーの数を増やすことなく、Apache Kafka トピックのデータをより長く保持したり、トピックのストレージを増やしたりできます。

  • これにより、安全バッファーが長くなり、処理中の予期しない遅延に対処できるようになります。

  • 既存のストリーム処理コードと Kafka を使用して、古いデータを正確な製造順序で再処理できますAPIs。

  • セカンダリストレージのデータをブローカーディスク間でレプリケートする必要がないため、パーティションの再調整が高速化されます。

  • ブローカーと階層型ストレージ間のデータは 内を移動VPCし、インターネットを経由しません。

  • クライアントマシンは、階層型ストレージが有効になっていないクラスターに接続するのと同じプロセスを使用して、階層型ストレージが有効になっている新しいクラスターに接続することができます。「クライアントマシンを作成する」を参照してください。

Amazon MSKクラスターの階層型ストレージ要件

  • 階層型ストレージを有効にして新しいトピックを作成するには、Apache Kafka クライアントのバージョン 3.0.0 以降を使用する必要があります。既存のトピックを階層型ストレージに移行するには、バージョン 3.0.0 より前の Kafka クライアント (サポートされている Apache Kafka の最小バージョンは 2.8.2.tiered) を使用するクライアントマシンを再構成して、階層型ストレージを有効にすることができます。「ステップ 4: Amazon MSKクラスターにトピックを作成する」を参照してください。

  • 階層型ストレージが有効になっている Amazon MSKクラスターでは、バージョン 3.6.0 以降または 2.8.2.tiered を使用する必要があります。

Amazon MSKクラスターの階層型ストレージの制約と制限

階層型ストレージには、次の制約と制限があります。

  • アプリケーションがトランザクション機能をアクティブに使用していない限りMSK、Amazon の remote_tier から読み取るread_committedときにクライアントが に設定されていないことを確認してください。

  • 階層型ストレージは AWS GovCloud 、 (米国) リージョンでは使用できません。

  • 階層型ストレージは、プロビジョンドモードのクラスターにのみ適用されます。

  • 階層型ストレージでは、ブローカーサイズ t3.small はサポートされていません。

  • 低コストストレージでの最小保持期間は 3 日間です。プライマリストレージには最小保持期間はありません。

  • 階層型ストレージは、ブローカーの複数のログディレクトリ (JBOD 関連機能) をサポートしていません。

  • 階層型ストレージは圧縮トピックをサポートしていません。階層型ストレージが有効になっているすべてのトピックで、queryup.policy がDELETE「」のみに設定されていることを確認します。

  • 階層型ストレージは個々のトピックでは無効にできますが、クラスター全体では無効にできません。いったん無効にすると、トピックに対して階層型ストレージを再度有効にすることはできません。

  • Amazon MSKバージョン 2.8.2.tiered を使用している場合は、別の階層型ストレージ対応 Apache Kafka バージョンにのみ移行できます。階層型ストレージ対応バージョンを引き続き使用しない場合は、新しいMSKクラスターを作成し、そのクラスターにデータを移行します。

  • この kafka-log-dirsツールは、階層型ストレージのデータサイズをレポートできません。このツールは、プライマリストレージ内のログセグメントのサイズのみを報告します。