View a markdown version of this page

ログ分析用に最適化 - Amazon OpenSearch Service
概要各エンジンモードを使用するタイミング仕組みリージョンの可用性

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ログ分析用に最適化

ログ分析に最適化された Amazon OpenSearch Service は、列指向分析ストレージとフルテキスト検索を単一のマネージドサービスで組み合わせた新しいエンジンオプションです。最適化エンジンを使用すると、ログ分析ワークロードの価格パフォーマンスが大幅に向上します。また、インシデント調査のフルテキスト検索も保持します。

概要

最適化エンジンは、Amazon OpenSearch Service の新しいエンジンモードです。汎用エンジンで既に使用しているのと同じコンソール、APIs、セキュリティモデル、ネットワーク設定を使用します。

Optimized エンジンを使用すると、ログ分析ワークロードに次の改善が加えられます。

  • 価格パフォーマンスの向上 – 列圧縮と効率的なインスタンス使用率により、ログ分析を大規模に実行するコストを削減できます。

  • ストレージの削減 – Apache Parquet 列形式は、従来のインデックス作成構造と比較して、ログデータを著しく圧縮します。

  • 取り込みの高速化 – ベクトル化された列指向書き込みパスにより、取り込みスループットが向上します。

  • 分析クエリの高速化 – 列指向データに対するベクトル化された実行により、集約、フィルター、傾向分析が高速化されます。

  • 統合検索と分析 – フルテキスト検索述語は、同じデータに対する分析クエリ内で 1 つのサービスで実行されます。

次の表は、2 つのエンジンモードを比較したものです。

エンジンモード 次の用途に適しています
汎用 頻繁に更新される検索負荷の高いワークロードと混合ワークロード (e コマース、コンテンツ検出、アプリケーション検索)
最適化 (ログ分析に推奨) マルチテラバイト規模でログとログ分析を追加する

各エンジンモードを使用するタイミング

ワークロードがログに対する集約、フィルター、傾向分析に支配されており、インシデント中に全文検索が必要な場合は、 最適化エンジンを使用します。例としては、1 multi-terabyte-per-day規模のアプリケーション、インフラストラクチャ、セキュリティログ分析などがあります。

ワークロードが関連性ランキング、ネストされたオブジェクトクエリ、ペインレススクリプティング、ジオクエリ、ベクトル/セマンティック検索、または頻繁なインプレースドキュメント更新に依存する場合は、汎用エンジンを使用します。例としては、e コマース検索、コンテンツ検出、アプリケーション検索などがあります。

仕組み

最適化エンジンは、オペレーションごとに最適なデータ構造を使用します。エンジンは、分析のためにログデータを列形式で保存します。全文検索の検索インデックスを保持し、各クエリを最適なコンポーネントにルーティングします。

次の表に、 最適化エンジンのコンポーネントを示します。

コンポーネント ロール
Apache Parquet 列指向ストレージ形式を開きます。ログデータのプライマリストレージ。従来のインデックス作成構造と比較して、ストレージを大幅に削減します。
Lucene 反転インデックス ログコンテンツ (フレーズ、あいまい、ワイルドカードマッチング) のフルテキスト検索用に保持されます。
Apache Calcite SQL パーサー、プランナー、オプティマイザ。コーディネーターノードで、すべてのクエリ言語の 1 つのフロントエンドとして実行されます。
DataFusion ベクトル化された実行エンジン (ラストベース）。列データに対して分析オペレーション (集計、フィルター、範囲スキャン) を実行します。
Apache Arrow インメモリ列形式。ゼロコピーデータ転送とベクトル化された処理を有効にします。
Amazon S3 Parquet ファイルと逆インデックスセグメントの両方の耐久性のあるバッキングストア。
OpenSearch UI 最適化ドメインのクエリと視覚化インターフェイス (PPL クエリバー、自然言語クエリ支援）。

データは既存の REST APIs とクライアントライブラリを介して入力されます (新しいエージェントやパイプラインは必要ありません）。エンジンは分析のためにデータを列指向 Parquet に書き込みます。検索可能として設定されたフィールドの場合、Lucene 反転インデックスにも書き込みます。PPL と SQL は、ベクトル化されたエンジンを介してネイティブに実行されます。全文検索述語は反転インデックスで実行され、1 つのステートメントで分析と組み合わせることができます。

クエリはコーディネーターノード (計画とマージ) とデータノード (実行と保存) を経由します。コーディネーターはクエリを解析して最適化し、フラグメントをデータノードにスケジュールします。各データノードで、分析オペレーションは DataFusion エンジンで実行され、検索オペレーションは Lucene エンジンで実行されます。2 つはクエリの途中で引き渡すことができるため、ログコンテンツを検索して結果を集計するクエリは、追加のラウンドトリップなしで実行されます。

リージョンの可用性

ログ分析用に最適化された Amazon OpenSearch Service は、次の で利用できます AWS リージョン。

  • 米国東部 (バージニア北部) – us-east-1

  • 米国東部 (オハイオ) – us-east-2

  • 米国西部 (オレゴン) – us-west-2

  • カナダ (中部) – ca-central-1

  • アジアパシフィック (ムンバイ)

  • アジアパシフィック (シンガポール)

  • アジアパシフィック (シドニー)

  • アジアパシフィック (東京)

  • 欧州 (フランクフルト)

  • 欧州 (アイルランド)

  • 欧州 (ロンドン)

  • 欧州 (スペイン)