Amazon OpenSearch Ingestion パイプラインの作成

パイプラインを作成するには

1. Amazon OpenSearch Service コンソール (https://console.aws.amazon.com/aos/home) にサインインします。

2. 左側のナビゲーションペインで [パイプライン] をクリックし、次に [パイプラインを作成] をクリックします。

3. 空のパイプラインを選択するか、設定ブループリントを選択します。ブループリントには、さまざまな一般的なユースケース用に事前設定済みの YAML および JSON 設定ファイルが含まれています。詳細については、「ブループリントを使用したパイプラインの作成」を参照してください。

   [ブループリントを選択] を選択します。

4. パイプラインの名前を入力します。

5. (オプション) [永続的バッファリングを有効にする] を選択します。永続的バッファリングは、複数の AZ にまたがってディスクベースのバッファにデータを保存します。詳細については、「永続的バッファリング」を参照してください。永続的バッファリングを有効にする場合は、バッファデータを暗号化するための AWS Key Management Service キーを選択します。

6. Ingestion OpenSearch Compute Unit (OCU) でパイプラインの最小キャパシティと最大キャパシティを設定します。詳細については、「パイプラインのスケーリング」を参照してください。

7. [パイプライン設定] で、パイプライン設定を YAML 形式で入力します。ブループリントを使用している場合、設定は既に事前入力されていますが、いくつかの変更を加える必要があります。

   1 個のパイプライン設定ファイルには、1～10 個のサブパイプラインを含めることができます。各サブパイプラインは、1 個のソース、0 個以上のプロセッサ、1 個のシンクの組み合わせです。OpenSearch Ingestion の場合、シンクは常に OpenSearch Service ドメインでなければなりません。サポートされているオプションのリストについては、「Amazon OpenSearch Ingestion パイプラインでサポートされているプラグインとオプション」を参照してください。

   注記

   各サブパイプラインには sts_role_arn オプションを含める必要があります。パイプラインは、sts_role_arn で定義されたロールを前提として、ドメインへのリクエストに署名します。詳細については、「Amazon OpenSearch Ingestion パイプラインにドメインへのアクセスを付与する」を参照してください。

   以下のサンプル設定ファイルでは、HTTP ソースと Grok プラグインを使用して非構造化ログデータを処理し、OpenSearch Service ドメインに送信します。サブパイプラインには、log-pipeline という名前が付けられています。

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/log/ingest"
     processor:
       - grok:
           match:
             log: [ '%{COMMONAPACHELOG}' ]
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://search-my-domain.us-east-1.es.amazonaws.com" ]
           index: "apache_logs"
           aws:
             sts_role_arn: "arn:aws:iam::123456789012:role/{pipeline-role}"
             region: "us-east-1"

   独自のパイプライン設定を作成することもできますが、[ファイルをアップロード] をクリックして、セルフマネージド型の Data Prepper パイプラインの既存設定をインポートすることもできます。または、設定のブループリントを使用することもできます。

8. パイプラインを設定したら、[パイプラインを検証] をクリックして設定が正しいことを確認します。検証に失敗した場合、エラーを修正して検証を再実行します。

9. [ネットワーク設定] セクションで、[VPC アクセス] あるいは [パブリックアクセス] のどちらかを選択します。[パブリックアクセス] を選択した場合は、次のステップに進みます。[VPC アクセス] を選択した場合は、次の設定を行います。

   設定	説明
   [エンドポイントの管理]	VPC エンドポイントを自分で作成するか、OpenSearch Ingestion で作成するかを選択します。エンドポイント管理のデフォルトは、OpenSearch Ingestion によって管理されるエンドポイントです。
   VPC	使用する仮想プライベートクラウド (VPC) の ID を選択します。VPC とパイプラインは同じ AWS リージョン の中になければなりません。
   サブネット	1 つ以上のサブネットを選択します。OpenSearch Service は VPC エンドポイントと Elastic Network Interface (ENI) をサブネットに配置します。
   セキュリティグループ	必要なアプリケーションが、パイプラインによって公開されているポート (80 または 443) とプロトコル (HTTP または HTTP) で、OpenSearch Ingestion パイプラインに到達できるよう、1 つ以上の VPC セキュリティグループを選択します。
   [VPC アタッチメントオプション]	ソースがセルフマネージドエンドポイントの場合は、パイプラインを VPC にアタッチします。提供されているデフォルトの CIDR オプションのいずれかを選択するか、カスタム CIDR を使用します。

   詳細については、「Amazon OpenSearch Ingestion パイプラインの VPC アクセスの設定」を参照してください。

10. (オプション) [タグ] で、1 つ以上のタグ (キーと値のペア) をパイプラインに追加します。詳細については、「Amazon OpenSearch Ingestion パイプラインのタグ付け」を参照してください。

11. (オプション) [ログ発行オプション] で、Amazon CloudWatch Logs へのパイプラインログの発行を有効にします。パイプラインの問題をより簡単にトラブルシューティングできるように、ログの発行を有効にすることをお勧めします。詳細については、「パイプラインのログのモニタリング」を参照してください。

12. [Next] を選択します。

13. パイプライン設定を確認したら、[作成] をクリックします。