Amazon Ingestion OpenSearch パイプラインの作成

OpenSearch 取り込みは非同期プロセスを実行してパイプラインを構築します。パイプラインのステータスが Active になると、データの取り込みを開始できます。

create-pipeline コマンドは、パイプライン設定を文字列として、またはは .yaml ファイル内で受け入れます。設定を文字列として入力する場合、改行するたびに \n でエスケープする必要があります。例えば、次のようになります: "log-pipeline:\n source:\n http:\n processor:\n - grok:\n ...

次のサンプルコマンドは、以下にある設定でパイプラインを作成します。

aws osis create-pipeline \
  --pipeline-name my-pipeline \
  --min-units 4 \
  --max-units 10 \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="MyLogGroup"} \
  --vpc-options SecurityGroupIds={sg-12345678,sg-9012345},SubnetIds=subnet-1212234567834asdf \
  --pipeline-configuration-body "file://pipeline-config.yaml"

OpenSearch 取り込みは非同期プロセスを実行してパイプラインを構築します。パイプラインのステータスが Active になると、データの取り込みを開始できます。パイプラインのステータスを確認するには、 GetPipeline コマンドを使用します。

Ingestion API OpenSearch を使用して Ingestion OpenSearch パイプラインを作成するには、 CreatePipelineオペレーションを呼び出します。

パイプラインを最初に作成した後、Ingestion OpenSearch がデータを取り込む準備をするときに、パイプラインは複数の段階を経ます。パイプライン作成のさまざまな段階を確認するには、パイプライン名をクリックして[パイプラインの設定] ページを表示します。[ステータス] で、[詳細を表示] をクリックします。

パイプラインは、データの取り込みが可能になるまでに次の段階を経ます。

get-pipeline-change-progress コマンドを使用して、パイプラインのステータスを確認します。次の AWS CLI リクエストは、 という名前のパイプラインのステータスをチェックしますmy-pipeline。

aws osis get-pipeline-change-progress \
    --pipeline-name my-pipeline

レスポンス:

{
   "ChangeProgressStatuses": {
      "ChangeProgressStages": [ 
         { 
            "Description": "Validating pipeline configuration",
            "LastUpdated": 1.671055851E9,
            "Name": "VALIDATION",
            "Status": "PENDING"
         }
      ],
      "StartTime": 1.671055851E9,
      "Status": "PROCESSING",
      "TotalNumberOfStages": 5
   }
}

Ingestion API を使用してパイプライン作成のステータスを追跡するには、 OpenSearch GetPipelineChangeProgressオペレーションを呼び出します。

を使用して使用可能なすべてのブループリントのリストを取得するには AWS CLI、 list-pipeline-blueprintsリクエストを送信します。

aws osis list-pipeline-blueprints 

このリクエストは、利用可能なすべてのブループリントのリストを返します。

特定のブループリントに関する詳細情報を取得するには、 get-pipeline-blueprint コマンドを使用します。

aws osis get-pipeline-blueprint --blueprint-name AWS-ApacheLogPipeline

このリクエストは、Apache ログパイプラインブループリントの内容を返します。

{
   "Blueprint":{
      "PipelineConfigurationBody":"###\n  # Limitations: https://docs.aws.amazon.com/opensearch-service/latest/ingestion/ingestion.html#ingestion-limitations\n###\n###\n  # apache-log-pipeline:\n    # This pipeline receives logs via http (e.g. FluentBit), extracts important values from the logs by matching\n    # the value in the 'log' key against the grok common Apache log pattern. The grokked logs are then sent\n    # to OpenSearch to an index named 'logs'\n###\n\nversion: \"2\"\napache-log-pipeline:\n  source:\n    http:\n      # Provide the path for ingestion. ${pipelineName} will be replaced with pipeline name configured for this pipeline.\n      # In this case it would be \"/apache-log-pipeline/logs\". This will be the FluentBit output URI value.\n      path: \"/${pipelineName}/logs\"\n  processor:\n    - grok:\n        match:\n          log: [ \"%{COMMONAPACHELOG_DATATYPED}\" ]\n  sink:\n    - opensearch:\n        # Provide an AWS OpenSearch Service domain endpoint\n        # hosts: [ \"https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com\" ]\n        aws:\n          # Provide a Role ARN with access to the domain. This role should have a trust relationship with osis-pipelines.amazonaws.com\n          # sts_role_arn: \"arn:aws:iam::123456789012:role/Example-Role\"\n          # Provide the region of the domain.\n          # region: \"us-east-1\"\n          # Enable the 'serverless' flag if the sink is an Amazon OpenSearch Serverless collection\n          # serverless: true\n        index: \"logs\"\n        # Enable the S3 DLQ to capture any failed requests in an S3 bucket\n        # dlq:\n          # s3:\n            # Provide an S3 bucket\n            # bucket: \"your-dlq-bucket-name\"\n            # Provide a key path prefix for the failed requests\n            # key_path_prefix: \"${pipelineName}/logs/dlq\"\n            # Provide the region of the bucket.\n            # region: \"us-east-1\"\n            # Provide a Role ARN with access to the bucket. This role should have a trust relationship with osis-pipelines.amazonaws.com\n            # sts_role_arn: \"arn:aws:iam::123456789012:role/Example-Role\"\n",
      "BlueprintName":"AWS-ApacheLogPipeline"
   }
}

Ingestion API を使用してパイプラインの設計図に関する情報を取得するには、 ListPipelineBlueprintsおよび OpenSearch GetPipelineBlueprintオペレーションを使用します。