스크레이퍼 생성 교차 계정 설정 스크레이퍼 찾기 및 삭제 Amazon OpenSearch Service에서 수집한 지표 제한 사항

Amazon OpenSearch Service용 관리형 Prometheus 수집기 설정

Amazon OpenSearch Service용 Amazon Managed Service for Prometheus 관리형 수집기는 OpenSearch Service 도메인에서 Prometheus 호환 지표를 자동으로 스크레이프하여 대상으로 전달합니다. Amazon Managed Service for Prometheus는 인스턴스, 에이전트 또는 스크레이퍼를 직접 관리할 필요 없이 필요한 확장성, 보안 및 신뢰성을 제공하여 수집기를 관리합니다. 대상은 Amazon Managed Service for Prometheus 워크스페이스 또는 Amazon CloudWatch일 수 있습니다.

Amazon Elastic Kubernetes Service 또는 Amazon Managed Streaming for Apache Kafka와 통합되는 스크레이퍼를 생성할 수도 있습니다. 자세한 내용은 Amazon EKS 통합 및 Amazon MSK 통합을 참조하세요.

스크레이퍼 생성

이 절차에서는 Amazon OpenSearch Service 도메인 관리 및 Amazon Virtual Private Cloud 네트워킹 개념에 익숙하다고 가정합니다.

OpenSearch Service 도메인에 대한 스크레이퍼를 생성하기 위한 몇 가지 사전 요구 사항이 있습니다.

Amazon Virtual Private Cloud에 액세스할 수 있는 Amazon OpenSearch Service 도메인입니다. 관리형 수집기는 VPC 액세스 권한이 있는 OpenSearch Service 도메인만 지원합니다. 퍼블릭 액세스 권한이 있는 도메인은 지원되지 않습니다.
관리형 수집기가 HTTPS(포트 443)를 통해 OpenSearch Service 도메인 엔드포인트에 도달하도록 허용하는 보안 그룹입니다. 수집기에 제공하는 보안 그룹의 HTTPS 트래픽을 허용하는 인바운드 규칙을 도메인의 보안 그룹에 추가합니다.

스크레이퍼에게 수집할 OpenSearch Service 도메인을 알리려면 요청의 exporters 필드에 도메인을 지정합니다. exporters 필드는 내보내기 구성 목록을 가져옵니다. OpenSearch Service 도메인의 경우에 도메인domainArn의 openSearchConfiguration를 제공합니다. 다음 예제와 같이 source 필드에 네트워킹(서브넷 및 보안 그룹)을 별도로 제공합니다.

참고

스크레이퍼는 스크레이퍼를 생성할 때 도메인의 VPC 엔드포인트를 확인된 것으로 사용합니다. 도메인을 다시 생성하는 경우 새 엔드포인트를 가져오므로 새 스크레이퍼를 생성하거나 기존 스크레이퍼를 UpdateScraper로 업데이트하여 도메인에서 수집해야 합니다.

스크레이퍼를 생성할 때 스크레이프 구성을 제공합니다. 관리형 수집기는 지정한 도메인에 연결하고 지표를 자동으로 수집하므로, 사용자는 구성에서 스크레이프 대상을 지정하지 않습니다. 구성에는 job_name가 정확히 opensearch-exporter인 작업이 있는 scrape_configs 섹션이 포함되어야 합니다. 이름이 인 작업이 포함되지 않은 구성opensearch-exporter은 거부됩니다. 스크레이프 구성을 사용하여 스크레이프 간격을 설정하고 선택적으로 수집된 지표를 필터링하거나 레이블을 다시 지정합니다. 다음은 스크레이프 구성의 예입니다.


global:
  external_labels:
    domain_name: my-opensearch-domain

scrape_configs:
  - job_name: opensearch-exporter
    scrape_interval: 60s

지원되는 스크레이프 구성 옵션에 대한 자세한 내용은 섹션을 참조하세요Scraper 구성.

To create a scraper using the AWS API

CreateScraper API 작업을 사용하여 AWS API로 스크레이퍼를 생성합니다. 다음 예제에서는 OpenSearch Service 도메인에서 지표를 수집하여 Amazon Managed Service for Prometheus 워크스페이스로 보내는 스크레이퍼를 미국 동부(버지니아 북부) 리전에 생성합니다. 예제 콘텐츠를 자체 도메인, 네트워킹 및 워크스페이스 정보로 바꾸고 스크레이퍼 구성을 제공합니다.

참고

OpenSearch Service 도메인의 Amazon VPC와 일치하도록 보안 그룹 및 서브넷을 구성합니다. 2개의 가용 영역에 2개 이상의 서브넷을 포함합니다.


POST /scrapers HTTP/1.1

{
    "alias": "myScraper",
    "source": {
        "vpcConfiguration": {
            "securityGroupIds": ["sg-security-group-id"],
            "subnetIds": ["subnet-subnet-id-1", "subnet-subnet-id-2"]
        }
    },
    "exporters": [
        {
            "openSearchConfiguration": {
                "domainArn": "arn:aws:es:us-east-1:123456789012:domain/my-opensearch-domain"
            }
        }
    ],
    "destination": {
        "ampConfiguration": {
            "workspaceArn": "arn:aws:aps:us-east-1:123456789012:workspace/ws-workspace-id"
        }
    },
    "scrapeConfiguration": {
        "configurationBlob": "base64-encoded-blob"
    }
}

Amazon Managed Service for Prometheus 워크스페이스 대신 지표를 Amazon CloudWatch로 보내려면를 CloudWatch 구성destination으로 바꿉니다.


    "destination": {
        "cloudWatchConfiguration": {
            "datasetArn": "arn:aws:cloudwatch:us-east-1:123456789012:dataset/default"
        }
    }

scrapeConfiguration 파라미터에는 base64로 인코딩된 Prometheus 구성 YAML 파일이 필요합니다. 다음 명령 중 하나를 실행하여 YAML 파일을 base64로 변환합니다. 온라인 base64 변환기를 사용하여 파일을 변환할 수도 있습니다.

예 Linux/macOS


base64 -w0 scraper-config.yaml

예 Windows PowerShell


[Convert]::ToBase64String([System.IO.File]::ReadAllBytes("scraper-config.yaml"))

To create a scraper using the AWS CLI

AWS Command Line Interface에서 create-scraper 명령을 사용하여 스크레이퍼를 생성합니다. 다음 예제는 미국 동부(버지니아 북부) 리전에 스크레이퍼를 생성합니다. 예제 콘텐츠를 자체 도메인, 네트워킹 및 워크스페이스 정보로 바꾸고 스크레이퍼 구성을 제공합니다.

참고

OpenSearch Service 도메인의 Amazon VPC와 일치하도록 보안 그룹 및 서브넷을 구성합니다. 2개의 가용 영역에 2개 이상의 서브넷을 포함합니다.


aws amp create-scraper \
 --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \
 --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:us-east-1:123456789012:domain/my-opensearch-domain"}}]' \
 --scrape-configuration configurationBlob=base64-encoded-blob \
 --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:us-east-1:123456789012:workspace/ws-workspace-id"}}'

다음은 AWS API와 함께 사용할 수 있는 스크레이퍼 작업의 전체 목록입니다.

CreateScraper API 작업으로 스크레이퍼를 생성합니다.
ListScrapers API 작업으로 기존 스크레이퍼를 나열합니다.
UpdateScraper API 작업으로 스크레이퍼의 별칭, 구성 또는 대상을 업데이트합니다.
DeleteScraper API 작업으로 스크레이퍼를 삭제합니다.
DescribeScraper API 작업으로 스크레이퍼에 대한 자세한 내용을 확인합니다.

교차 계정 설정

교차 계정 설정에서 스크레이퍼를 생성하려면 지표를 수집하려는 OpenSearch Service 도메인이 Amazon Managed Service for Prometheus 수집기와 다른 계정에 있는 경우 다음 절차를 사용합니다.

예를 들어 OpenSearch Service 도메인이 account_id_source 있는 소스 계정과 Amazon Managed Service for Prometheus 워크스페이스account_id_target가 있는 대상 계정이라는 두 개의 계정이 있습니다.

참고

다음 단계의 신뢰 정책은 스크레이퍼를 생성할 때까지 존재하지 않는 스크레이퍼 ID를 포함하는 ARN으로 스크레이퍼를 참조합니다. 이 순서 지정 문제를 방지하려면 먼저 특정 스크레이퍼 ARN 대신 와일드카드(scraper/*)를 사용하여 역할을 생성하고 스크레이퍼를 생성한 다음 두 신뢰 정책을 모두 업데이트하여 와일드카드를 반환하는 실제 스크레이퍼 ARN으로 바CreateScraper꿉니다.

교차 계정 설정에서 스크레이퍼를 생성하려면

소스 계정에서 arn:aws:iam::111122223333:role/Source 역할을 생성하고 다음 신뢰 정책을 추가합니다.


{
    "Effect": "Allow",
    "Principal": {
    "Service": [
        "scraper.aps.amazonaws.com"
     ]
    },
    "Action": "sts:AssumeRole",
    "Condition": {
        "ArnEquals": {
            "aws:SourceArn": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id"
        },
        "StringEquals": {
            "AWS:SourceAccount": "111122223333"
        }
    }
}

대상 계정에서 역할을 생성하고 소스 역할이 역할을 수임하도록 허용하는 다음 신뢰 정책을 arn:aws:iam::444455556666:role/Target 추가합니다.
```
{
  "Effect": "Allow",
  "Principal": {
     "AWS": "arn:aws:iam::111122223333:role/Source"
  },
  "Action": "sts:AssumeRole",
  "Condition": {
     "StringEquals": {
        "sts:ExternalId": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id"
      }
  }
}
```
대상에 쓸 수 있도록 허용하는 권한 정책을 대상 역할에 연결합니다. 대상이 Amazon Managed Service for Prometheus 워크스페이스인 경우 AmazonPrometheusRemoteWriteAccess(를 부여)를 연결합니다aps:RemoteWrite. 대상이 Amazon CloudWatch인 경우 데이터 세트cloudwatch:PutMetricData에를 부여하는 정책을 연결합니다.

--role-configuration 옵션을 사용하여 스크레이퍼를 생성합니다.


aws amp create-scraper \
 --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \
 --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:aws-region:111122223333:domain/my-opensearch-domain"}}]' \
 --scrape-configuration configurationBlob=<base64-encoded-blob> \
 --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id"}}' \
 --role-configuration '{"sourceRoleArn":"arn:aws:iam::111122223333:role/Source", "targetRoleArn":"arn:aws:iam::444455556666:role/Target"}'

스크레이퍼 생성을 검증합니다.
```
aws amp list-scrapers
```

스크레이퍼 찾기 및 삭제

AWS API 또는 AWS CLI 를 사용하여 계정의 스크레이퍼를 나열하거나 삭제할 수 있습니다.

참고

최신 버전의 AWS CLI 또는 SDK를 사용하고 있는지 확인합니다. 최신 버전은 최신 특징과 기능 및 보안 업데이트도 제공합니다. 또는 항상 최신 명령줄 환경을 자동으로 제공하는 AWS CloudShell을 사용합니다.

계정의 모든 스크레이퍼를 나열하려면 ListScrapers API 작업을 사용합니다. 또는를 사용하여 다음을 AWS CLI호출합니다.


aws amp list-scrapers

스크레이퍼를 삭제하려면 ListScrapers 작업을 사용하여 삭제하려는 스크레이퍼의 scraperId를 찾은 다음 DeleteScraper 작업을 사용하여 삭제합니다. 또는를 사용하여 다음을 AWS CLI호출합니다.


aws amp delete-scraper --scraper-id scraperId

Amazon OpenSearch Service에서 수집한 지표

Amazon OpenSearch Service와 통합하면 Amazon Managed Service for Prometheus 수집기가 도메인의 상태와 성능을 설명하는 Prometheus 호환 지표를 자동으로 스크레이프합니다. 수집기는 수백 개의 지표를 내보냅니다. 다음 표에는 각 범주의 대표적인 지표가 나열되어 있습니다. 다음 표의 opensearch_indices_ 지표는 도메인 전체에서 집계되며, 많은 지표에는 기본 전용 및 총 변형( _primary 또는 접미사)이 있습니다_total. 또한 수집기는 인덱스당 동일한 통계, 접두사 opensearch_index_stats_, 접두사 인 샤드당 지표를 내보냅니다opensearch_indices_shards_.

지표	설명/목적
opensearch_cluster_health_status	클러스터 상태(녹색, 노란색 또는 빨간색).
opensearch_cluster_health_number_of_nodes	클러스터의 노드 수입니다.
opensearch_cluster_health_number_of_data_nodes	클러스터의 데이터 노드 수입니다.
opensearch_cluster_health_active_primary_shards	활성 기본 샤드 수입니다.
opensearch_cluster_health_active_shards	기본 및 복제본 샤드를 포함한 총 활성 샤드 수입니다.
opensearch_cluster_health_relocating_shards	노드 간에 재배치되는 샤드 수입니다.
opensearch_cluster_health_initializing_shards	초기화 중인 샤드 수입니다.
opensearch_cluster_health_unassigned_shards	노드에 할당되지 않은 샤드 수입니다.
opensearch_cluster_health_delayed_unassigned_shards	할당이 지연된 할당되지 않은 샤드 수입니다.
opensearch_cluster_health_number_of_pending_tasks	대기 중이고 실행 대기 중인 클러스터 수준 작업 수입니다.
opensearch_cluster_health_number_of_in_flight_fetch	진행 중인 샤드 가져오기 요청 수입니다.
opensearch_cluster_health_task_max_waiting_in_queue_millis	작업이 대기열에서 대기한 가장 긴 시간을 밀리초 단위로 표시합니다.

지표	설명/목적
opensearch_os_cpu_percent	노드의 운영 체제에서 사용하는 CPU의 백분율입니다.
opensearch_os_load1	지난 1분 동안의 운영 체제 로드 평균입니다. 수집기는 `opensearch_os_load5` 및 도 내보냅니다`opensearch_os_load15`.
opensearch_os_mem_used_bytes	사용된 물리적 메모리의 양, 바이트 단위. 수집기는 `opensearch_os_mem_free_bytes`, `opensearch_os_mem_actual_used_bytes`및 도 내보냅니다`opensearch_os_mem_actual_free_bytes`.
opensearch_jvm_memory_used_bytes	메모리 영역(힙 및 힙 외)별로 사용된 JVM 메모리의 양입니다. 관련 지표에는 `opensearch_jvm_memory_committed_bytes` 및 `opensearch_jvm_memory_max_bytes`이 포함됩니다.
opensearch_jvm_gc_collection_seconds_count	JVM 가비지 수집 이벤트의 총 수입니다. 가비지 수집에 소요된 총 시간`opensearch_jvm_gc_collection_seconds_sum`인와 함께 사용합니다.
opensearch_jvm_uptime_seconds	초 단위의 JVM 가동 시간입니다.
opensearch_thread_pool_active_count	각 스레드 풀의 활성 스레드 수입니다. 관련 지표에는 `opensearch_thread_pool_queue_count`, 및 `opensearch_thread_pool_rejected_count`가 포함됩니다`opensearch_thread_pool_completed_count`.
opensearch_filesystem_data_available_bytes	노드에 사용할 수 있는 디스크 공간의 양입니다. 관련 지표에는 `opensearch_filesystem_data_free_bytes` 및 `opensearch_filesystem_data_size_bytes`이 포함됩니다.
opensearch_filesystem_io_stats_device_read_operations_count	디스크 읽기 작업 수입니다. 또한 수집기는 쓰기 및 총 작업 수와 읽기 및 쓰기 크기(예: `opensearch_filesystem_io_stats_device_read_size_kilobytes_sum`)를 내보냅니다.
opensearch_process_cpu_percent	OpenSearch 프로세스에서 사용하는 CPU의 백분율입니다.
opensearch_process_mem_resident_size_bytes	OpenSearch 프로세스의 상주 메모리 크기는 바이트 단위입니다.
opensearch_process_open_files_count	OpenSearch 프로세스에서 열린 파일 설명자 수입니다.
opensearch_breakers_tripped	각 회로 차단기가 트립된 총 횟수입니다. 관련 지표에는 `opensearch_breakers_estimated_size_bytes` 및 `opensearch_breakers_limit_size_bytes`이 포함됩니다.
opensearch_transport_rx_size_bytes_total	노드 간 전송 계층을 통해 수신된 총 데이터 양은 바이트 단위입니다. 또한 수집기는 `opensearch_transport_tx_size_bytes_total` 및 패킷 수를 내보냅니다.
opensearch_indexing_pressure_current_all_in_bytes	를 구성된 제한`opensearch_indexing_pressure_limit_in_bytes`으로 사용하여 요청을 바이트 단위로 인덱싱하는 데 사용되는 현재 메모리입니다.

지표	설명/목적
opensearch_indices_docs	문서 수입니다. 관련 지표에는 `opensearch_indices_docs_deleted`, 및 `opensearch_indices_docs_primary`가 포함됩니다`opensearch_indices_docs_total`.
opensearch_indices_store_size_bytes	디스크에 있는 인덱스의 총 크기, 바이트 단위, `opensearch_indices_store_size_bytes_primary` 및 `opensearch_indices_store_size_bytes_total` 변형.
opensearch_indices_indexing_index_total	인덱싱된 총 문서 수입니다. 지연 시간을 `opensearch_indices_indexing_index_time_seconds_total` 인덱싱하려면와 함께를 사용합니다.
opensearch_indices_indexing_is_throttled	인덱싱이 현재 제한되었는지 여부를 나타내며, 총 제한 시간에 `opensearch_indices_indexing_throttle_time_seconds_total` 대해를 사용합니다.
opensearch_indices_search_query_total	총 검색 쿼리 수입니다. 쿼리 지연 시간에`opensearch_indices_search_query_time_seconds`는와 함께를 사용합니다.
opensearch_indices_search_fetch_total	가져오기 지연 시간에 `opensearch_indices_search_fetch_time_seconds` 대해를 사용하는 가져오기 작업의 총 수입니다.
opensearch_indices_get_total	가져오기 지연 시간을 `opensearch_indices_get_time_seconds` 위한의 총 가져오기 작업 수입니다.
opensearch_indices_merges_total	완료된 세그먼트 병합의 총 수입니다. 관련 지표에는 `opensearch_indices_merges_current` 및 `opensearch_indices_merges_total_time_seconds_total`이 포함됩니다.
opensearch_indices_refresh_total	인덱스 새로 고침 작업의 총 수, 새로 고침 시간에 `opensearch_indices_refresh_time_seconds_total` 대한 .
opensearch_indices_flush_total	인덱스 플러시 작업의 총 수, 플러시 시간에 `opensearch_indices_flush_time_seconds` 대해 .
opensearch_indices_segments_count	세그먼트 수입니다. 수집기는 세그먼트별 메모리 지표(예: `opensearch_indices_segments_memory_bytes` 및 `opensearch_indices_segment_terms_memory_total`)도 내보냅니다.
opensearch_indices_translog_operations	크기가 인 트랜잭션 로그의 작업 수`opensearch_indices_translog_size_in_bytes`입니다.
opensearch_indices_fielddata_memory_size_bytes	제거를 `opensearch_indices_fielddata_evictions` 위해 필드 데이터 캐시에서 사용하는 바이트 단위의 메모리입니다.
opensearch_indices_query_cache_memory_size_bytes	쿼리 캐시에서 사용하는 메모리는 바이트 단위입니다. 관련 지표에는 `opensearch_indices_query_cache_count` 및 `opensearch_indices_query_cache_evictions`이 포함됩니다.
opensearch_indices_request_cache_memory_size_bytes	요청 캐시에서 사용하는 메모리는 바이트 단위입니다. 관련 지표에는 `opensearch_indices_request_cache_count` 및 `opensearch_indices_request_cache_evictions`이 포함됩니다.

제한 사항

Amazon Managed Service for Prometheus와의 Amazon OpenSearch Service 통합에는 다음과 같은 제한 사항이 있습니다.

Amazon Virtual Private Cloud 액세스 권한이 있는 OpenSearch Service 도메인에만 지원됩니다. 퍼블릭 액세스 권한이 있는 도메인은 지원되지 않습니다.
스크레이퍼는 단일 OpenSearch Service 도메인에서 지표를 수집합니다. 둘 이상의 도메인에서 지표를 수집하려면 각 도메인에 대해 별도의 스크레이퍼를 생성합니다.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

Amazon MSK 통합

Prometheus 호환 지표