Creare uno scraper Cross-account configurazione Trova ed elimina gli scraper Metriche raccolte da Amazon Service OpenSearch Limitazioni

Configura raccoglitori Prometheus gestiti per Amazon Service OpenSearch

Il collettore gestito Amazon Managed Service for Prometheus per Amazon Service estrae automaticamente le Prometheus-compatible metriche dal tuo OpenSearch dominio di servizio e le inoltra a destinazione. OpenSearch Amazon Managed Service for Prometheus gestisce il collettore per te, offrendoti la scalabilità, la sicurezza e l'affidabilità di cui hai bisogno, senza dover gestire personalmente istanze, agenti o scraper. La tua destinazione può essere Amazon Managed Service for Prometheus workspace o Amazon. CloudWatch

Puoi anche creare uno scraper che si integri con Amazon Elastic Kubernetes Service o con Amazon Managed Streaming per Apache Kafka. Per ulteriori informazioni, consulta Integrare Amazon EKS e Integrare Amazon MSK. https://docs.aws.amazon.com/prometheus/latest/userguide/prom-msk-integration.html

Creare uno scraper

Questa procedura presuppone che tu abbia familiarità con l'amministrazione dei domini di Amazon OpenSearch Service e i concetti di rete Amazon Virtual Private Cloud.

Esistono alcuni prerequisiti per creare uno scraper per un OpenSearch dominio di servizio:

Un dominio Amazon OpenSearch Service con accesso Amazon Virtual Private Cloud. I raccoglitori gestiti supportano solo i domini di OpenSearch servizio con accesso VPC. I domini con accesso pubblico non sono supportati.
Gruppi di sicurezza che consentono al raccoglitore gestito di raggiungere l'endpoint OpenSearch del dominio del servizio tramite HTTPS (porta 443). Aggiungi una regola in entrata al gruppo di sicurezza del dominio che consenta il traffico HTTPS proveniente dal gruppo di sicurezza fornito per il raccoglitore.

Per indicare allo scraper da quale dominio del OpenSearch servizio effettuare il prelievo, specificate il dominio nel exporters campo della richiesta. Il exporters campo contiene un elenco di configurazioni dell'esportatore; per un dominio OpenSearch di servizio, fornisci il nome domainArn del dominio. openSearchConfiguration La rete (sottoreti e gruppo di sicurezza) viene fornita separatamente nel source campo, come illustrato negli esempi seguenti.

Nota

Lo scraper utilizza l'endpoint VPC del dominio come risolto al momento della creazione dello scraper. Se si ricrea il dominio, si ottiene un nuovo endpoint, quindi è necessario creare un nuovo scraper o aggiornare quello esistente con cui effettuare il prelievo. UpdateScraper

Fornisci una configurazione dello scraper quando crei lo scraper. Il raccoglitore gestito si connette al dominio specificato e ne raccoglie automaticamente le metriche, in modo da non specificare gli obiettivi di scrape nella configurazione. La configurazione deve includere una scrape_configs sezione con un job il cui nome è esattamente. job_name opensearch-exporter Una configurazione che non contiene un job denominato opensearch-exporter viene rifiutata. Utilizzate la configurazione di scrape per impostare l'intervallo di scrape e, facoltativamente, per filtrare o rietichettare le metriche raccolte. Di seguito è riportato un esempio di configurazione scrape:


global:
  external_labels:
    domain_name: my-opensearch-domain

scrape_configs:
  - job_name: opensearch-exporter
    scrape_interval: 60s

Per ulteriori informazioni sulle opzioni di configurazione scrape supportate, vedere. Configurazione dello scraper

To create a scraper using the AWS API

Usa l'operazione CreateScraper API per creare uno scraper con l' AWS API. L'esempio seguente crea uno scraper nella regione Stati Uniti orientali (Virginia settentrionale) che raccoglie le metriche da un dominio di servizio e le invia a un'area di lavoro Amazon Managed OpenSearch Service per Prometheus. Sostituisci il example contenuto con le tue informazioni sul dominio, sulla rete e sull'area di lavoro e fornisci la configurazione dello scraper.

Nota

Configura il gruppo di sicurezza e le sottoreti in modo che corrispondano all'Amazon VPC del tuo dominio Service. OpenSearch Includi almeno due sottoreti in due zone di disponibilità.


POST /scrapers HTTP/1.1

{
    "alias": "myScraper",
    "source": {
        "vpcConfiguration": {
            "securityGroupIds": ["sg-security-group-id"],
            "subnetIds": ["subnet-subnet-id-1", "subnet-subnet-id-2"]
        }
    },
    "exporters": [
        {
            "openSearchConfiguration": {
                "domainArn": "arn:aws:es:us-east-1:123456789012:domain/my-opensearch-domain"
            }
        }
    ],
    "destination": {
        "ampConfiguration": {
            "workspaceArn": "arn:aws:aps:us-east-1:123456789012:workspace/ws-workspace-id"
        }
    },
    "scrapeConfiguration": {
        "configurationBlob": "base64-encoded-blob"
    }
}

Per inviare le metriche ad Amazon CloudWatch anziché a un Amazon Managed Service for Prometheus workspace, sostituiscile con una configurazione: destination CloudWatch


    "destination": {
        "cloudWatchConfiguration": {
            "datasetArn": "arn:aws:cloudwatch:us-east-1:123456789012:dataset/default"
        }
    }

Il scrapeConfiguration parametro richiede un file YAML di configurazione Prometheus con codifica base64. Eseguite uno dei seguenti comandi per convertire il file YAML in base64. Puoi anche usare qualsiasi convertitore base64 online per convertire il file.

Esempio Linux/macOS


base64 -w0 scraper-config.yaml

Esempio Windows PowerShell


[Convert]::ToBase64String([System.IO.File]::ReadAllBytes("scraper-config.yaml"))

To create a scraper using the AWS CLI

Usa il create-scraper comando per creare un raschietto usando. AWS Command Line Interface L'esempio seguente crea uno scraper nella regione Stati Uniti orientali (Virginia settentrionale). Sostituisci il example contenuto con le tue informazioni sul dominio, sulla rete e sull'area di lavoro e fornisci la configurazione dello scraper.

Nota

Configura il gruppo di sicurezza e le sottoreti in modo che corrispondano all'Amazon VPC del tuo dominio Service. OpenSearch Includi almeno due sottoreti in due zone di disponibilità.


aws amp create-scraper \
 --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \
 --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:us-east-1:123456789012:domain/my-opensearch-domain"}}]' \
 --scrape-configuration configurationBlob=base64-encoded-blob \
 --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:us-east-1:123456789012:workspace/ws-workspace-id"}}'

Di seguito è riportato un elenco completo delle operazioni di scraper che è possibile utilizzare con l'API: AWS

Creare uno scraper con l'operazione CreateScraper API.
Elenca i tuoi scraper esistenti con l'operazione ListScrapers API.
Aggiorna l'alias, la configurazione o la destinazione di uno scraper con l'UpdateScraperoperazione API.
Elimina uno scraper con l'operazione DeleteScraper API.
Ottieni maggiori dettagli su uno scraper con l'operazione DescribeScraper API.

Cross-account configurazione

Per creare uno scraper in una configurazione con più account, quando il dominio del OpenSearch servizio da cui desideri raccogliere le metriche si trova in un account diverso dal collector Amazon Managed Service for Prometheus, utilizza la seguente procedura.

Ad esempio, hai due account: un account di origine in cui si trova il dominio OpenSearch Service e un account di destinazione account_id_source in cui risiede lo spazio di lavoro Amazon Managed Service for account_id_target Prometheus.

Nota

Le politiche di fiducia nei passaggi seguenti si riferiscono allo scraper in base al relativo ARN, che include un scraper-id valore che non esiste finché non viene creato lo scraper. Per evitare questo problema di ordinamento, create innanzitutto i ruoli con un carattere jolly (scraper/*) al posto dello specifico ARN dello scraper, create lo scraper e quindi aggiornate entrambe le politiche di fiducia per sostituire il carattere jolly con l'ARN dello scraper effettivo che restituisce. CreateScraper

Per creare uno scraper in una configurazione con più account

Nell'account di origine, crea un ruolo arn:aws:iam::111122223333:role/Source e aggiungi la seguente politica di fiducia.


{
    "Effect": "Allow",
    "Principal": {
    "Service": [
        "scraper.aps.amazonaws.com"
     ]
    },
    "Action": "sts:AssumeRole",
    "Condition": {
        "ArnEquals": {
            "aws:SourceArn": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id"
        },
        "StringEquals": {
            "AWS:SourceAccount": "111122223333"
        }
    }
}

Nell'account di destinazione, crea un ruolo arn:aws:iam::444455556666:role/Target e aggiungi la seguente politica di fiducia, che consente al ruolo di origine di assumerlo.
```
{
  "Effect": "Allow",
  "Principal": {
     "AWS": "arn:aws:iam::111122223333:role/Source"
  },
  "Action": "sts:AssumeRole",
  "Condition": {
     "StringEquals": {
        "sts:ExternalId": "arn:aws:aps:aws-region:111122223333:scraper/scraper-id"
      }
  }
}
```
Allega una politica di autorizzazioni al ruolo di destinazione che gli consenta di scrivere nella tua destinazione. Se la tua destinazione è un'area di lavoro Amazon Managed Service for Prometheus, AmazonPrometheusRemoteWriteAccess allega (il che garantisce). aps:RemoteWrite Se la tua destinazione è Amazon CloudWatch, allega una policy che preveda concessioni sul set di dati. cloudwatch:PutMetricData

Crea uno scraper con l'opzione. --role-configuration


aws amp create-scraper \
 --source '{"vpcConfiguration":{"securityGroupIds":["sg-security-group-id"],"subnetIds":["subnet-subnet-id-1","subnet-subnet-id-2"]}}' \
 --exporters '[{"openSearchConfiguration":{"domainArn":"arn:aws:es:aws-region:111122223333:domain/my-opensearch-domain"}}]' \
 --scrape-configuration configurationBlob=<base64-encoded-blob> \
 --destination '{"ampConfiguration":{"workspaceArn":"arn:aws:aps:aws-region:444455556666:workspace/ws-workspace-id"}}' \
 --role-configuration '{"sourceRoleArn":"arn:aws:iam::111122223333:role/Source", "targetRoleArn":"arn:aws:iam::444455556666:role/Target"}'

Convalida la creazione dello scraper.
```
aws amp list-scrapers
```

Trova ed elimina gli scraper

Puoi utilizzare l' AWS API o il AWS CLI per elencare gli scraper nel tuo account o per eliminarli.

Nota

Assicurati di utilizzare la versione più recente di AWS CLI or SDK. L'ultima versione offre le caratteristiche e le funzionalità più recenti, nonché gli aggiornamenti di sicurezza. In alternativa, utilizza AWS CloudShell, che fornisce un'esperienza a riga di comando sempre aggiornata, automaticamente.

Per elencare tutti gli scraper del tuo account, usa l’operazione API ListScrapers. In alternativa, con il AWS CLI, chiama:


aws amp list-scrapers

Per eliminare uno scraper, trova scraperId relativo allo scraper che desideri eliminare, utilizzando l'operazione ListScrapers, quindi usa l'operazione DeleteScraper per eliminarlo. In alternativa, con il AWS CLI, chiama:


aws amp delete-scraper --scraper-id scraperId

Metriche raccolte da Amazon Service OpenSearch

Quando effettui l'integrazione con Amazon OpenSearch Service, il collettore Amazon Managed Service for Prometheus analizza automaticamente le Prometheus-compatible metriche che descrivono lo stato e le prestazioni del tuo dominio. Il raccoglitore emette diverse centinaia di metriche; nelle tabelle seguenti sono elencate le metriche rappresentative di ciascuna categoria. Le opensearch_indices_ metriche nelle tabelle seguenti sono aggregate in tutto il dominio e molte hanno varianti solo primarie e totali (con il suffisso o). _primary _total Il raccoglitore emette anche le stesse statistiche per indice, prefisso e per shard prefisso. opensearch_index_stats_ opensearch_indices_shards_

Metrica	Descrizione/Scopo
opensearch_cluster_health_status	Stato di integrità del cluster (verde, giallo o rosso).
opensearch_cluster_health_number_of_nodes	Numero di nodi nel cluster .
opensearch_cluster_health_number_of_data_nodes	Numero di nodi di dati nel cluster.
opensearch_cluster_health_active_primary_shards	Numero di frammenti primari attivi.
opensearch_cluster_health_active_shards	Numero totale di frammenti attivi, inclusi frammenti primari e di replica.
opensearch_cluster_health_relocating_shards	Numero di frammenti che si stanno riposizionando tra i nodi.
opensearch_cluster_health_initializing_shards	Numero di frammenti in fase di inizializzazione.
opensearch_cluster_health_unassigned_shards	Numero di frammenti non assegnati a un nodo.
opensearch_cluster_health_delayed_unassigned_shards	Numero di frammenti non assegnati la cui assegnazione è ritardata.
opensearch_cluster_health_number_of_pending_tasks	Numero di attività a livello di cluster in coda e in attesa di esecuzione.
opensearch_cluster_health_number_of_in_flight_fetch	Numero di richieste di shard fetch in corso.
opensearch_cluster_health_task_max_waiting_in_queue_millis	Tempo massimo di attesa di un'attività in coda, in millisecondi.

Metrica	Descrizione/Scopo
opensearch_os_cpu_percent	Percentuale di CPU utilizzata dal sistema operativo sul nodo.
opensearch_os_load1	Carico medio del sistema operativo nell'ultimo minuto. Il raccoglitore emette `opensearch_os_load5` anche e. `opensearch_os_load15`
opensearch_os_mem_used_bytes	Quantità di memoria fisica utilizzata, in byte. Il raccoglitore emette anche`opensearch_os_mem_free_bytes`,, e`opensearch_os_mem_actual_used_bytes`. `opensearch_os_mem_actual_free_bytes`
opensearch_jvm_memory_used_bytes	Quantità di memoria JVM utilizzata, in byte, per area di memoria (heap e non heap). Le metriche correlate includono `opensearch_jvm_memory_committed_bytes` e `opensearch_jvm_memory_max_bytes`.
opensearch_jvm_gc_collection_seconds_count	Numero totale di eventi di garbage collection JVM. Da utilizzare con`opensearch_jvm_gc_collection_seconds_sum`, il tempo totale trascorso nella garbage collection.
opensearch_jvm_uptime_seconds	Tempo di attività della JVM, in secondi.
opensearch_thread_pool_active_count	Numero di thread attivi in ogni pool di thread. Le metriche correlate includono`opensearch_thread_pool_queue_count`,`opensearch_thread_pool_rejected_count`, e. `opensearch_thread_pool_completed_count`
opensearch_filesystem_data_available_bytes	Quantità di spazio su disco disponibile per il nodo, in byte. Le metriche correlate includono `opensearch_filesystem_data_free_bytes` e `opensearch_filesystem_data_size_bytes`.
opensearch_filesystem_io_stats_device_read_operations_count	Numero di operazioni di lettura del disco. Il raccoglitore emette anche il conteggio delle operazioni di scrittura e totale e le dimensioni di lettura e scrittura (ad esempio,`opensearch_filesystem_io_stats_device_read_size_kilobytes_sum`).
opensearch_process_cpu_percent	Percentuale di CPU utilizzata dal processo. OpenSearch
opensearch_process_mem_resident_size_bytes	Dimensione della memoria residente del processo, in byte. OpenSearch
opensearch_process_open_files_count	Numero di descrittori di file aperti dal processo. OpenSearch
opensearch_breakers_tripped	Numero totale di volte in cui ogni interruttore automatico è scattato. Le metriche correlate includono `opensearch_breakers_estimated_size_bytes` e `opensearch_breakers_limit_size_bytes`.
opensearch_transport_rx_size_bytes_total	Quantità totale di dati ricevuti sul livello di trasporto tra i nodi, in byte. Inoltre, il raccoglitore emette `opensearch_transport_tx_size_bytes_total` e i pacchetti contano.
opensearch_indexing_pressure_current_all_in_bytes	Memoria corrente consumata dalle richieste di indicizzazione, in byte, con come limite configurato. `opensearch_indexing_pressure_limit_in_bytes`

Metrica	Descrizione/Scopo
opensearch_indices_docs	Numero di documenti Le metriche correlate includono`opensearch_indices_docs_deleted`,`opensearch_indices_docs_primary`, e`opensearch_indices_docs_total`.
opensearch_indices_store_size_bytes	Dimensione totale degli indici su disco, in byte, con e varianti. `opensearch_indices_store_size_bytes_primary` `opensearch_indices_store_size_bytes_total`
opensearch_indices_indexing_index_total	Numero totale di documenti indicizzati. Usare con `opensearch_indices_indexing_index_time_seconds_total` per la latenza di indicizzazione.
opensearch_indices_indexing_is_throttled	Indica se l'indicizzazione è attualmente limitata, con una limitazione del tempo totale. `opensearch_indices_indexing_throttle_time_seconds_total`
opensearch_indices_search_query_total	Numero totale di query di ricerca. Usare con `opensearch_indices_search_query_time_seconds` per la latenza delle query.
opensearch_indices_search_fetch_total	Numero totale di operazioni di recupero, con latenza di recupero. `opensearch_indices_search_fetch_time_seconds`
opensearch_indices_get_total	Numero totale di operazioni get, con latenza for get. `opensearch_indices_get_time_seconds`
opensearch_indices_merges_total	Numero totale di fusioni di segmenti completate. Le metriche correlate includono `opensearch_indices_merges_current` e `opensearch_indices_merges_total_time_seconds_total`.
opensearch_indices_refresh_total	Numero totale di operazioni di aggiornamento dell'indice, con tempo di aggiornamento. `opensearch_indices_refresh_time_seconds_total`
opensearch_indices_flush_total	Numero totale di operazioni di svuotamento dell'indice, con tempo di svuotamento dell'indice. `opensearch_indices_flush_time_seconds`
opensearch_indices_segments_count	Numero di segmenti. Il raccoglitore emette anche metriche di memoria per segmento (ad esempio e). `opensearch_indices_segments_memory_bytes` `opensearch_indices_segment_terms_memory_total`
opensearch_indices_translog_operations	Numero di operazioni nel registro delle transazioni, in base alle dimensioni. `opensearch_indices_translog_size_in_bytes`
opensearch_indices_fielddata_memory_size_bytes	Memoria utilizzata dalla cache dei dati del campo, in byte, con per le eliminazioni. `opensearch_indices_fielddata_evictions`
opensearch_indices_query_cache_memory_size_bytes	Memoria utilizzata dalla cache delle query, in byte. Le metriche correlate includono `opensearch_indices_query_cache_count` e `opensearch_indices_query_cache_evictions`.
opensearch_indices_request_cache_memory_size_bytes	Memoria utilizzata dalla cache delle richieste, in byte. Le metriche correlate includono `opensearch_indices_request_cache_count` e `opensearch_indices_request_cache_evictions`.

Limitazioni

L'integrazione OpenSearch di Amazon Service con Amazon Managed Service per Prometheus presenta le seguenti limitazioni:

Supportato solo per i domini OpenSearch di servizio con accesso ad Amazon Virtual Private Cloud. I domini con accesso pubblico non sono supportati.
Uno scraper raccoglie le metriche da un singolo dominio di servizio. OpenSearch Per raccogliere le metriche da più di un dominio, crea uno scraper separato per ogni dominio.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Integra Amazon MSK

Prometheus-compatible metriche