Index-Snapshots in Amazon OpenSearch Service erstellen

Snapshots in Amazon OpenSearch Service sind Backups der Indizes und des Status eines Clusters. Der Status beinhaltet Cluster-Einstellungen, Knoteninformationen, Index-Einstellungen und die Shard-Zuweisung.

OpenSearch Service-Snapshots gibt es in den folgenden Formen:

Alle OpenSearch Service-Domains erstellen automatische Snapshots, aber die Häufigkeit unterscheidet sich in folgenden Punkten:

Wenn Ihr Cluster in den roten Status wechselt, schlagen alle automatisierten Snapshots fehl, während der Cluster-Status bestehen bleibt. Wenn Sie das Problem nicht innerhalb von zwei Wochen beheben, können die Daten in Ihrem Cluster dauerhaft verloren gehen. Fehlerbehandlungsschritte finden Sie unter Roter Cluster-Status.

Voraussetzungen

Um Snapshots manuell zu erstellen, müssen Sie mit IAM und Amazon S3 arbeiten. Stellen Sie sicher, dass Sie die folgenden Voraussetzungen erfüllen, bevor Sie versuchen, einen Snapshot zu erstellen:

{
  "Version": "2012-10-17",
  "Statement": [{
      "Action": [
        "s3:ListBucket"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::s3-bucket-name"
      ]
    },
    {
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:DeleteObject"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::s3-bucket-name/*"
      ]
    }
  ]
}

{
  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "",
    "Effect": "Allow",
    "Principal": {
      "Service": "es.amazonaws.com"
    },
    "Action": "sts:AssumeRole"
  }]
  
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "iam:PassRole",
      "Resource": "arn:aws:iam::123456789012:role/TheSnapshotRole"
    },
    {
      "Effect": "Allow",
      "Action": "es:ESHttpPut",
      "Resource": "arn:aws:es:region:123456789012:domain/domain-name/*"
    }
  ]
}

$ python register-repo.py
{"Message":"User: arn:aws:iam::123456789012:user/MyUserAccount
is not authorized to perform: iam:PassRole on resource:
arn:aws:iam::123456789012:role/TheSnapshotRole"}

Registrieren eines manuellen Snapshot-Repositorys

Sie müssen ein Snapshot-Repository bei OpenSearch Service registrieren, bevor Sie manuelle Index-Snapshots erstellen können. Für diesen einmaligen Vorgang müssen Sie Ihre AWS Anfrage mit Zugangsdaten signieren, die für den Zugriff berechtigt sindTheSnapshotRole, wie unter beschriebenVoraussetzungen.

Schritt 1: Ordnen Sie die Snapshot-Rolle in OpenSearch Dashboards zu (wenn Sie eine differenzierte Zugriffskontrolle verwenden)

Eine differenzierte Zugriffskontrolle führt einen zusätzlichen Schritt bei der Registrierung eines Repositorys ein. Auch wenn Sie die HTTP-Basisauthentifizierung für alle anderen Zwecke verwenden, müssen Sie die manage_snapshots-Rolle Ihrer IAM-Rolle mit iam:PassRole-Berechtigungen zuordnen, um TheSnapshotRole zu übergeben.

Schritt 2: Registrieren eines Repositorys

Auf der folgenden Registerkarte „Snapshots“ wird veranschaulicht, wie Sie ein Snapshot-Verzeichnis registrieren. Spezifische Optionen für die Verschlüsselung eines manuellen Snapshots und die Registrierung eines Snapshots nach der Migration zu einer neuen Domain finden Sie auf den entsprechenden Registerkarten.

Verwenden des Python-Beispielclients

Der Python-Client ist einfacher zu automatisieren als eine einfache HTTP-Anfrage und bietet eine bessere Wiederverwendbarkeit. Wenn Sie diese Methode zum Registrieren eines Snapshot-Repositorys verwenden, speichern Sie den folgenden Python-Beispielcode als Python-Datei, z. B. register-repo.py. Der Client benötigt die Pakete AWS SDK for Python (Boto3), Anforderungen und requests-aws4auth. Der Client enthält auskommentierte Beispiele für andere Snapshot-Vorgänge.

Aktualisieren Sie die folgenden Variablen im Beispiel-Code: host, region, path, undpayload.

import boto3
import requests
from requests_aws4auth import AWS4Auth

host = '' # domain endpoint
region = '' # e.g. us-west-1
service = 'es'
credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token)

# Register repository

path = '/_snapshot/my-snapshot-repo-name' # the OpenSearch API endpoint
url = host + path

payload = {
  "type": "s3",
  "settings": {
    "bucket": "s3-bucket-name",
    "base_path": "my/snapshot/directory",
    "region": "us-west-1",
    "role_arn": "arn:aws:iam::123456789012:role/snapshot-role"
  }
}

headers = {"Content-Type": "application/json"}

r = requests.put(url, auth=awsauth, json=payload, headers=headers)

print(r.status_code)
print(r.text)

# # Take snapshot
#
# path = '/_snapshot/my-snapshot-repo-name/my-snapshot'
# url = host + path
#
# r = requests.put(url, auth=awsauth)
#
# print(r.text)
#
# # Delete index
#
# path = 'my-index'
# url = host + path
#
# r = requests.delete(url, auth=awsauth)
#
# print(r.text)
#
# # Restore snapshot (all indexes except Dashboards and fine-grained access control)
#
# path = '/_snapshot/my-snapshot-repo-name/my-snapshot/_restore'
# url = host + path
#
# payload = {
#   "indices": "-.kibana*,-.opendistro_security,-.opendistro-*",
#   "include_global_state": False
# }
#
# headers = {"Content-Type": "application/json"}
#
# r = requests.post(url, auth=awsauth, json=payload, headers=headers)
#
# print(r.text)
# 
# # Restore snapshot (one index)
#
# path = '/_snapshot/my-snapshot-repo-name/my-snapshot/_restore'
# url = host + path
#
# payload = {"indices": "my-index"}
#
# headers = {"Content-Type": "application/json"}
#
# r = requests.post(url, auth=awsauth, json=payload, headers=headers)
#
# print(r.text)

Manuelle Snapshots erstellen

Snapshots erfolgen nicht augenblicklich. Sie sind zeitaufwändig und stellen keine perfekte Ansicht des Clusters dar. point-in-time Während ein Snapshot erstellt wird, können Sie weiterhin Dokumente indizieren und andere Anfragen an den Cluster stellen, aber neue Dokumente und Aktualisierungen bestehender Dokumente werden nicht im Allgemeinen in den Snapshot aufgenommen. Der Snapshot enthält primäre Shards, so wie sie bei der OpenSearch Initiierung des Snapshots vorhanden waren. Je nach der Größe Ihres Snapshot-Thread-Pools umfassen die Snapshots ggf. verschiedene Shards zu geringfügig unterschiedlichen Zeitpunkten. Bewährte Methoden für Snapshots finden Sie unterVerbessern Sie die Snapshot-.

Snapshot-Speicher und -Leistung

OpenSearch Snapshots sind inkrementell, d. h. sie speichern nur Daten, die sich seit dem letzten erfolgreichen Snapshot geändert haben. Diese inkrementelle Beschaffenheit bedeutet, dass der Unterschied in der Festplattennutzung zwischen häufigen und seltenen Snapshots oft minimal ist. Mit anderen Worten, die Erstellung stündlicher Snapshots für eine Woche (mit insgesamt 168 Snapshots) verbraucht möglicherweise nicht viel mehr Speicherplatz als ein einzelner Snapshot am Ende der Woche. Und je häufiger Sie Snapshots erstellen, desto weniger Zeit nimmt ihre Fertigstellung in Anspruch. Tägliche Snapshots können beispielsweise 20–30 Minuten dauern, während stündliche Snapshots innerhalb weniger Minuten abgeschlossen sein können. Manche OpenSearch Benutzer machen Schnappschüsse bis zu jeder halben Stunde.

Aufnehmen eines Snapshots

Beim Erstellen eines Snapshots geben Sie die folgenden Informationen an:

In den Beispielen dieses Kapitels wird aufgrund der Einfachheit und Übersichtlichkeit der gängige HTTP-Client curl verwendet. Informationen zum Übergeben eines Benutzernamens und eines Passworts für Ihre Curl-Anfrage finden Sie im Tutorial Erste Schritte.

Wenn Ihre Zugriffsrichtlinien Benutzer oder Rollen angeben, müssen Sie Ihre Snapshot-Anfragen signieren. Für curl können Sie die --aws-sigv4Option mit Version 7.75.0 oder höher verwenden. Sie können auch die auskommentierten Beispiele im Python-Beispielclient verwenden, um signierte HTTP-Anfragen an dieselben Endpunkte zu stellen, die die curl-Befehle verwenden.

Führen Sie die folgenden Schritte aus, um einen manuellen Snapshot zu erstellen:

curl -XGET 'domain-endpoint/_snapshot/repository-name/_all?pretty'

Wiederherstellen von Snapshots

Bevor Sie einen Snapshot wiederherstellen, stellen Sie sicher, dass die Zieldomäne kein Multi-AZ mit Standby verwendet. Wenn Standby aktiviert ist, schlägt der Wiederherstellungsvorgang fehl.

Löschen von manuellen Snapshots

Führen Sie den folgenden Befehl aus, um einen manuellen Snapshot zu löschen:

DELETE _snapshot/repository-name/snapshot-name

Automatisieren von Snapshots mit Snapshot Management

Sie können in OpenSearch Dashboards eine Snapshot Management (SM) -Richtlinie einrichten, um das regelmäßige Erstellen und Löschen von Snapshots zu automatisieren. SM kann Snapshots von einer Gruppe von Indizes erstellen, wohingegen Index State Management nur einen Snapshot pro Index erstellen kann. Um SM in OpenSearch Service verwenden zu können, müssen Sie Ihr eigenes Amazon S3 S3-Repository registrieren. Anweisungen zur Registrierung Ihres Repositorys finden Sie unter Manuelles Snapshot-Repository registrieren.

Vor SM bot OpenSearch Service eine kostenlose, automatisierte Snapshot-Funktion an, die immer noch standardmäßig aktiviert ist. Diese Funktion sendet Snapshots an das vom Service verwaltete Repositorycs-*. Um die Funktion zu deaktivieren, wenden Sie sich an. AWS Support

Weitere Informationen zur SM-Funktion finden Sie in der OpenSearch Dokumentation unter Snapshot-Verwaltung.

SM unterstützt derzeit nicht die Erstellung von Snapshots für mehrere Indextypen. Wenn Sie beispielsweise versuchen, einen Snapshot für mehrere Indizes zu erstellen, wobei * sich einige Indizes in der Warm-Tier befinden, schlägt die Snapshot-Erstellung fehl. Wenn Ihr Snapshot mehrere Indextypen enthalten soll, verwenden Sie die ISM-Snapshot-Aktion, bis SM diese Option unterstützt.

Konfigurieren von Berechtigungen

Wenn Sie von einer früheren OpenSearch Service-Domain-Version auf 2.5 aktualisieren, sind die Sicherheitsberechtigungen für die Snapshot-Verwaltung möglicherweise nicht für die Domäne definiert. Benutzer ohne Administratorrechte müssen dieser Rolle zugeordnet werden, um die Snapshot-Verwaltung in Domänen mit detaillierter Zugriffskontrolle verwenden zu können. Gehen Sie wie folgt vor, um die Snapshot-Verwaltungsrolle manuell zu erstellen:

Überlegungen

Beachten Sie bei der Konfiguration der Snapshot-Verwaltung Folgendes:

Automatisieren von Snapshots mit Index-Statusmanagement

Sie können die Operation Index-Statusmanagement (ISM) snapshot verwenden, um automatisch Snapshots von Indizes basierend auf Änderungen des Alters, der Größe oder der Anzahl der Dokumente auszulösen. ISM eignet sich am besten, wenn Sie einen Snapshot pro Index benötigen. Informationen zum Erstellen eines Snapshots einer Gruppe von Indizes finden Sie unterAutomatisieren von Snapshots mit Snapshot Management.

Um SM in OpenSearch Service verwenden zu können, müssen Sie Ihr eigenes Amazon S3 S3-Repository registrieren. Ein Beispiel für eine Richtlinie, die den Vorgang snapshot verwendet, finden Sie unter Beispielrichtlinien.

Verwenden von Curator für Snapshots

Wenn ISM für die Index- und Snapshot-Verwaltung nicht funktioniert, können Sie stattdessen Curator verwenden. Es bietet eine erweiterte Filterfunktionalität zur Vereinfachung der Verwaltungsaufgaben auf komplexen Clustern. Verwenden Sie pip zum Installieren von Curator:

pip install elasticsearch-curator

Sie können Curator als Befehlszeilenschnittstelle (Command Line Interface, CLI) oder Python-API verwenden. Wenn Sie die Python-API verwenden, müssen Sie Version 7.13.4 oder früher des Legacy-elasticsearch-py-Clients verwenden. Sie unterstützt den opensearch-py-Client nicht.

Wenn Sie die CLI verwenden, exportieren Sie Ihre Anmeldeinformationen über die Befehlszeile und konfigurieren Sie curator.yml wie folgt:

client:
  hosts: search-my-domain.us-west-1.es.amazonaws.com
  port: 443
  use_ssl: True
  aws_region: us-west-1
  aws_sign_request: True
  ssl_no_validate: False
  timeout: 60

logging:
  loglevel: INFO