Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Automatische semantische Anreicherung für Amazon Service OpenSearch

Einführung

Amazon OpenSearch Service verwendet Wort-zu-Wort-Abgleich (lexikalische Suche), um Ergebnisse zu finden, ähnlich wie bei anderen herkömmlichen Suchmaschinen. Dieser Ansatz eignet sich gut für bestimmte Abfragen wie Produktcodes oder Modellnummern, hat jedoch Probleme mit abstrakten Suchanfragen, bei denen das Verständnis der Nutzerabsicht entscheidend ist. Wenn Sie beispielsweise nach „Schuhe für den Strand“ suchen, werden bei der lexikalischen Suche einzelne Wörter wie „Schuhe“, „Strand“, „für“ und „der“ in Katalogartikeln gefunden, sodass möglicherweise relevante Produkte wie „wasserfeste Sandalen“ oder „Surfschuhe“ fehlen, die nicht die exakten Suchbegriffe enthalten.

Die automatische semantische Anreicherung löst diese Einschränkung, indem sowohl die Treffer mit Schlüsselwörtern als auch die kontextuelle Bedeutung der Suchanfragen berücksichtigt werden. Diese Funktion versteht die Suchabsicht und verbessert die Suchrelevanz um bis zu 20%. Aktivieren Sie diese Funktion für Textfelder in Ihrem Index, um die Suchergebnisse zu verbessern.

Modelldetails und Leistungs-Benchmark

Diese Funktion bewältigt zwar die technische Komplexität hinter den Kulissen, ohne das zugrundeliegende Modell preiszugeben. Wir bieten jedoch Transparenz durch eine kurze Modellbeschreibung und Benchmark-Ergebnisse, damit Sie fundierte Entscheidungen über die Einführung von Funktionen bei Ihren kritischen Workloads treffen können.

Bei der automatischen semantischen Anreicherung wird ein vom Service verwaltetes, vorab trainiertes Sparse-Modell verwendet, das effektiv funktioniert, ohne dass eine individuelle Feinabstimmung erforderlich ist. Das Modell analysiert die von Ihnen angegebenen Felder und erweitert sie zu Vektoren mit geringer Dichte, die auf erlernten Assoziationen aus verschiedenen Trainingsdaten basieren. Die erweiterten Terme und ihre Signifikanzgewichte werden im systemeigenen Lucene-Indexformat gespeichert, sodass sie effizient abgerufen werden können. Wir haben diesen Prozess im Modus „Nur Dokumente“ optimiert, bei dem die Kodierung nur während der Datenaufnahme erfolgt. Suchanfragen werden lediglich tokenisiert und nicht im Rahmen des Sparse-Modells verarbeitet, wodurch die Lösung sowohl kostengünstig als auch leistungsstark ist.

Bei unserer Leistungsvalidierung während der Feature-Entwicklung wurde der MS MARCO-Datensatz zum Abrufen von Passagen verwendet, der Passagen mit durchschnittlich 334 Zeichen enthielt. Für die Relevanzbewertung haben wir den durchschnittlichen Normalized Discounted Cumulative Gain (NDCG) für die ersten 10 Suchergebnisse (ndcg @10) im https://github.com/beir-cellar/beir BEIR-Benchmark für englische Inhalte und den durchschnittlichen ndcg @10 auf MIRACL für mehrsprachige Inhalte gemessen. Wir haben die Latenz anhand von clientseitigen Messungen des 90-Perzentils (p90) bewertet, und bei der Suchantwort p90 wurden Werte gemessen. https://github.com/beir-cellar/beir Diese Benchmarks bieten grundlegende Leistungsindikatoren sowohl für die Suchrelevanz als auch für die Antwortzeiten. Hier sind die wichtigsten Benchmark-Zahlen —

Angesichts der Einzigartigkeit jedes Workloads empfehlen wir Ihnen, diese Funktion in Ihrer Entwicklungsumgebung anhand Ihrer eigenen Benchmarking-Kriterien zu evaluieren, bevor Sie Implementierungsentscheidungen treffen.

Unterstützte Sprachen

Die Funktion unterstützt Englisch. Darüber hinaus unterstützt das Modell auch Arabisch, Bengali, Chinesisch, Finnisch, Französisch, Hindi, Indonesisch, Japanisch, Koreanisch, Persisch, Russisch, Spanisch, Suaheli und Telugu.

Richten Sie einen automatischen Index zur semantischen Anreicherung für Domains ein

Das Einrichten eines Indexes mit aktivierter automatischer semantischer Anreicherung für Ihre Textfelder ist einfach. Sie können ihn bei der Erstellung eines neuen Indexes über die Konsole, APIs und CloudFormation Vorlagen verwalten. Um ihn für einen vorhandenen Index zu aktivieren, müssen Sie den Index neu erstellen, wobei die automatische semantische Anreicherung für Textfelder aktiviert ist.

Benutzererlebnis mit der Konsole — Mit der AWS Konsole können Sie auf einfache Weise einen Index mit Feldern für die automatische semantische Anreicherung erstellen. Sobald Sie eine Domain ausgewählt haben, finden Sie oben in der Konsole die Schaltfläche „Index erstellen“. Sobald Sie auf die Schaltfläche „Index erstellen“ klicken, finden Sie Optionen zum Definieren automatischer Felder für die semantische Anreicherung. In einem Index können Sie Kombinationen aus automatischer semantischer Anreicherung für englische und mehrsprachige Felder sowie lexikalische Felder verwenden.

API-Erfahrung — Verwenden Sie den Befehl create-index, um mithilfe der AWS Befehlszeilenschnittstelle (AWS CLI) einen automatischen Index für semantische Anreicherung zu erstellen:

aws opensearch create-index \
--domain-name [domain_name] \
--index-name [index_name] \
--index-schema [index_body] \
            

Im folgenden Beispiel für ein Indexschema hat das Feld title_semantic den Feldtyp Text und den Parameter semantic_enrichment hat den Status ENABLED. Durch das Setzen des Parameters semantic_enrichment wird die automatische semantische Anreicherung des Felds title_semantic aktiviert. Sie können das Feld language_options verwenden, um entweder Englisch oder anzugeben. MULTI-LINGUAL

    aws opensearch create-index \
    --id XXXXXXXXX \
    --index-name 'product-catalog' \
    --index-schema '{
    "mappings": {
        "properties": {
            "product_id": {
                "type": "keyword"
            },
            "title_semantic": {
                "type": "text",
                "semantic_enrichment": {
                    "status": "ENABLED",
                    "language_options": "english"
                }
            },
            "title_non_semantic": {
                "type": "text"
            }
        }
    }
}'
            

Verwenden Sie den folgenden Befehl, um den erstellten Index zu beschreiben:

aws opensearch get-index \
--domain-name [domain_name] \
--index-name [index_name] \
           

Aktualisieren Sie einen vorhandenen Index

Sie können einen vorhandenen Index aktualisieren, um neue Felder für die semantische Anreicherung hinzuzufügen, die semantische Anreicherung vorhandener Felder zu aktivieren oder zu deaktivieren oder nicht-semantische Textfelder hinzuzufügen. Verwenden Sie den update-index Befehl und geben Sie nur die Felder an, die Sie in der ändern möchten. index-schema Felder, die nicht in der Anfrage enthalten sind, bleiben unverändert.

Um einen Index mithilfe von zu aktualisieren AWS CLI, verwenden Sie den update-index folgenden Befehl:

aws opensearch update-index \
--domain-name [domain_name] \
--index-name [index_name] \
--index-schema [index_body]

Fügen Sie ein neues Feld für semantische Anreicherung hinzu

Sie können einem vorhandenen Index ein neues text Feld hinzufügen, für das die semantische Anreicherung aktiviert ist. Der Service richtet automatisch das erforderliche ML-Modell, die Ingest-Pipeline und die Suchpipeline ein. Neue Dokumente, die nach dem Update indexiert werden, werden automatisch angereichert.

aws opensearch update-index \
--domain-name my-domain \
--index-name product-catalog \
--index-schema '{
    "mappings": {
        "properties": {
            "description": {
                "type": "text",
                "semantic_enrichment": {
                    "status": "ENABLED",
                    "language_options": "english"
                }
            }
        }
    }
}'

Deaktivieren Sie die semantische Anreicherung für ein Feld

Um die semantische Anreicherung für ein Feld zu deaktivieren, für das sie derzeit aktiviert ist, setzen Sie auf. status DISABLED Das Feld wird aus den Ingest- und Such-Pipelines entfernt. Das zugrundeliegende Textfeld und das zugehörige Einbettungsfeld verbleiben im Index, werden aber nicht mehr angereichert.

aws opensearch update-index \
--domain-name my-domain \
--index-name product-catalog \
--index-schema '{
    "mappings": {
        "properties": {
            "title_semantic": {
                "type": "text",
                "semantic_enrichment": {
                    "status": "DISABLED"
                }
            }
        }
    }
}'

Einschränkungen aktualisieren

Die folgenden Operationen werden von Ihnen nicht unterstützt update-index und erfordern, dass Sie den Index löschen und neu erstellen:

Datenaufnahme und Suche

Sobald Sie einen Index mit aktivierter automatischer semantischer Anreicherung erstellt haben, funktioniert die Funktion automatisch während der Datenaufnahme, ohne dass eine zusätzliche Konfiguration erforderlich ist.

Datenaufnahme: Wenn Sie Dokumente zu Ihrem Index hinzufügen, geht das System automatisch wie folgt vor:

Bei diesem Prozess werden OpenSearch die integrierten ML-Konnektoren und Ingest-Pipelines verwendet, die im Hintergrund automatisch erstellt und verwaltet werden.

Suche: Die Daten zur semantischen Anreicherung sind bereits indexiert, sodass Abfragen effizient ausgeführt werden, ohne das ML-Modell erneut aufzurufen. Das bedeutet, dass Sie eine verbesserte Suchrelevanz ohne zusätzlichen Aufwand für die Suchlatenz erhalten.

Verwendung der automatischen semantischen Anreicherung mit VPC-Domänen

Die automatische semantische Anreicherung wird sowohl auf öffentlich zugänglichen als auch auf VPC-Zugangsdomänen unterstützt, auf denen OpenSearch Version 2.19 oder höher mit dem neuesten Servicesoftwareupdate ausgeführt wird.

Für VPC-Zugangsdomänen verwendet Amazon OpenSearch Service einen verwalteten Service, um das ML-Modell, die Ingest-Pipeline und die Suchpipeline bereitzustellen, die die semantische Anreicherung ermöglichen. Da eine VPC-Domain nicht öffentlich erreichbar ist, müssen Sie diesen verwalteten Service für den Zugriff auf Ihre Domain autorisieren, bevor Sie einen Index für semantische Anreicherung erstellen oder verwalten.

Autorisieren Sie den Principal der Servicefunktionen OpenSearch

Gewähren Sie den Zugriff mit der AuthorizeVpcEndpointAccess API und geben Sie features.opensearchservice.amazonaws.com als Dienstprinzipal Folgendes an:

aws opensearch authorize-vpc-endpoint-access \
  --domain-name domain-name \
  --service "features.opensearchservice.amazonaws.com" \
  --region region

Ein erfolgreicher Aufruf gibt Folgendes zurück:

{
    "AuthorizedPrincipal": {
        "PrincipalType": "AWS Service",
        "Principal": "features.opensearchservice.amazonaws.com"
    }
}

Sie müssen den Principal nur einmal pro Domain autorisieren. Dieser Schritt ist für öffentlich zugängliche Domains nicht erforderlich.

Wenn Sie versuchen, einen Indexvorgang zur semantischen Anreicherung (create-index, update-indexget-index, oderdelete-index) in einer VPC-Domäne durchzuführen, bevor Sie den Prinzipal autorisieren, schlägt der Vorgang fehl und es wird ein Fehler ähnlich dem folgenden angezeigt:

An error occurred (AccessDeniedException) when calling the GetIndex operation: This operation is not authorized for VPC domain. Please authorize 'features.opensearchservice.amazonaws.com' through the AuthorizeVpcEndpointAccess API.

Nachdem Sie den Prinzipal autorisiert haben, wiederholen Sie den Vorgang.

Konsolenerfahrung

Sie können die Autorisierung abschließen und direkt von der Konsole aus einen semantischen Anreicherungsindex für eine VPC-Domäne erstellen. Wählen Sie in der Amazon OpenSearch Service-Konsole Ihre VPC-Domain aus, um das Banner für die automatische semantische Anreicherung anzuzeigen, und wählen Sie dann Gehe zu Indizes, um den Tab Indizes zu öffnen.

Wenn der Principal der OpenSearch Servicefunktionen noch nicht für den Zugriff auf die Domain autorisiert wurde, wird auf der Registerkarte „Indizes“ statt der Schaltfläche „Index erstellen“ die Meldung „Zugriff verweigert“ angezeigt. Wählen Sie Authorize Principal, um die Registerkarte VPC-Endpoints zu öffnen.

Wählen Sie auf der Registerkarte VPC-Endpunkte die Option Principal autorisieren aus, wählen Sie Principals aus anderen AWS Diensten autorisieren und dann Service Features aus. OpenSearch Dies führt dieselbe Autorisierung durch wie die im vorherigen Abschnitt beschriebene AuthorizeVpcEndpointAccess API.

Kehren Sie zur Registerkarte „Indizes“ zurück. Die Schaltfläche Index erstellen ist jetzt verfügbar. Wählen Sie Index erstellen, um die Seite „Index erstellen“ zu öffnen, auf der Sie Ihre automatischen Felder für die semantische Anreicherung definieren und den Index für Ihre VPC-Domain erstellen können.

Konfiguration von Berechtigungen für die automatische semantische Anreicherung

Bevor Sie einen Index mit automatischer semantischer Anreicherung erstellen, müssen Sie die erforderlichen Berechtigungen konfigurieren. In diesem Abschnitt werden die Berechtigungen erläutert, die für verschiedene Indexoperationen erforderlich sind, und wie Sie sie sowohl für AWS Identity and Access Management (IAM) als auch für detaillierte Zugriffskontrollszenarien einrichten.

IAM-Berechtigungen

Die folgenden IAM-Berechtigungen sind für automatische semantische Anreicherungsvorgänge erforderlich. Diese Berechtigungen variieren je nach dem spezifischen Indexvorgang, den Sie ausführen möchten.

CreateIndex API-Berechtigungen

Um einen Index mit automatischer semantischer Anreicherung zu erstellen, benötigen Sie die folgenden IAM-Berechtigungen:

UpdateIndex API-Berechtigungen

Um einen vorhandenen Index mit automatischer semantischer Anreicherung zu aktualisieren, benötigen Sie die folgenden IAM-Berechtigungen:

GetIndex API-Berechtigungen

Um Informationen über einen Index mit automatischer semantischer Anreicherung abzurufen, benötigen Sie die folgenden IAM-Berechtigungen:

DeleteIndex API-Berechtigungen

Um einen Index mit automatischer semantischer Anreicherung zu löschen, benötigen Sie die folgenden IAM-Berechtigungen:

Beispiel einer IAM-Richtlinie

Das folgende Beispiel für eine identitätsbasierte Zugriffsrichtlinie bietet die Berechtigungen, die ein Benutzer zur Verwaltung von Indizes mit automatischer semantischer Anreicherung benötigt:

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "AllowSemanticEnrichmentIndexOperations",
            "Effect": "Allow",
            "Action": [
                "es:CreateIndex",
                "es:UpdateIndex",
                "es:GetIndex",
                "es:DeleteIndex",
                "es:ESHttpHead",
                "es:ESHttpGet",
                "es:ESHttpPut",
                "es:ESHttpPost",
                "es:ESHttpDelete"
            ],
            "Resource": "arn:aws:es:aws-region:111122223333:domain/domain-name"
        }
    ]
}

Ersetzen Sieaws-region, und domain-name durch 111122223333 Ihre spezifischen Werte. Sie können den Zugriff weiter einschränken, indem Sie bestimmte Indexmuster im Ressourcen-ARN angeben.

Fine-grained Zugriffssteuerungsberechtigungen

Wenn für Ihre Amazon OpenSearch Service-Domain eine feinkörnige Zugriffskontrolle aktiviert ist, benötigen Sie neben den IAM-Berechtigungen zusätzliche Berechtigungen.

Domänen, die am oder nach dem 12. August 2026 erstellt wurden, enthalten eine vordefinierte, fein abgestufte Zugriffskontrollrolleautomatic_semantic_enrichment_full_access, die die für die Verwaltung von Indizes zur semantischen Anreicherung erforderlichen Berechtigungen gewährt. Wenn Ihre Domain eine feinkörnige Zugriffskontrolle verwendet, ordnen Sie Ihre Benutzer- oder Backend-Rolle der Rolle zu, automatic_semantic_enrichment_full_access anstatt die einzelnen Cluster- und Indexberechtigungen manuell zuzuweisen.

Wenn Ihre Domain vor diesem Datum erstellt wurde, verwenden Sie die in den folgenden Abschnitten beschriebenen detaillierten Zugriffsberechtigungen. Die folgenden Berechtigungen sind für jeden Indexvorgang erforderlich.

CreateIndex API-Berechtigungen

Wenn die feingranulare Zugriffskontrolle aktiviert ist, sind die folgenden zusätzlichen Berechtigungen erforderlich, um einen Index mit automatischer semantischer Anreicherung zu erstellen:

UpdateIndex API-Berechtigungen

Wenn die feingranulare Zugriffskontrolle aktiviert ist, sind die folgenden zusätzlichen Berechtigungen erforderlich, um einen Index mit automatischer semantischer Anreicherung zu aktualisieren:

GetIndex API-Berechtigungen

Wenn die feingranulare Zugriffskontrolle aktiviert ist, sind die folgenden zusätzlichen Berechtigungen erforderlich, um Informationen über einen Index mit automatischer semantischer Anreicherung abzurufen:

DeleteIndex API-Berechtigungen

Wenn die feingranulare Zugriffskontrolle aktiviert ist, ist die folgende zusätzliche Berechtigung erforderlich, um einen Index mit automatischer semantischer Anreicherung zu löschen:

Die Abfrage wird neu geschrieben

Die automatische semantische Anreicherung wandelt Ihre vorhandenen „Match“ -Abfragen automatisch in semantische Suchanfragen um, ohne dass Änderungen an der Abfrage erforderlich sind. Wenn eine Übereinstimmungsabfrage Teil einer zusammengesetzten Abfrage ist, durchläuft das System Ihre Abfragestruktur, findet Übereinstimmungsabfragen und ersetzt sie durch neuronale Abfragen mit geringer Dichte. Derzeit unterstützt die Funktion nur das Ersetzen von „Match“ -Abfragen, unabhängig davon, ob es sich um eine eigenständige Abfrage oder um einen Teil einer zusammengesetzten Abfrage handelt. „multi_match“ wird nicht unterstützt. Darüber hinaus unterstützt die Funktion alle zusammengesetzten Abfragen, um ihre verschachtelten Übereinstimmungsabfragen zu ersetzen. Zu den zusammengesetzten Abfragen gehören: bool, boost, constant_score, dis_max, function_score und hybrid.

Einschränkungen der automatischen semantischen Anreicherung

Die automatische semantische Suche ist am effektivsten, wenn sie auf kleine bis mittelgroße Felder angewendet wird, die Inhalte in natürlicher Sprache wie Filmtitel, Produktbeschreibungen, Rezensionen und Zusammenfassungen enthalten. Obwohl die semantische Suche in den meisten Anwendungsfällen die Relevanz erhöht, ist sie für bestimmte Szenarien möglicherweise nicht optimal. Beachten Sie die folgenden Einschränkungen, wenn Sie entscheiden, ob Sie die automatische semantische Anreicherung für Ihren speziellen Anwendungsfall implementieren möchten.

Preisgestaltung

Amazon OpenSearch Service berechnet die automatische semantische Anreicherung auf der Grundlage von OpenSearch Recheneinheiten (OCUs), die bei der Generierung von Vektoren mit geringer Dichte zum Zeitpunkt der Indizierung verbraucht werden. Für die Textfelder, für die Sie die automatische semantische Anreicherung aktiviert haben, wird Ihnen während der Indizierung nur die tatsächliche Nutzung in Rechnung gestellt. Eine OCU für die semantische Suche kann 11,1 Millionen Token für englische Inhalte verarbeiten. Um 2,4 Milliarden Token zu verarbeiten, benötigen Sie etwa 216 Semantic Search OCU-hours (2,4 Milliarden/11,10 Millionen). Bei einem Preis von 0,24$ pro Semantic Search OCU-hour würden sich die Kosten für die Verarbeitung von 10 GB an Daten für die automatische semantische Suche auf 51$ (216 x 0$) belaufen. OCU-hours 24/OCU-Stunde). Bei Suchvorgängen oder für die Datenspeicherung fallen keine zusätzlichen OCU-Gebühren für die semantische Suche an.

Sie können diesen Verbrauch mithilfe der CloudWatch Amazon-Metrik überwachen. SemanticSearchOCU Genauere Informationen zu den Grenzwerten für Modell-Tokens, zum Volumendurchsatz pro OCU und ein Beispiel für eine Beispielberechnung finden Sie unter OpenSearch Servicepreise.

Unterstützt AWS-Regionen

Die automatische semantische Anreicherung ist in den folgenden Bereichen verfügbar: AWS-Regionen