Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Arricchimento semantico automatico per Amazon Service OpenSearch

Introduzione

Amazon OpenSearch Service utilizza la corrispondenza parola per parola (ricerca lessicale) per trovare risultati, in modo simile ad altri motori di ricerca tradizionali. Questo approccio funziona bene per domande specifiche come codici di prodotto o numeri di modello, ma ha difficoltà con le ricerche astratte in cui la comprensione delle intenzioni dell'utente diventa fondamentale. Ad esempio, quando cerchi «scarpe per la spiaggia», la ricerca lessicale trova singole parole «scarpe», «spiaggia», «per» e «il» presenti negli articoli del catalogo, e potenzialmente mancano prodotti pertinenti come «sandali impermeabili» o «calzature da surf» che non contengono i termini di ricerca esatti.

L'arricchimento semantico automatico risolve questa limitazione considerando sia le corrispondenze delle parole chiave sia il significato contestuale alla base delle ricerche. Questa funzionalità comprende l'intento di ricerca e migliora la pertinenza della ricerca fino al 20%. Attiva questa funzionalità per i campi di testo dell'indice per migliorare i risultati della ricerca.

Dettagli del modello e benchmark delle prestazioni

Sebbene questa funzionalità gestisca le complessità tecniche dietro le quinte senza esporre il modello sottostante, forniamo trasparenza attraverso una breve descrizione del modello e i risultati dei benchmark per aiutarvi a prendere decisioni informate sull'adozione delle funzionalità nei vostri carichi di lavoro critici.

L'arricchimento semantico automatico utilizza un modello sparso pre-addestrato e gestito dai servizi che funziona in modo efficace senza richiedere una messa a punto personalizzata. Il modello analizza i campi specificati, espandendoli in vettori sparsi in base alle associazioni apprese da diversi dati di addestramento. I termini estesi e i relativi pesi di significatività sono memorizzati nel formato di indice Lucene nativo per un recupero efficiente. Abbiamo ottimizzato questo processo utilizzando la modalità solo documento, in cui la codifica avviene solo durante l'inserimento dei dati. Le query di ricerca vengono semplicemente tokenizzate anziché elaborate attraverso il modello sparse, rendendo la soluzione economica e performante.

La nostra convalida delle prestazioni durante lo sviluppo delle funzionalità ha utilizzato il set di dati MS MARCO Passage Retrieval, con passaggi con una media di 334 caratteri. Per il punteggio di pertinenza, abbiamo misurato il guadagno cumulativo scontato normalizzato medio (NDCG) per i primi 10 risultati di ricerca (ndcg @10) sul benchmark BEIR per i contenuti in inglese e il valore medio di ndcg @10 su MIRACL per i contenuti multilingue. https://github.com/beir-cellar/beir Abbiamo valutato la latenza mediante misurazioni del 90° percentile (p90) sul lato client e i valori della risposta di ricerca p90 hanno assunto valori. https://github.com/beir-cellar/beir Questi benchmark forniscono indicatori di performance di base sia per la pertinenza della ricerca che per i tempi di risposta. Ecco i numeri chiave dei benchmark:

Data la natura unica di ogni carico di lavoro, ti invitiamo a valutare questa funzionalità nel tuo ambiente di sviluppo utilizzando i tuoi criteri di benchmarking prima di prendere decisioni di implementazione.

Lingue supportate

La funzione supporta l'inglese. Inoltre, il modello supporta anche arabo, bengalese, cinese, finlandese, francese, hindi, indonesiano, giapponese, coreano, persiano, russo, spagnolo, swahili e telugu.

Imposta un indice di arricchimento semantico automatico per i domini

Configurare un indice con l'arricchimento semantico automatico abilitato per i campi di testo è semplice e puoi gestirlo tramite la console, le API e CloudFormation i modelli durante la creazione di un nuovo indice. Per abilitarlo per un indice esistente, è necessario ricrearlo con l'arricchimento semantico automatico abilitato per i campi di testo.

Esperienza da console: la AWS console consente di creare facilmente un indice con campi di arricchimento semantico automatico. Una volta selezionato un dominio, troverai il pulsante di creazione dell'indice nella parte superiore della console. Dopo aver fatto clic sul pulsante di creazione dell'indice, troverai le opzioni per definire i campi di arricchimento semantico automatico. In un indice, puoi avere combinazioni di arricchimento semantico automatico per l'inglese e multilingue, oltre ai campi lessicali.

Esperienza API: per creare un indice di arricchimento semantico automatico utilizzando l'interfaccia a riga di AWS comando (AWS CLI), usa il comando create-index:

aws opensearch create-index \
--domain-name [domain_name] \
--index-name [index_name] \
--index-schema [index_body] \
            

Nel seguente esempio index-schema, il campo title_semantic ha un tipo di campo impostato su testo e il parametro semantic_richment è impostato sullo stato ENABLED. L'impostazione del parametro semantic_richment abilita l'arricchimento semantico automatico sul campo title_semantic. È possibile utilizzare il campo language_options per specificare l'inglese o. MULTI-LINGUAL

    aws opensearch create-index \
    --id XXXXXXXXX \
    --index-name 'product-catalog' \
    --index-schema '{
    "mappings": {
        "properties": {
            "product_id": {
                "type": "keyword"
            },
            "title_semantic": {
                "type": "text",
                "semantic_enrichment": {
                    "status": "ENABLED",
                    "language_options": "english"
                }
            },
            "title_non_semantic": {
                "type": "text"
            }
        }
    }
}'
            

Per descrivere l'indice creato, utilizzate il seguente comando:

aws opensearch get-index \
--domain-name [domain_name] \
--index-name [index_name] \
           

Aggiornare un indice esistente

Puoi aggiornare un indice esistente per aggiungere nuovi campi di arricchimento semantico, abilitare o disabilitare l'arricchimento semantico sui campi esistenti o aggiungere campi di testo non semantici. Usa il update-index comando e fornisci solo i campi che desideri modificare in. index-schema I campi non inclusi nella richiesta rimangono invariati.

Per aggiornare un indice usando il AWS CLI, usa il update-index comando:

aws opensearch update-index \
--domain-name [domain_name] \
--index-name [index_name] \
--index-schema [index_body]

Aggiungi un nuovo campo di arricchimento semantico

Puoi aggiungere un nuovo text campo con l'arricchimento semantico abilitato a un indice esistente. Il servizio imposta automaticamente il modello ML, la pipeline di ingest e la pipeline di ricerca richiesti. I nuovi documenti indicizzati dopo l'aggiornamento vengono arricchiti automaticamente.

aws opensearch update-index \
--domain-name my-domain \
--index-name product-catalog \
--index-schema '{
    "mappings": {
        "properties": {
            "description": {
                "type": "text",
                "semantic_enrichment": {
                    "status": "ENABLED",
                    "language_options": "english"
                }
            }
        }
    }
}'

Disattiva l'arricchimento semantico su un campo

Per disattivare l'arricchimento semantico su un campo in cui è attualmente abilitato, imposta su. status DISABLED Il campo viene rimosso dalle pipeline di inserimento e ricerca. Il campo di testo sottostante e il relativo campo di incorporamento rimangono nell'indice ma non vengono più arricchiti.

aws opensearch update-index \
--domain-name my-domain \
--index-name product-catalog \
--index-schema '{
    "mappings": {
        "properties": {
            "title_semantic": {
                "type": "text",
                "semantic_enrichment": {
                    "status": "DISABLED"
                }
            }
        }
    }
}'

Limitazioni all'aggiornamento

Le seguenti operazioni non sono supportate update-index e richiedono l'eliminazione e la ricreazione dell'indice:

Inserimento e ricerca di dati

Una volta creato un indice con l'arricchimento semantico automatico abilitato, la funzionalità funziona automaticamente durante il processo di inserimento dei dati, non è richiesta alcuna configurazione aggiuntiva.

Inserimento dati: quando aggiungi documenti all'indice, il sistema:

Questo processo utilizza i OpenSearch connettori ML integrati e le pipeline di acquisizione, che vengono create e gestite automaticamente dietro le quinte.

Ricerca: i dati di arricchimento semantico sono già indicizzati, quindi le query vengono eseguite in modo efficiente senza richiamare nuovamente il modello ML. Ciò significa che ottieni una maggiore pertinenza della ricerca senza ulteriori costi di latenza di ricerca.

Utilizzo dell'arricchimento semantico automatico con i domini VPC

L'arricchimento semantico automatico è supportato sia sui domini di accesso pubblico che su quelli di accesso VPC che eseguono la OpenSearch versione 2.19 o successiva con l'ultimo aggiornamento del software di servizio.

Per i domini di accesso VPC, Amazon OpenSearch Service utilizza un servizio gestito per fornire il modello ML, la pipeline di ingest e la pipeline di ricerca che alimentano l'arricchimento semantico. Poiché un dominio VPC non è raggiungibile pubblicamente, devi autorizzare questo servizio gestito ad accedere al tuo dominio prima di creare o gestire un indice di arricchimento semantico.

Autorizza le funzionalità principali del servizio OpenSearch

Concedi l'accesso con l'AuthorizeVpcEndpointAccessAPI, specificando features.opensearchservice.amazonaws.com come principale del servizio:

aws opensearch authorize-vpc-endpoint-access \
  --domain-name domain-name \
  --service "features.opensearchservice.amazonaws.com" \
  --region region

Una chiamata andata a buon fine restituisce:

{
    "AuthorizedPrincipal": {
        "PrincipalType": "AWS Service",
        "Principal": "features.opensearchservice.amazonaws.com"
    }
}

È necessario autorizzare il principale una sola volta per dominio. Questo passaggio non è richiesto per i domini ad accesso pubblico.

Se si tenta di eseguire un'operazione di indice di arricchimento semantico (create-index, update-indexget-index, odelete-index) su un dominio VPC prima di autorizzare l'entità principale, l'operazione non riesce e si verifica un errore simile al seguente:

An error occurred (AccessDeniedException) when calling the GetIndex operation: This operation is not authorized for VPC domain. Please authorize 'features.opensearchservice.amazonaws.com' through the AuthorizeVpcEndpointAccess API.

Dopo aver autorizzato l'entità principale, riprova l'operazione.

Esperienza della console

Puoi completare l'autorizzazione e creare un indice di arricchimento semantico per un dominio VPC direttamente dalla console. Nella console Amazon OpenSearch Service, seleziona il tuo dominio VPC per visualizzare il banner di arricchimento semantico automatico, quindi scegli Vai agli indici per aprire la scheda Indici.

Se il responsabile delle caratteristiche del OpenSearch servizio non è ancora stato autorizzato ad accedere al dominio, la scheda Indici mostra un messaggio di accesso negato invece del pulsante Crea indice. Scegli Authorize Principal per aprire la scheda Endpoint VPC.

Nella scheda Endpoint VPC, scegli Autorizza principale, seleziona Autorizza destinatari da altri servizi e scegli Caratteristiche del servizio. AWS OpenSearch Questa operazione esegue la stessa autorizzazione dell'AuthorizeVpcEndpointAccessAPI descritta nella sezione precedente.

Torna alla scheda Indici. Il pulsante Crea indice è ora disponibile. Scegli Crea indice per aprire la pagina di creazione dell'indice, in cui puoi definire i campi di arricchimento semantico automatico e creare l'indice per il tuo dominio VPC.

Configurazione delle autorizzazioni per l'arricchimento semantico automatico

Prima di creare un indice con arricchimento semantico automatico, devi configurare le autorizzazioni richieste. Questa sezione spiega le autorizzazioni necessarie per le diverse operazioni sugli indici e come impostarle sia per scenari di controllo degli accessi AWS Identity and Access Management (IAM) che per scenari di controllo degli accessi granulari.

autorizzazioni IAM

Le seguenti autorizzazioni IAM sono necessarie per le operazioni di arricchimento semantico automatico. Queste autorizzazioni variano a seconda della specifica operazione di indicizzazione che si desidera eseguire.

CreateIndex Autorizzazioni API

Per creare un indice con arricchimento semantico automatico, sono necessarie le seguenti autorizzazioni IAM:

UpdateIndex Autorizzazioni API

Per aggiornare un indice esistente con l'arricchimento semantico automatico, sono necessarie le seguenti autorizzazioni IAM:

GetIndex Autorizzazioni API

Per recuperare informazioni su un indice con arricchimento semantico automatico, sono necessarie le seguenti autorizzazioni IAM:

DeleteIndex Autorizzazioni API

Per eliminare un indice con arricchimento semantico automatico, sono necessarie le seguenti autorizzazioni IAM:

Policy IAM di esempio

Il seguente esempio di politica di accesso basata sull'identità fornisce le autorizzazioni necessarie a un utente per gestire gli indici con arricchimento semantico automatico:

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "AllowSemanticEnrichmentIndexOperations",
            "Effect": "Allow",
            "Action": [
                "es:CreateIndex",
                "es:UpdateIndex",
                "es:GetIndex",
                "es:DeleteIndex",
                "es:ESHttpHead",
                "es:ESHttpGet",
                "es:ESHttpPut",
                "es:ESHttpPost",
                "es:ESHttpDelete"
            ],
            "Resource": "arn:aws:es:aws-region:111122223333:domain/domain-name"
        }
    ]
}

Sostituisci aws-region e con i tuoi valori specifici. 111122223333 domain-name È possibile limitare ulteriormente l'accesso specificando particolari modelli di indice nell'ARN della risorsa.

Fine-grained autorizzazioni di controllo degli accessi

Se nel tuo dominio Amazon OpenSearch Service è abilitato il controllo granulare degli accessi, hai bisogno di autorizzazioni aggiuntive oltre a quelle IAM.

I domini creati a partire dal 12 agosto 2026 includono un ruolo di controllo degli accessi granulare predefinito, che concede le autorizzazioni necessarie per gestire gli indici di arricchimento automatic_semantic_enrichment_full_access semantico. Se il tuo dominio utilizza un controllo degli accessi granulare, associa il tuo ruolo utente o backend a invece di assegnare manualmente le autorizzazioni ai singoli cluster e agli indici. automatic_semantic_enrichment_full_access

Se il dominio è stato creato prima di questa data, utilizza le autorizzazioni granulari di controllo degli accessi descritte nelle sezioni seguenti. Le seguenti autorizzazioni sono necessarie per ogni operazione di indicizzazione.

CreateIndex Autorizzazioni API

Quando il controllo granulare degli accessi è abilitato, sono necessarie le seguenti autorizzazioni aggiuntive per creare un indice con arricchimento semantico automatico:

UpdateIndex Autorizzazioni API

Quando il controllo granulare degli accessi è abilitato, sono necessarie le seguenti autorizzazioni aggiuntive per aggiornare un indice con arricchimento semantico automatico:

GetIndex Autorizzazioni API

Quando il controllo granulare degli accessi è abilitato, sono necessarie le seguenti autorizzazioni aggiuntive per recuperare informazioni su un indice con arricchimento semantico automatico:

DeleteIndex Autorizzazioni API

Quando il controllo granulare degli accessi è abilitato, è necessaria la seguente autorizzazione aggiuntiva per eliminare un indice con arricchimento semantico automatico:

Riscritture delle interrogazioni

L'arricchimento semantico automatico converte automaticamente le query «match» esistenti in query di ricerca semantica senza richiedere modifiche alle query. Se una match query fa parte di una query composta, il sistema attraversa la struttura della query, trova le query con corrispondenza e le sostituisce con query neurali sparse. Attualmente, la funzionalità supporta solo la sostituzione delle query «match», indipendentemente dal fatto che si tratti di una query autonoma o parte di una query composta. «multi_match» non è supportato. Inoltre, la funzionalità supporta tutte le query composte per sostituire le query di corrispondenza annidate. Le query composte includono: bool, boosting, constant_score, dis_max, function_score e hybrid.

Limitazioni dell'arricchimento semantico automatico

La ricerca semantica automatica è più efficace se applicata a campi di piccole e medie dimensioni contenenti contenuti in linguaggio naturale, come titoli di film, descrizioni di prodotti, recensioni e riassunti. Sebbene la ricerca semantica aumenti la pertinenza per la maggior parte dei casi d'uso, potrebbe non essere ottimale per determinati scenari. Considerate le seguenti limitazioni quando decidete se implementare l'arricchimento semantico automatico per il vostro caso d'uso specifico.

Prezzi

Amazon OpenSearch Service fattura l'arricchimento semantico automatico in base alle unità di OpenSearch calcolo (OCU) consumate durante la generazione di vettori sparsi in fase di indicizzazione. Ti verrà addebitato solo l'utilizzo effettivo durante l'indicizzazione dei campi di testo in cui hai abilitato l'arricchimento semantico automatico. Una OCU di ricerca semantica può elaborare 11,1 milioni di token per contenuti in inglese. Per elaborare 2,4 miliardi di token, occorrono circa 216 Semantic Search OCU-hours (2,4 miliardi/11,10 milioni). Con un prezzo di 0,24 dollari per Semantic Search OCU-hour, il costo per l'elaborazione di 10 GB di dati per la ricerca semantica automatica sarebbe di 51 USD (216 x 0 USD). OCU-hours 24/OCU-ora). Non sono previsti costi aggiuntivi per l'OCU di Semantic Search durante le operazioni di ricerca o per l'archiviazione dei dati.

Puoi monitorare questo consumo utilizzando la metrica di Amazon CloudWatch . SemanticSearchOCU Per dettagli specifici sui limiti dei token del modello, sul throughput del volume per OCU e un esempio di calcolo, visita OpenSearch Service Pricing.

Supportata Regioni AWS

L'arricchimento semantico automatico è disponibile nei seguenti campi: Regioni AWS