Amazon Kendra Classificazione intelligente per l'autogestione OpenSearch

Configurazione OpenSearch (autogestita) con il plug-in Intelligent Ranking (configurazione rapida)

Se stai già utilizzando l'immagine Dockeropensearch:2.4.0, puoi utilizzare questo Dockerfile per creare una nuova immagine di OpenSearch 2.4.0 con il plug-in Intelligent Ranking. Includi un contenitore per la nuova immagine nel file docker-compose.yml o nel file opensearch.yml. Includi anche l'ID del piano di esecuzione di rescore generato dalla creazione di un piano di esecuzione di rescore, insieme alle informazioni sulla regione e sull'endpoint. Vedi il passaggio 2 per creare un piano di esecuzione di rescore.

Se in precedenza hai scaricato una versione dell'immagine opensearch Docker precedente alla 2.4.0, devi utilizzare l'immagine Docker opensearch:2.4.0 o una versione successiva e creare una nuova immagine con il plug-in Intelligent Ranking incluso.

1. Scarica e installa Docker Desktop per il tuo sistema operativo. Docker Desktop include Docker Compose e Docker Engine. Si consiglia di verificare se il computer soddisfa i requisiti di sistema indicati nei dettagli di installazione di Docker.

   Puoi anche aumentare i requisiti di utilizzo della memoria all'interno delle impostazioni del tuo Docker Desktop. Sei responsabile dei requisiti di utilizzo di Docker al di fuori dei limiti di utilizzo disponibili gratuitamente per i servizi Docker. Vedi gli abbonamenti Docker.

   Verifica che lo stato di Docker Desktop sia «in esecuzione».

2. Fornisci Amazon Kendra Intelligent Ranking e i tuoi requisiti di capacità. Una volta effettuato il provisioning di Amazon Kendra Intelligent Ranking, ti verrà addebitato ogni ora in base alle unità di capacità impostate. Consulta le informazioni sul piano gratuito e sui prezzi.

   Utilizzi l'CreateRescoreExecutionPlanAPI per fornire ilRescore API. Se non hai bisogno di più unità di capacità rispetto alla singola unità predefinita, non aggiungere altre unità e fornisci solo un nome per il tuo piano di esecuzione di rescore. Puoi anche aggiornare i requisiti di capacità utilizzando l'UpdateRescoreExecutionPlanAPI. Per ulteriori informazioni, consulta Classificazione semantica dei risultati di un servizio di ricerca.

   Facoltativamente, puoi andare al passaggio 3 per creare un piano di esecuzione di rescore predefinito quando esegui lo script Bash di avvio rapido.

   Nota per il passaggio 4 l'ID del piano di esecuzione di rescore incluso nella risposta.

   CLI

   aws kendra-ranking create-rescore-execution-plan \
     --name MyRescoreExecutionPlan \ 
     --capacity-units '{"RescoreCapacityUnits":<integer number of additional capacity units>}'
    
   Response:
    
   {
       "Id": "<rescore execution plan ID>",
       "Arn": "arn:aws:kendra-ranking:<region>:<account-id>:rescore-execution-plan/<rescore-execution-plan-id>"
   }

   Python

   import boto3
   from botocore.exceptions import ClientError
   import pprint
   import time
   
   kendra_ranking = boto3.client("kendra-ranking")
   
   print("Create a rescore execution plan.")
   
   # Provide a name for the rescore execution plan
   name = "MyRescoreExecutionPlan"
   # Set your required additional capacity units
   # Don't set capacity units if you don't require more than 1 unit given by default
   capacity_units = 1
   
   try:
       rescore_execution_plan_response = kendra_ranking.create_rescore_execution_plan(
           Name = name,
           CapacityUnits = {"RescoreCapacityUnits":capacity_units}
       )
   
       pprint.pprint(rescore_execution_plan_response)
   
       rescore_execution_plan_id = rescore_execution_plan_response["Id"]
   
       print("Wait for Amazon Kendra to create the rescore execution plan.")
   
       while True:
           # Get the details of the rescore execution plan, such as the status
           rescore_execution_plan_description = kendra_ranking.describe_rescore_execution_plan(
               Id = rescore_execution_plan_id
           )
           # When status is not CREATING quit.
           status = rescore_execution_plan_description["Status"]
           print(" Creating rescore execution plan. Status: "+status)
           time.sleep(60)
           if status != "CREATING":
               break
   
   except ClientError as e:
           print("%s" % e)
   
   print("Program ends.")

   anchoranchor
   • CLI
   • Python

   aws kendra-ranking create-rescore-execution-plan \
     --name MyRescoreExecutionPlan \ 
     --capacity-units '{"RescoreCapacityUnits":<integer number of additional capacity units>}'
    
   Response:
    
   {
       "Id": "<rescore execution plan ID>",
       "Arn": "arn:aws:kendra-ranking:<region>:<account-id>:rescore-execution-plan/<rescore-execution-plan-id>"
   }

3. Scarica lo script Bash di avvio rapido da GitHub per la tua versione di OpenSearch selezionando il ramo della versione dal menu a discesa del ramo principale.

   Questo script utilizza immagini Docker OpenSearch e OpenSearch dashboard che utilizzano la versione selezionata nel GitHub repository per lo script. Scarica un file zip per il plug-in Intelligent Ranking e genera un file Dockerfile per creare una nuova immagine Docker OpenSearch che includa il plug-in. Crea anche un file docker-compose.yml che include contenitori per il plug-in Intelligent Ranking e OpenSearch le dashboard. OpenSearch Lo script aggiunge l'ID del piano di esecuzione di rescore, le informazioni sulla regione e l'endpoint (utilizza la regione) al file docker-compose.yml. Lo script viene quindi eseguito docker-compose up per avviare i contenitori per Intelligent Ranking incluso e Dashboards. OpenSearch OpenSearch Per fermare i contenitori senza rimuoverli, docker-compose stop esegui. Per rimuovere i contenitori, eseguidocker-compose down.

4. Apri il tuo terminale e nella directory dello script Bash, esegui il seguente comando.

   bash search_processing_kendra_quickstart.sh -p <execution-plan-id> -r <region>

   Quando esegui questo comando, fornisci l'ID del piano di esecuzione di rescore che hai annotato nel passaggio 2 durante il provisioning di Amazon Kendra Intelligent Ranking, insieme alle informazioni sulla tua regione. Facoltativamente, puoi invece fornire Amazon Kendra Intelligent Ranking utilizzando l'opzione. --create-execution-plan Questo crea un piano di esecuzione di rescore con un nome e una capacità predefiniti.

   Per non perdere l'indice quando il contenitore temporaneo predefinito viene rimosso, puoi fare in modo che l'indice persista tra le esecuzioni fornendo il nome del volume di dati utilizzando l'opzione. --volume-name Se in precedenza hai creato un indice, puoi specificare il volume nel tuo file docker-compose.yml o opensearch.yml. Per lasciare docker-compose down -vintatti i volumi, non eseguirli.

   Lo script Bash di avvio rapido configura AWS le credenziali nel OpenSearch keystore per la connessione a Intelligent Ranking. Amazon Kendra Per fornire le AWS credenziali allo script, utilizzate l'--profileopzione per specificare il profilo. AWS Se l'--profileopzione non è specificata, lo script Bash di avvio rapido tenta di leggere AWS le credenziali (chiave di accesso/segreta, token di sessione opzionale) dalle variabili di ambiente e quindi dal profilo predefinito. AWS Se l'--profileopzione non è specificata e non viene trovata alcuna credenziale, lo script non passerà le credenziali al keystore. OpenSearch Se non viene specificata alcuna credenziale nel OpenSearch keystore, il plug-in controlla comunque le credenziali nella catena di provider di credenziali di default, incluse le credenziali del Amazon ECS contenitore o le credenziali del profilo di istanza fornite tramite il servizio di metadati. Amazon EC2

   Assicurati di aver creato un IAM ruolo con le autorizzazioni necessarie per richiamare Intelligent Ranking. Amazon Kendra Di seguito è riportato un esempio di IAM politica per concedere l'autorizzazione all'uso dell'RescoreAPI per uno specifico piano di esecuzione di rescore:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "kendra-ranking:Rescore",
               "Resource": "arn:aws:kendra-ranking:${Region}:${Account}:rescore-execution-plan/${RescoreExecutionPlanId}"
           }
       ]
   }

Confronto dei risultati della ricerca nelle dashboard OpenSearch

1. Apri http://localhost:5601 e accedi a OpenSearch Dashboards. Le credenziali predefinite sono il nome utente 'admin' e la password 'admin'.

2. Seleziona Search Relevance dai OpenSearch plugin nel menu di navigazione.

3. Inserisci il testo da cercare nella barra di ricerca.

4. Seleziona il tuo indice per Query 1 e inserisci una query in OpenSearch Query DSL. È possibile utilizzare la %SearchText% variabile per fare riferimento al testo di ricerca immesso nella barra di ricerca. Per un esempio di questa query, consulta OpenSearch Documentazione. I risultati restituiti per questa query sono i OpenSearch risultati senza utilizzare il plug-in Intelligent Ranking.

5. Seleziona lo stesso indice per Query 2 e inserisci la stessa query in OpenSearch Query DSL. Inoltre, includi l'estensione kendra_intelligent_ranking e specifica l'elemento obbligatorio in base al quale body_field classificare. Puoi anche specificare il campo del titolo, ma il campo del corpo è obbligatorio. Per un esempio di questa query, vedi OpenSearch Documentazione. I risultati restituiti per questa query sono i risultati Amazon Kendra riclassificati utilizzando il plug-in Intelligent Ranking. Il plugin classifica fino a 25 risultati.

6. Seleziona Cerca per restituire e confrontare i risultati.