Amazon Kendra 自我管理的智能排名 OpenSearch

使用智能排名插件进行设置 OpenSearch （自我管理）（快速设置）

如果你已经在使用 Docker 镜像opensearch:2.4.0，你可以使用这个 Dockerfile 通过智能排名插件构建 OpenSearch 2.4.0 的新镜像。在 docker-compose.yml 文件或 opensearch.yml 文件中包含一个用于存放新映像的容器。您还需要包含在创建重新评分执行计划时生成的重新评分执行计划 ID，以及您的区域和端点信息，请参阅有关创建重新分数执行计划的步骤 2。

如果您之前下载的 opensearch Docker 映像版本低于 2.4.0，则必须使用 Docker 映像 opensearch:2.4.0 或更高版本，并使用随附的智能排名插件构建新映像。

1. 下载并安装适用于您的操作系统的 Docker 桌面。Docker 桌面包括 Docker Compose 和 Docker 引擎。建议检查您的计算机是否满足 Docker 安装详细信息中所述的系统要求。

   您还可以在 Docker 桌面的设置中提高内存使用要求。超出免费提供的 Docker 服务使用限制后，您应对 Docker 的使用要求负责。请参阅 Docker 订阅。

   检查 Docker 桌面状态是否为“正在运行”。

2. 配置 Amazon Kendra 智能排名和您的容量需求。预配 Amazon Kendra 智能排名后，将根据您设定的容量单位按小时收费。查看免费套餐和价格信息。

   您可以使用 CreateRescoreExecutionPlanAPI 来配置Rescore API。如果您不需要比单个单位默认值更多的容量单位，请不要添加更多单位，只需提供重新评分执行计划的名称。您也可以使用 UpdateRescoreExecutionPlanAPI 更新容量需求。有关更多信息，请参阅从语义上对搜索服务的结果进行排名。

   或者，在运行快速入门 Bash 脚本时，您可以转到步骤 3 来创建默认的重新评分执行计划。

   请注意步骤 4，响应中包含的重新评分执行计划 ID。

   CLI

   aws kendra-ranking create-rescore-execution-plan \
     --name MyRescoreExecutionPlan \ 
     --capacity-units '{"RescoreCapacityUnits":<integer number of additional capacity units>}'
    
   Response:
    
   {
       "Id": "<rescore execution plan ID>",
       "Arn": "arn:aws:kendra-ranking:<region>:<account-id>:rescore-execution-plan/<rescore-execution-plan-id>"
   }

   Python

   import boto3
   from botocore.exceptions import ClientError
   import pprint
   import time
   
   kendra_ranking = boto3.client("kendra-ranking")
   
   print("Create a rescore execution plan.")
   
   # Provide a name for the rescore execution plan
   name = "MyRescoreExecutionPlan"
   # Set your required additional capacity units
   # Don't set capacity units if you don't require more than 1 unit given by default
   capacity_units = 1
   
   try:
       rescore_execution_plan_response = kendra_ranking.create_rescore_execution_plan(
           Name = name,
           CapacityUnits = {"RescoreCapacityUnits":capacity_units}
       )
   
       pprint.pprint(rescore_execution_plan_response)
   
       rescore_execution_plan_id = rescore_execution_plan_response["Id"]
   
       print("Wait for Amazon Kendra to create the rescore execution plan.")
   
       while True:
           # Get the details of the rescore execution plan, such as the status
           rescore_execution_plan_description = kendra_ranking.describe_rescore_execution_plan(
               Id = rescore_execution_plan_id
           )
           # When status is not CREATING quit.
           status = rescore_execution_plan_description["Status"]
           print(" Creating rescore execution plan. Status: "+status)
           time.sleep(60)
           if status != "CREATING":
               break
   
   except ClientError as e:
           print("%s" % e)
   
   print("Program ends.")

   anchoranchor
   • CLI
   • Python

   aws kendra-ranking create-rescore-execution-plan \
     --name MyRescoreExecutionPlan \ 
     --capacity-units '{"RescoreCapacityUnits":<integer number of additional capacity units>}'
    
   Response:
    
   {
       "Id": "<rescore execution plan ID>",
       "Arn": "arn:aws:kendra-ranking:<region>:<account-id>:rescore-execution-plan/<rescore-execution-plan-id>"
   }

3. 从主分支下拉列表中选择版本分支，从中下载 GitHub 适用于您版本 OpenSearch的快速入门 Bash 脚本。

   此脚本使用 Docker 映像 OpenSearch 和 OpenSearch 仪表板，使用您在 GitHub 存储库中为脚本选择的版本。它会下载智能排名插件的 zip 文件，并生成一个Dockerfile用于构建包含 OpenSearch 该插件的新 Docker 镜像。它还会创建一个 docker-compose.yml 文件，其中包含 OpenSearch 带有智能排名插件和仪表板的容器。 OpenSearch 此脚本会将您的重新评分执行计划 ID、区域信息和端点（使用该区域）添加到 docker-compose.yml 文件中。然后，脚本运行docker-compose up以启动包含智能排名和 OpenSearch 仪表板的容器。 OpenSearch 要停止容器而不将其移除，请运行 docker-compose stop。要移除容器，请运行 docker-compose down。

4. 打开终端，在 Bash 脚本的目录中运行以下命令。

   bash search_processing_kendra_quickstart.sh -p <execution-plan-id> -r <region>

   运行此命令时，您需要提供您在步骤 2 中预置 Amazon Kendra 智能排名时记下的重新评分执行计划 ID 以及您的区域信息。或者，您也可以改为使用 --create-execution-plan 选项预配置 Amazon Kendra 智能排名。这会创建一个具有默认名称和默认容量的重新评分执行计划。

   为了在移除默认的临时容器时不丢失索引，您可以使用 --volume-name 选项提供数据卷名称，从而使索引在执行期间保持不变。如果您之前创建了索引，则可以在 docker-compose.yml 或 opensearch.yml 文件中指定卷。要保持卷完整，请不要运行 docker-compose down -v。

   快速入门 Bash 脚本在 OpenSearch 密钥库中配置您的 AWS 凭据以连接到智能排名。 Amazon Kendra 要向脚本提供 AWS 凭据，请使用--profile选项指定 AWS 配置文件。如果未指定该--profile选项，则快速启动 Bash 脚本将尝试从环境变量和默认配置文件中读取 AWS 凭据（访问/密钥、可选会话令牌）。 AWS 如果未指定该--profile选项且未找到凭据，则脚本将不会将凭据传递给 OpenSearch 密钥库。如果 OpenSearch 密钥库中未指定凭据，则该插件仍会检查默认凭证提供程序链中的凭证，包括 Amazon ECS 容器凭据或通过 Amazon EC2 元数据服务提供的实例配置文件凭证。

   请确保您已创建具有调用 Amazon Kendra 智能排名的必要权限的 IAM 角色。以下是授予将 Rescore API 用于特定重新分数执行计划的权限的 IAM 策略示例：

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "kendra-ranking:Rescore",
               "Resource": "arn:aws:kendra-ranking:${Region}:${Account}:rescore-execution-plan/${RescoreExecutionPlanId}"
           }
       ]
   }

比较 OpenSearch 仪表板中的搜索结果

1. 打开 http://localhost:5601 并登录 OpenSearch 控制面板。默认凭证是用户名“admin”和密码“admin”。

2. 从导航菜单的 OpenSearch 插件中选择 “搜索相关性”。

3. 在搜索栏中输入搜索文本。

4. 为查询 1 选择您的索引，然后在查询 DSL 中输入 OpenSearch 查询。您可以使用 %SearchText% 变量来引用在搜索栏中输入的搜索文本。有关此查询的示例，请参阅OpenSearch 文档。此查询返回的结果是未使用智能排名插件的 OpenSearch 结果。

5. 为查询 2 选择相同的索引，然后在查询 DSL 中输入相同的 OpenSearch 查询。此外，在扩展中包含 kendra_intelligent_ranking 并指定作为排名条件的必需 body_field。您也可以指定标题字段，但正文字段是必需字段。有关此查询的示例，请参阅OpenSearch 文档。此查询返回的结果是使用智能 Amazon Kendra 排名插件重新排名的结果。该插件最多可对 25 个结果进行排名。

6. 选择搜索以返回和比较结果。