AWS CloudFormation 를 사용하여 의미 검색에 대한 원격 추론 설정 - Amazon OpenSearch 서비스
사전 조건Amazon SageMaker AI 템플릿Amazon Bedrock 템플릿

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

AWS CloudFormation 를 사용하여 의미 검색에 대한 원격 추론 설정

OpenSearch 버전 2.9부터는 의미 검색과 함께 원격 추론을 사용하여 자체 기계 학습(ML) 모델을 호스팅할 수 있습니다. 원격 추론은 ML Commons 플러그인을 사용하여 Amazon SageMaker AI 및 Amazon과 같은 ML 서비스에서 모델 추론을 원격으로 호스팅 BedRock하고 이를 ML 커넥터를 사용하여 Amazon OpenSearch Service에 연결할 수 있습니다.

원격 추론 설정을 용이하게 하기 위해 Amazon OpenSearch Service는 콘솔에 AWS CloudFormation 템플릿을 제공합니다. CloudFormation 는 인프라를 코드로 처리하여 AWS 및 타사 리소스를 모델링, 프로비저닝 및 관리할 수 AWS 서비스 있는 입니다.

OpenSearch CloudFormation 템플릿은 모델 프로비저닝 프로세스를 자동화하므로 OpenSearch 서비스 도메인에서 모델을 쉽게 생성한 다음 모델 ID를 사용하여 데이터를 수집하고 신경 검색 쿼리를 실행할 수 있습니다.

OpenSearch 서비스 버전 2.12 이상에서 신경 희소 인코더를 사용하는 경우 원격으로 배포하는 대신 로컬에서 토큰화기 모델을 사용하는 것이 좋습니다. 자세한 내용은 OpenSearch 설명서의 희소 인코딩 모델을 참조하세요.

사전 조건

OpenSearch 서비스에서 CloudFormation 템플릿을 사용하려면 다음 사전 조건을 완료합니다.

OpenSearch 서비스 도메인 설정

CloudFormation 템플릿을 사용하려면 먼저 버전 2.9 이상 및 세분화된 액세스 제어가 활성화된 Amazon OpenSearch Service 도메인을 설정해야 합니다. OpenSearch 서비스 백엔드 역할을 생성하여 ML Commons 플러그인에 커넥터를 생성할 수 있는 권한을 부여합니다.

CloudFormation 템플릿은 기본 이름을 사용하여 Lambda IAM 역할을 생성합니다.이 역할은 다른 이름을 선택하려는 경우 재정의LambdaInvokeOpenSearchMLCommonsRole할 수 있습니다. 템플릿이이 IAM 역할을 생성한 후에는 Lambda 함수에 OpenSearch 서비스 도메인을 호출할 수 있는 권한을 부여해야 합니다. 이렇게 하려면 다음 단계에 ml_full_access 따라 라는 역할을 OpenSearch 서비스 백엔드 역할에 매핑합니다.

  1. OpenSearch 서비스 도메인의 OpenSearch 대시보드 플러그인으로 이동합니다. OpenSearch 서비스 콘솔의 도메인 대시보드에서 대시보드 엔드포인트를 찾을 수 있습니다.

  2. 주 메뉴에서 보안, 역할을 선택하고 ml_full_access 역할을 선택합니다.

  3. 매핑된 사용자(Mapped users), 매핑 관리(Manage mapping)를 차례로 선택합니다.

  4. 백엔드 역할에서 도메인을 호출할 권한이 필요한 Lambda 역할ARN의를 추가합니다.

    arn:aws:iam::account-id:role/role-name

  5. Map(맵)을 선택하고 Mapped users(매핑된 사용자)에 사용자 또는 역할이 나타나는지 확인합니다.

역할을 매핑한 후 도메인의 보안 구성으로 이동하여 OpenSearch 서비스 액세스 정책에 Lambda IAM 역할을 추가합니다.

AWS 계정에 대한 권한을 활성화합니다.

에는 템플릿에 AWS 서비스 대해 선택한 SageMaker 런타임 또는 Amazon과 함께 CloudFormation 및 Lambda에 액세스할 수 있는 권한이 AWS 계정 있어야 합니다 BedRock.

Amazon Bedrock을 사용하는 경우 모델도 등록해야 합니다. 모델을 등록하려면 Amazon Bedrock 사용 설명서의 모델 액세스를 참조하세요.

자체 Amazon S3 버킷을 사용하여 모델 아티팩트를 제공하는 경우 S3 액세스 정책에 역할을 추가 CloudFormation IAM해야 합니다. 자세한 내용은 IAM 사용 설명서의 IAM 자격 증명 권한 추가 및 제거를 참조하세요.

Amazon SageMaker AI 템플릿

Amazon SageMaker AI CloudFormation 템플릿은 신경 플러그인 및 의미 체계 검색을 설정하기 위해 여러 AWS 리소스를 정의합니다.

먼저 Amazon 템플릿을 통해 텍스트 임베딩 모델과 통합 SageMaker을 사용하여 SageMaker 런타임에 텍스트 임베딩 모델을 서버로 배포합니다. 모델 엔드포인트를 제공하지 않으면는 SageMaker 런타임이 Amazon S3에서 모델 아티팩트를 다운로드하여 서버에 배포할 수 있는 IAM 역할을 CloudFormation 생성합니다. 엔드포인트를 제공하는 경우 Lambda 함수가 OpenSearch 서비스 도메인에 액세스할 수 IAM 있도록 허용하는 역할을 CloudFormation 생성하거나 역할이 이미 있는 경우가 역할을 업데이트하고 재사용합니다. 엔드포인트는 ML Commons 플러그인을 통해 ML 커넥터에 사용되는 원격 모델을 제공합니다.

그런 다음, Amazon Sagemaker를 통해 Sparse Encoder와 통합 템플릿을 사용하여 도메인에서 원격 추론 커넥터를 설정한 Lambda 함수를 생성합니다. OpenSearch 서비스에서 커넥터를 생성한 후 원격 추론은 SageMaker 런타임에서 원격 모델을 사용하여 의미 검색을 실행할 수 있습니다. 템플릿은 도메인의 모델 ID를 사용자에게 반환하므로 검색을 시작할 수 있습니다.

Amazon SageMaker AI CloudFormation 템플릿을 사용하려면

  1. Amazon OpenSearch Service 콘솔을 https://console.aws.amazon.com/aos/집에서 엽니다.

  2. 왼쪽 탐색 창에서 통합을 선택합니다.

  3. 각 Amazon SageMaker AI 템플릿에서 도메인 구성, 퍼블릭 도메인 구성을 선택합니다.

  4. CloudFormation 콘솔의 프롬프트에 따라 스택을 프로비저닝하고 모델을 설정합니다.

참고

OpenSearch 또한 서비스에서는 VPC 도메인을 구성하기 위한 별도의 템플릿을 제공합니다. 이 템플릿을 사용하는 경우 Lambda 함수의 VPC ID를 제공해야 합니다.

Amazon Bedrock 템플릿

Amazon SageMaker AI CloudFormation 템플릿과 마찬가지로 Amazon Bedrock CloudFormation 템플릿은 OpenSearch Service와 Amazon Bedrock 간에 커넥터를 생성하는 데 필요한 AWS 리소스를 프로비저닝합니다.

먼저 템플릿은 향후 Lambda 함수가 OpenSearch 서비스 도메인에 액세스할 수 있도록 허용하는 IAM 역할을 생성합니다. 그런 다음, 템플릿은 Lambda 함수를 생성하며, 이 함수는 도메인이 ML Commons 플러그인을 사용하여 커넥터를 생성하도록 합니다. OpenSearch Service가 커넥터를 생성한 후 원격 추론 설정이 완료되고 Amazon Bedrock API 작업을 사용하여 의미 체계 검색을 실행할 수 있습니다.

Amazon Bedrock은 자체 ML 모델을 호스팅하므로 SageMaker 런타임에 모델을 배포할 필요가 없습니다. 대신 템플릿은 Amazon Bedrock의 미리 결정된 엔드포인트를 사용하며 엔드포인트 프로비저닝 단계를 건너뜁니다.

Amazon Bedrock CloudFormation 템플릿을 사용하려면

  1. Amazon OpenSearch Service 콘솔을 https://console.aws.amazon.com/aos/집에서 엽니다.

  2. 왼쪽 탐색 창에서 통합을 선택합니다.

  3. Amazon Bedrock을 통해 Amazon Titan Text Embeddings 모델과 통합에서 도메인 구성, 퍼블릭 도메인 구성을 선택합니다.

  4. 프롬프트에 따라 모델을 설정합니다.

참고

OpenSearch 또한 서비스에서는 VPC 도메인을 구성하기 위한 별도의 템플릿을 제공합니다. 이 템플릿을 사용하는 경우 Lambda 함수의 VPC ID를 제공해야 합니다.

또한 OpenSearch Service는 Cohere 모델 및 Amazon Titan 멀티모달 임베딩 모델에 연결할 수 있는 다음과 같은 Amazon Bedrock 템플릿을 제공합니다.

  • Integration with Cohere Embed through Amazon Bedrock

  • Integrate with Amazon Bedrock Titan Multi-modal