모델 추론을 사용하여 프롬프트 제출 및 응답 생성 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모델 추론을 사용하여 프롬프트 제출 및 응답 생성

추론은 모델에 제공된 입력에서 출력을 생성하는 프로세스를 말합니다. 파운데이션 모델은 확률을 사용하여 단어를 순서대로 구성합니다. 모델은 입력값이 주어지면 뒤에 오는 토큰의 가능한 시퀀스를 예측하고 그 시퀀스를 출력값으로 반환합니다. Amazon Bedrock은 선택한 파운데이션 모델에서 추론을 실행할 수 있는 기능을 제공합니다. 추론을 실행할 때 다음 입력을 제공합니다.

Amazon Bedrock은 다음 양식의 출력을 생성하는 데 사용할 수 있는 일련의 파운데이션 모델을 제공합니다. 파운데이션 모델별 양식 지원을 확인하려면 Amazon Bedrock에서 지원되는 파운데이션 모델 섹션을 참조하세요.

출력 양식 설명 사용 사례 예제
텍스트 텍스트 입력을 제공하고 다양한 유형의 텍스트를 생성합니다. 채팅, question-and-answering, 브레인스토밍, 요약, 코드 생성, 테이블 생성, 데이터 형식 지정, 재작성
이미지 텍스트 또는 입력 이미지를 제공하고 이미지를 생성 또는 수정합니다. 이미지 생성, 이미지 편집, 이미지 변형
임베딩 텍스트, 이미지 또는 텍스트와 이미지를 모두 제공하고 입력을 나타내는 숫자 값의 벡터를 생성합니다. 출력 벡터를 다른 임베딩 벡터와 비교하여 시맨틱 유사성(텍스트) 또는 시각적 유사성(이미지)을 확인할 수 있습니다. 텍스트 및 이미지 검색, 쿼리, 분류, 추천, 개인화, 지식 기반 생성

다음과 같은 방법으로 모델 추론을 직접 실행할 수 있습니다.

  • 에서 Amazon Bedrock Playgrounds를 AWS Management Console사용하여 사용자 친화적인 그래픽 인터페이스에서 추론을 실행합니다.

  • Converse 또는를 사용하여 대화형 애플리케이션을 구현ConverseStreamAPI합니다.

  • InvokeModel 또는를 사용하여 단일 프롬프트를 InvokeModelWithResponseStream API 제출합니다.

  • 원하는 구성으로 프롬프트 데이터 세트를 준비하고 CreateModelInvocationJob 요청과 함께 배치 추론을 실행합니다.

다음 Amazon Bedrock 기능 또한 모델 추론을 더 큰 워크플로의 한 단계로 사용합니다.

  • 모델 평가는 CreateEvaluationJob 요청을 제출한 후 모델 호출 프로세스를 사용하여 다양한 모델의 성능을 평가합니다.

  • 지식 기반은를 사용할 때 모델 호출을 사용합니다. RetrieveAndGenerate API 지식 기반에서 검색된 결과를 기반으로 응답을 생성합니다.

  • 에이전트는 모델 호출을 사용하여 InvokeAgent 요청.

  • 흐름에는 모델 호출을 사용하는 프롬프트, 지식 기반 및 에이전트와 같은 Amazon Bedrock 리소스가 포함됩니다.

프롬프트와 추론 파라미터가 서로 다른 파운데이션 모델을 테스트한 후 원하는 사양APIs으로 호출하도록 애플리케이션을 구성할 수 있습니다.

주제