JupyterLab 또는 Studio Classic에서 Jupyter AI 사용 - Amazon SageMaker AI
채팅 UI에서 언어 모델 사용노트북에서 언어 모델 사용

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

JupyterLab 또는 Studio Classic에서 Jupyter AI 사용

채팅 UI 또는 노트북 셀에서 언어 모델을 호출하여 JupyterLab 또는 Studio Classic에서 Jupyter AI를 사용할 수 있습니다. 다음 섹션에서는 이 작업을 완료하는 데 필요한 단계에 대한 정보를 제공합니다.

채팅 UI에서 언어 모델 사용

채팅 UI 텍스트 상자에 메시지를 작성하여 모델과 상호 작용을 시작합니다. 메시지 기록을 지우려면 /clear 명령을 사용합니다.

참고

메시지 기록을 삭제해도 모델 공급자와의 채팅 컨텍스트는 지워지지 않습니다.

노트북 셀의 언어 모델 사용

%%ai 및 %ai 명령을 사용하여 언어 모델을 호출하기 전에 JupyterLab 또는 Studio Classic 노트북 셀에서 다음 명령을 실행하여 IPython 확장을 로드합니다.

%load_ext jupyter_ai_magics

  • 에서 호스팅하는 모델의 경우 AWS:

    • SageMaker AI에 배포된 모델을 호출하려면 아래 필수 파라미터와 함께 문자열sagemaker-endpoint:endpoint-name을 %%ai 매직 명령에 전달한 다음 다음 줄에 프롬프트를 추가합니다.

      다음 표에는 SageMaker AI 또는 Amazon Bedrock에서 호스팅하는 모델을 호출할 때 필요한 파라미터와 선택적 파라미터가 나열되어 있습니다.

      파라미터 이름 파라미터 짧은 버전 설명
      요청 스키마 --request-schema -q 필수: 엔드포인트가 예상하는 JSON 객체로, 프롬프트는 <prompt> 문자열 리터럴과 일치하는 값으로 대체됩니다.
      리전 이름 --region-name -n 필수: 모델이 배포 AWS 리전 되는 입니다.
      응답 경로 --response-path -p 필수: 엔드포인트의 JSON 응답에서 언어 모델의 출력을 추출하는 데 사용되는 JSONPath 문자열입니다.
      추가 모델 파라미터 --model-parameters -m 선택 사항: 모델에 전달할 추가 파라미터를 지정하는 JSON 값입니다. 허용되는 값은 사전으로 구문 분석되고, 압축이 풀리고, 공급자 클래스로 직접 전달됩니다. 이는 엔드포인트 또는 모델에 사용자 지정 파라미터가 필요한 경우에 유용합니다. 예를 들어 Llama 2 모델에서 최종 사용자 라이선스 계약(EULA)에 동의해야 하는 경우 -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}}를 사용하여 EULA 수락을 엔드포인트에 전달할 수 있습니다. 또는 -m 파라미터를 사용하여 모델이 생성한 응답에 대한 최대 토큰 수를 설정하는 등 추가 모델 파라미터를 전달할 수 있습니다. 예를 들어 AI21 Labs Jurassic 모델로 작업하는 경우: -m {"model_kwargs":{"maxTokens":256}}.
      출력 형식 --format -f 선택 사항: 출력을 렌더링하는 데 사용되는 IPython 디스플레이입니다. 호출된 모델이 지정된 형식을 지원하는 경우 다음 값 [code|html|image|json|markdown|math|md|text] 중 하나일 수 있습니다.

      다음 명령은 SageMaker AI에서 호스팅하는 Llama2-7b 모델을 호출합니다.

      %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text
Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>

      다음 예시에서는 SageMaker AI에서 호스팅하는 Flan-t5-small 모델을 호출합니다.

      %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text
What is the atomic number of Hydrogen?

    • Amazon Bedrock에 배포된 모델을 호출하려면 JumpStart 또는 Amazon Bedrock에서 호스팅하는 모델 호출을 위한 파라미터 목록에 정의된 선택적 파라미터가 있는 %%ai 매직 명령에 문자열 bedrock:model-name을 전달한 다음 다음 줄에 프롬프트를 추가합니다.

      다음 예제에서는 Amazon Bedrock에서 호스팅하는 AI21 Labs Jurassic-2 모델을 호출합니다.

      %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code
Write a function in python implementing a bubbble sort.

  • 타사 공급자가 호스팅하는 모델의 경우

    타사 공급자가 호스팅하는 모델을 호출하려면 선택 사항인 Output format를 사용하여 문자열 provider-id:model-name을 %%ai 매직 명령에 전달한 다음 다음 줄에 프롬프트를 추가합니다. 모델 공급자의 Jupyter AI 목록에서 ID를 포함한 각 공급자의 세부 정보를 찾을 수 있습니다.

    다음 명령은 Anthropic Claude 모델에 검은색 테두리가 있는 흰색 사각형의 이미지가 포함된 HTML 파일을 출력하도록 요청합니다.

    %%ai anthropic:claude-v1.2 -f html
Create a square using SVG with a black border and white fill.