컴퓨터 사용 도구를 사용하여 Amazon Bedrock 모델 응답 완료 - Amazon Bedrock
예제 코드응답의 예

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

컴퓨터 사용 도구를 사용하여 Amazon Bedrock 모델 응답 완료

컴퓨터 사용은 Anthropic Claude 3.5 Sonnet v2에서만 사용할 수 있는 새로운 Anthropic Claude 모델 기능(베타)입니다. 컴퓨터 사용 기능을 사용하면 Claude가 기본 GUI 작업을 통해 작업을 자동화하는 데 도움을 줍니다.

주의

컴퓨터 사용 기능은 AWS 서비스 약관에 정의된 대로 '베타 서비스'로 사용할 수 있습니다. 이 기능은 AWS와의 계약 및 AWS 서비스 약관과 해당 모델 EULA의 적용을 받습니다. Computer Use API는 표준 API 기능 또는 채팅 인터페이스와는 다른 고유한 위험을 초래한다는 점에 유의하세요. 이러한 위험은 Computer Use API를 사용하여 인터넷과 상호 작용할 때 더욱 커집니다. 위험을 최소화하려면 다음과 같은 예방 조치를 취하는 것이 좋습니다.

  • 전용 가상 머신 또는 컨테이너에서 컴퓨터 사용 기능을 최소한의 권한으로 작동하여 직접 시스템 공격 또는 사고를 방지합니다.

  • 정보 도난을 방지할 수 있도록 민감한 계정 또는 데이터에 대한 Computer Use API 액세스 권한을 부여하지 마세요.

  • Computer Use API의 인터넷 액세스를 필수 도메인으로 제한하여 악성 콘텐츠에 대한 노출을 줄입니다.

  • 적절한 감독이 이루어질 수 있도록, 민감한 작업(예: 의미 있는 실제 결과로 이어질 수 있는 의사 결정)과 긍정적인 동의가 필요한 모든 작업(예: 쿠키 허용, 금융 거래 실행 또는 서비스 약관 동의)에 대해 사람을 루프에 관여시킵니다.

Claude가 확인하거나 액세스할 수 있도록 설정한 모든 콘텐츠로 인해 지침이 재정의되거나, Claude의 실수 또는 의도하지 않은 작업 수행이 발생할 수 있습니다. 프롬프트 인젝션과 관련된 위험을 방지하기 위해서는 민감한 표면에서 Claude를 격리하는 등 적절한 예방 조치를 취하는 것이 중요합니다. 자체 제품에서 컴퓨터 사용 기능을 설정하는 데 필요한 권한을 활성화하거나 요청하기 전에 최종 사용자에게 관련 위험을 알리고 필요한 경우 동의를 얻으시기 바랍니다.

Computer Use API는 사전 정의된 여러 컴퓨터 사용 도구(computer_20241022, bash_20241022, text_editor_20241022)를 제공합니다. 그런 다음 “지난 회의의 메모가 포함된 이메일을 Ben에게 전송해 줘” 같은 프롬프트와 스크린샷(필요한 경우)과 같은 프롬프트를 작성할 수 있습니다. 응답에는 JSON 형식의 tool_use 작업 목록이 포함됩니다(예: scroll_down, left_button_press, screenshot). 코드는 컴퓨터 작업을 실행하고, Claude에 요청 시 출력을 보여주는 스크린샷을 제공합니다.

도구 파라미터가 다형성 도구 유형을 허용하도록 업데이트되었습니다. 이를 구분하기 위해 새 tool.type 속성이 추가됩니다. type은 선택 사항이며, 생략된 경우 도구는 사용자 지정 도구로 간주됩니다(이전에 유일하게 지원된 도구 유형). 또한 해당 열거형 값이 computer-use-2024-10-22인 새 파라미터 anthropic_beta가 추가되었습니다. 이 파라미터와 열거형으로 이루어진 요청만 새 컴퓨터 사용 도구를 사용할 수 있습니다. 이렇게 지정할 수 있습니다. "anthropic_beta": ["computer-use-2024-10-22"]

Anthropic Claude 3.5 Sonnet v2에서 컴퓨터 사용을 사용하려면 Converse API(Converse 또는 ConverseStream)를 사용할 수 있습니다. 컴퓨터가 필드에 특정 additionalModelRequestFields 필드를 사용하도록 지정합니다. Converse API 호출에 대한 일반적인 내용은 섹션을 참조하세요Converse API 작업과 대화 수행.

기본 추론 작업(InvokeModel 또는 InvokeModelWithResponseStream)과 함께 도구를 사용하는 것이 가능합니다. 요청 본문에서 전달하는 추론 파라미터를 찾는 방법은 AnthropicClaude Messages API 섹션을 참조하세요.

자세한 내용은 Anthropic 설명서의 컴퓨터 사용(베타)을 참조하세요.

예제 코드

다음 코드는 Computer Use API를 호출하는 방법을 보여줍니다. 입력은 AWS 콘솔의 이미지입니다.

with open('test_images/console.png', 'rb') as f:
        png = f.read()

    response = bedrock.converse(
        modelId='anthropic.claude-3-5-sonnet-20241022-v2:0',
        messages=[
            {
                'role': 'user',
                'content': [
                    {
                        'text': 'Go to the bedrock console'
                    },
                    {
                        'image': {
                            'format': 'png',
                            'source': {
                                'bytes': png
                            }
                        }
                    }
                ]
            }
        ],
        additionalModelRequestFields={
            "tools": [
                {
                    "type": "computer_20241022",
                    "name": "computer",
                    "display_height_px": 768,
                    "display_width_px": 1024,
                    "display_number": 0
                },
                {
                    "type": "bash_20241022",
                    "name": "bash",

                },
                {
                    "type": "text_editor_20241022",
                    "name": "str_replace_editor",
                }
            ],
            "anthropic_beta": ["computer-use-2024-10-22"]
        },
        toolConfig={
            'tools': [
                {
                    'toolSpec': {
                        'name': 'get_weather',
                        'inputSchema': {
                            'json': {
                                'type': 'object'
                            }
                        }
                    }
                }
            ]
        })

    print(json.dumps(response, indent=4))

응답의 예

예제 코드는 다음과 비슷한 출력을 내보냅니다.

{
   "id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ",
   "type": "message",
   "role": "assistant",
   "content": [
        {
            "type": "text",
            "text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section."
        },
        {
            "type": "tool_use",
            "id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3",
            "name": "computer",
            "input": {
                "action": "screenshot"
            }
        }
   ],
   "stop_reason": "tool_use",
   "stop_sequence": null,
   "usage": {
       "input_tokens": 3710,
       "output_tokens": 97
   }
}