서버리스 엔드포인트 호출 - Amazon SageMaker AI
엔드포인트를 호출하려면

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

서버리스 엔드포인트 호출

서버리스 엔드포인트를 사용하여 추론을 수행하려면 HTTP 요청을 엔드포인트로 보내야 합니다. 엔드포인트 호출을 AWS CLIPOST 요청하는 InvokeEndpoint API 또는를 사용할 수 있습니다. 서버리스 호출의 최대 요청 및 응답 페이로드 크기는 4MB입니다. 서버리스 엔드포인트의 경우:

  • 모델이 다운로드되고 서버가 3분 이내에 /ping에 성공적으로 응답해야 합니다.

  • 컨테이너가 /invocations에의 추론 요청에 응답하는 데 걸리는 제한 시간은 1분입니다.

엔드포인트를 호출하려면

다음 예제에서는 Python용AWS SDK (Boto3)를 사용하여 InvokeEndpoint API를 호출합니다. 이 가이드의 다른 API 호출과 달리 InvokeEndpoint의 경우 SageMaker 런타임을 클라이언트로 사용해야 합니다. 다음 값을 지정하세요.

  • endpoint_name의 경우 호출하려는 서비스 내 서버리스 엔드포인트의 이름을 사용하세요.

  • content_type의 경우 요청 본문에 입력 데이터의 MIME 유형을 지정합니다 (예: application/json).

  • payload의 경우 추론 요청 페이로드를 사용하세요. 페이로드는 바이트 단위이거나 파일류 객체여야 합니다.

runtime = boto3.client("sagemaker-runtime")

endpoint_name = "<your-endpoint-name>"
content_type = "<request-mime-type>"
payload = <your-request-body>

response = runtime.invoke_endpoint(
    EndpointName=endpoint_name,
    ContentType=content_type,
    Body=payload
)