멀티모달 이해

Amazon Nova 2 Lite는 여러 입력 양식을 이해할 수 있습니다. 이 모델에는 이미지, 문서, 비디오 및 음성을 이해하고 분석하여 제공된 콘텐츠를 기반으로 질문을 추론하고 답변할 수 있는 비전 기능이 포함되어 있습니다.

이 섹션에서는 사용된 사전 처리 전략, 코드 예제 및 고려할 관련 제한 사항을 포함하여 Amazon Nova의 이미지, 문서 및 비디오 작업에 대한 지침을 간략하게 설명합니다.

모달별로 지원되는 콘텐츠 유형

다음 정보는 가 미디어 파일 유형에서 지원하는 파일 형식과 허용되는 입력 방법을 자세히 설명합니다.

이미지 이해

이미지 이해란 이미지를 처리하고 다음과 같은 다양한 컴퓨터 비전 태스크를 수행하는 Amazon Nova의 기능을 말합니다.

이미지는 API에 바이트 배열로 전달되거나 S3 URI를 통해 전달되는 프롬프트로 포함될 수 있습니다.

주요 기술 정보

다음은 이 기능을 사용할 때 참고해야 할 주요 기술 정보입니다.

이미지 크기 조정 및 배율 조정

Amazon Nova는 이미지 배율을 자동으로 조정하여 품질과 성능을 최적화합니다.

경계 상자 좌표:

이미지 토큰 추정

Amazon Nova는 처리를 위한 토큰으로 각 이미지를 변환합니다. 토큰 수는 이미지의 해상도와 종횡비에 따라 달라집니다.

다음은 이미지 해상도에 따른 대략적인 토큰 수의 예제입니다.

이미지 이해 예제

요청에 이미지 데이터를 직접 임베드하는 방법에 대한 예제는 코드 라이브러리의 임베디드 자산을 사용하는 멀티모달 입력 - Converse API(비스트리밍) 예제를 참조하세요.

전체 페이로드가 25MB를 초과하는 대용량 이미지 파일 또는 여러 이미지 파일을 업로드하려면 Amazon S3를 사용합니다. 이미지 입력에 Amazon S3 URI 참조를 사용하는 방법에 대한 전체 예제는 코드 라이브러리의 S3 URI를 사용하는 멀티모달 입력 - Converse API(비스트리밍) 예제를 참조하세요.

주요 제한 사항

다음 목록은 이미지 이해 모델의 현재 제한 사항을 간략하게 설명합니다.

비디오 이해

비디오 이해란 비디오 입력을 처리하고 다음과 같은 다양한 비디오 이해 태스크를 수행하는 Amazon Nova의 기능을 말합니다.

주요 기술 정보

다음은 이 기능을 사용할 때 참고해야 할 주요 기술 정보입니다.

비디오 크기 정보

Amazon Nova 비디오 이해 기능은 여러 가로 세로 비율을 지원합니다. 모든 비디오는 모델에 입력되기 전에 672*672 정사각형 치수로 입력에 따라 위 또는 아래로 왜곡을 적용하여 크기가 조정됩니다.

모델은 비디오 길이에 기반한 동적 샘플링 전략을 활용합니다. 길이가 16분 이하인 비디오의 경우 Amazon Nova 2 Lite는 초당 1개 프레임(FPS)을 샘플링합니다. 그러나 길이가 16분을 초과하는 비디오의 경우 샘플링되는 프레임 수를 일관되게 960개로 유지하기 위해 샘플링 속도가 감소하며 프레임 샘플링 속도도 이에 따라 달라집니다. 이 접근 방식은 긴 비디오 콘텐츠에 비해 짧은 비디오에 대해 보다 정확한 장면 수준의 비디오 이해를 제공하도록 설계되었습니다.

움직임이 적은 비디오는 1시간 이내로, 움직임이 많은 비디오는 16분 이내로 비디오 길이를 유지하는 것이 좋습니다.

4k 버전의 비디오와 Full HD 버전을 분석할 때 차이가 없어야 합니다. 마찬가지로 샘플링 속도는 1FPS이므로 60FPS 비디오도 30FPS 비디오와 동일한 성능을 발휘해야 합니다. 필요한 것보다 높은 해상도와 FPS를 사용하는 것은 비디오 크기의 1GB 제한으로 인해 유용하지 않습니다. 이 경우 해당 크기 제한에 맞는 비디오 길이가 제한되므로 1GB보다 긴 비디오를 전처리해야 할 수 있습니다.

비디오 토큰

비디오 길이는 생성되는 토큰 수에 영향을 미치는 주요 요인입니다. 대략적인 비용을 계산하려면 예상 비디오 토큰 수에 사용 중인 특정 모델의 토큰당 가격을 곱합니다.

다음 표에는 Amazon Nova 2 Lite의 비디오 길이당 프레임 샘플링과 토큰 사용률에 대한 몇 가지 근사치가 나와 있습니다.

비디오 이해 예제

요청에 비디오 데이터를 직접 임베드하는 방법에 대한 예제는 코드 라이브러리의 임베디드 자산을 사용하는 멀티모달 입력 - Converse API(비스트리밍) 예제를 참조하세요.

비디오 입력에서 S3 URI 참조를 사용하는 방법에 대한 예제는 코드 라이브러리의 S3 URI를 사용하는 멀티모달 입력 - Converse API(비스트리밍) 예제를 참조하세요.

주요 제한 사항

다음은 모델 정확도와 성능이 보장되지 않을 수 있는 주요 모델 제한 사항입니다.

문서 이해

Amazon Nova의 문서 이해 기능을 사용하면 프롬프트에 전체 문서(PDF, Word 파일, 스프레드시트 등)를 프롬프트의 일부로 포함할 수 있습니다. 이를 통해 모델은 문서 콘텐츠를 분석하거나 요약하거나 여기서 정보를 추출하거나 이에 관한 질문에 답변할 수 있습니다.

Amazon Nova 2 Lite는 이러한 문서 내 텍스트 및 시각적 요소(예: 차트 또는 테이블)를 모두 해석할 수 있습니다. 이를 통해 질문 답변, 요약, 긴 보고서 또는 스캔 문서 분석과 같은 사용 사례를 지원할 수 있습니다.

주요 문서 이해 기능으로, 긴 문서를 위한 초대형 컨텍스트 창(1M 토큰)과 단일 쿼리에서 여러 문서를 처리할 수 있는 기능이 포함됩니다.

지원되는 문서 양식 및 형식

Amazon Nova는 문서 입력을 두 가지 유형으로 구분합니다.

지원되는 파일 형식에는 다음과 같은 일반적인 문서 유형이 포함됩니다.

문서 크기 제한 및 사용법 지침

가격 책정

Amazon Nova는 토큰 기반 요금을 사용합니다. 입력 토큰(첨부된 문서를 포함하여 전송하는 모든 항목) 및 출력 토큰(모델의 응답)에 대한 비용을 지불합니다.

PD에 대한 토큰 예측: 계획 시 표준 8.5x11인치 PDF 페이지의 경우 2,560개의 입력 토큰을 가정합니다(이 예측에서는 일반적인 페이지에서 텍스트 및 시각적 요소를 모두 포함함).

예제: API 및 S3를 통한 Nova의 문서 이해 사용

API를 통해 이를 사용하는 방법에 대한 예제는 코드 라이브러리의 임베디드 자산을 사용하는 멀티모달 입력 - Converse API(비스트리밍) 예제를 참조하세요.

S3를 통해 이를 사용하는 방법에 대한 예제는 코드 라이브러리의 S3 URI를 사용하는 멀티모달 입력 - Converse API(비스트리밍) 예제를 참조하세요.