계보 추적 엔터티 - 아마존 SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

계보 추적 엔터티

추적 엔티티는 end-to-end 기계 학습 워크플로의 모든 요소를 나타냅니다. 이 표현을 사용하여 모델 거버넌스를 설정하고, 워크플로를 재현하고, 작업 기록을 유지할 수 있습니다.

처리 작업, 교육 작업, 일괄 변환 작업과 같은 SageMaker 작업을 생성할 때 Amazon은 시험 구성 요소 및 관련 시도 및 실험에 대한 추적 엔티티를 SageMaker 자동으로 생성합니다. 자동 추적 외에도 추적 엔터티 수동 생성을 통해 워크플로의 사용자 지정 단계를 모델링할 수 있습니다. 자세한 내용은 스튜디오 클래식에서의 Amazon SageMaker 실험 관리 단원을 참조하십시오.

SageMaker 또한 워크플로의 다른 단계에 대한 추적 엔티티를 자동으로 생성하므로 워크플로를 처음부터 끝까지 추적할 수 있습니다. 자세한 내용은 Amazon SageMaker — 생성된 추적 엔티티 단원을 참조하십시오.

에서 만든 개체를 보완하는 추가 개체를 만들 수 SageMaker 있습니다. 자세한 내용은 추적 엔터티 수동 생성 단원을 참조하십시오.

SageMaker 새 개체를 만드는 대신 기존 개체를 모두 재사용합니다. 예를 들어 고유한 SourceUri가 있는 아티팩트는 하나일 수 있습니다.

계보 쿼리의 주요 개념

  • 계보 - ML 워크플로의 다양한 엔터티 간 관계를 추적하는 메타데이터입니다.

  • QueryLineage— 계보를 검사하고 개체 간의 관계를 찾아내는 작업입니다.

  • 계보 엔터티 - 계보를 구성하는 메타데이터 요소입니다.

  • 교차 계정 계보 - ML 워크플로는 두 개 이상의 계정에 걸쳐 있을 수 있습니다. 교차 계정 계보를 사용하면 공유 엔티티 리소스 간에 계보 연결을 자동으로 생성하도록 여러 계정을 구성할 수 있습니다. QueryLineage 그러면 이러한 공유 계정에서도 엔티티를 반환할 수 있습니다.

다음과 같은 추적 엔터티가 정의됩니다.

실험 엔터티

  • 시험 구성 요소 - 기계 학습 시험의 한 단계입니다. 처리 작업, 훈련 작업 및 배치 변환 작업이 포함됩니다.

  • 시험 - 일반적으로 모델을 생성하는 시험 구성 요소의 조합입니다.

  • 실험 - 일반적으로 특정 사용 사례를 해결하는 데 초점을 맞춘 시험 그룹입니다.

계보 엔터티

  • 시험 구성 요소 - 계보의 처리, 훈련 및 변환 작업을 나타냅니다. 또한 실험 관리의 일부이기도 합니다.

  • 컨텍스트 - 다른 추적 또는 실험 엔터티를 논리적으로 그룹화합니다. 개념적으로 보면 실험과 시험은 컨텍스트입니다. 엔드포인트와 모델 패키지를 예로 들 수 있습니다.

  • 작업 - 작업 또는 활동을 나타냅니다. 일반적으로 작업에는 하나 이상의 입력 아티팩트 또는 출력 아티팩트가 포함됩니다. 몇 가지 예로는 워크플로 단계와 모델 배포가 있습니다.

  • Artifact — URI 주소 지정이 가능한 객체 또는 데이터를 나타냅니다. 아티팩트는 일반적으로 시도 구성 요소나 작업에 대한 입력 또는 출력입니다. 몇 가지 예로는 데이터세트 (S3 버킷URI) 또는 이미지 (Amazon ECR 레지스트리 경로) 가 있습니다.

  • 연결 - 다른 추적 또는 실험 엔터티(예: 훈련 데이터 위치와 훈련 작업 간의 연결)를 연결합니다.

    연결에는 선택적 AssociationType속성이 있습니다. 각 유형의 권장 용도와 함께 다음 값을 사용할 수 있습니다. SageMaker 사용에 제한을 두지 않습니다.

    • ContributedTo - 소스가 대상에 기여했거나 대상을 활성화하는 데 기여했습니다. 예를 들어, 훈련 데이터가 훈련 작업에 기여했습니다.

    • AssociatedWith - 소스가 대상에 연결되어 있습니다. 예를 들어, 승인 워크플로는 모델 배포와 연결됩니다.

    • DerivedFrom - 대상은 소스 수정입니다. 예를 들어, 처리 작업에 대한 채널 입력의 다이제스트 출력은 원래 입력에서 파생됩니다.

    • Produced - 소스가 대상을 생성했습니다. 예를 들어, 훈련 작업에서 모델 아티팩트가 생성되었습니다.

    • SameAs - 동일한 계보 엔터티가 서로 다른 계정에서 사용된 경우입니다.

공통 속성

  • 유형 속성

    작업, 아티팩트 및 컨텍스트 엔터티에는 각각 유형 속성, ActionType, ArtifactType, ContextType이 있습니다. 이 속성은 의미 있는 정보를 엔티티와 연결하고 목록에서 필터로 사용할 수 있는 사용자 지정 APIs 문자열입니다.

  • 소스 속성

    작업, 아티팩트 및 컨텍스트 엔터티에는 Source속성이 있습니다. 이 속성은 엔티티가 URI 나타내는 기본 요소를 제공합니다. 다음은 몇 가지 예시입니다.

    • 소스가 EndpointArn인 UpdateEndpoint작업입니다.

    • 소스가 ImageUri인 처리 작업의 이미지 아티팩트입니다.

    • 소스가 EndpointArn인 Endpoint컨텍스트입니다.

  • 메타데이터 속성

    작업 및 아티팩트 엔터티에는 다음 정보를 제공할 수 있는 선택적 Metadata속성이 있습니다.

    • ProjectId— 모델이 속한 SageMaker MLOps 프로젝트의 ID를 예로 들 수 있습니다.

    • GeneratedBy— 모델 패키지 버전을 등록한 SageMaker 파이프라인 실행을 예로 들 수 있습니다.

    • Repository - 알고리즘이 포함된 리포지토리를 예로 들 수 있습니다.

    • CommitId - 알고리즘 버전의 커밋 ID를 예로 들 수 있습니다.