객체 감지를 사용하여 3D 포인트 클라우드에서 객체 분류 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

객체 감지를 사용하여 3D 포인트 클라우드에서 객체 분류

작업자가 객체 주위에 3D 입방체를 그려서 3D 포인트 클라우드에서 객체를 분류하도록 하려는 경우에 이 태스크 유형을 사용합니다. 예를 들어 이 태스크 유형을 사용하여 작업자에게 자동차, 자전거, 보행자 등 포인트 클라우드에서 다양한 유형의 객체를 식별하도록 요청할 수 있습니다. 다음 페이지에서는 레이블 지정 작업에 대한 중요한 정보와 레이블 지정 작업을 생성하는 단계를 제공합니다.

이 태스크 유형의 경우 작업자가 레이블을 지정하는 데이터 객체는 단일 포인트 클라우드 프레임입니다. Ground Truth는 사용자가 제공한 포인트 클라우드 데이터를 사용하여 3D 포인트 클라우드를 렌더링합니다. 또한 카메라 데이터를 제공하여 작업자에게 프레임의 장면에 대한 자세한 시각적 정보를 제공하고 작업자가 객체 주위에 3D 입방체를 그리는 데 도움을 줄 수도 있습니다.

Ground Truth는 3D 장면과 투영된 측면 보기(상단, 측면 및 뒷면) 모두에서 3개 차원에서 9개의 자유도(x, y, z, rx, ry, rz, l, w, h)를 사용하여 객체에 주석을 달 수 있는 도구를 제공합니다. 센서 융합 정보(예: 카메라 데이터)를 제공하는 경우, 작업자가 입방체를 추가하여 3D 포인트 클라우드에서 객체를 식별하면 입방체가 표시되어 2D 이미지에서 수정이 가능해집니다. 입방체를 추가한 후 2D 또는 3D 장면에서 해당 입방체를 편집한 모든 내용이 다른 보기에 투영됩니다.

3D 포인트 클라우드 객체 감지 조정 태스크 유형을 사용하여 3D 포인트 클라우드 객체 감지 레이블 지정 작업 시 생성한 주석을 조정하는 작업을 생성할 수 있습니다.

Ground Truth 3D 포인트 클라우드 레이블 지정 양식을 처음 사용하는 경우에는 3D 포인트 클라우드 레이블 지정 작업 개요을 검토하는 것이 좋습니다. 이 레이블 지정 양식은 다른 Ground Truth 태스크 유형과 다르며, 이 페이지에서는 3D 포인트 클라우드 레이블 지정 작업을 생성할 때 알아야 할 중요한 세부 정보에 대한 개요를 제공합니다.

작업자 태스크 인터페이스 조회

Ground Truth는 작업자에게 3D 포인트 클라우드 객체 감지 주석 태스크를 완료할 수 있는 웹 포털 및 도구를 제공합니다. 레이블 지정 작업을 생성할 때 HumanTaskUiArn 파라미터에 사전 구축된 Ground Truth 작업자 UI의 Amazon 리소스 이름(ARN)을 입력합니다. 콘솔에서 이 태스크 유형을 사용하여 레이블 지정 작업을 생성할 때 이러한 작업자 UI가 자동으로 사용됩니다. 콘솔에서 레이블 지정 작업을 생성할 때 작업자 UI를 미리 보고 상호 작용할 수 있습니다. 새 사용자인 경우 콘솔을 사용하여 레이블 지정 작업을 생성함으로써 레이블 속성, 포인트 클라우드 프레임 및 이미지(해당되는 경우)가 예상대로 나타나도록 하는 것이 좋습니다.

다음은 3D 포인트 클라우드 객체 감지 작업자 태스크 인터페이스GIF의 입니다. 세계 좌표계에서 센서 융합을 위한 카메라 데이터를 제공하는 경우에는 이미지가 포인트 클라우드 프레임의 장면과 일치됩니다. 이러한 이미지는 다음 와 같이 작업자 포털에 표시됩니다GIF.

Gif는 Ground Truth 작업자 포털에서 작업자가 3D 포인트 클라우드에 주석을 달 수 있는 방법을 보여줍니다.

작업자는 키보드와 마우스를 사용하여 3D 장면에서 탐색을 할 수 있습니다. 다음과 같은 작업이 가능합니다.

  • 포인트 클라우드의 특정 객체를 두 번 클릭하여 확대합니다.

  • 마우스 스크롤러나 트랙패드를 사용하여 포인트 클라우드를 확대 및 축소할 수 있습니다.

  • 키보드 화살표 키와 Q, E, A 및 D 키를 모두 사용하여 위, 아래, 왼쪽, 오른쪽으로 이동합니다. 키보드 키 W 및 S를 사용하여 확대 및 축소합니다.

작업자가 3D 장면에 입방체를 배치하면 3개의 투영된 측면 보기(상단, 측면 및 뒷면)와 함께 측면 보기가 나타납니다. 이러한 측면 보기는 배치된 입방체 안과 주위의 포인트를 보여 주며, 작업자가 해당 영역에서 입방체 경계를 조정할 수 있도록 도와줍니다. 작업자는 마우스를 사용하여 각각의 측면 보기를 확대 및 축소할 수 있습니다.

다음 비디오에서는 3D 포인트 클라우드 주위와 측면 보기에서의 이동을 보여줍니다.

3D 포인트 클라우드 및 사이드 뷰 주변의 움직임을 보여주는 Gif입니다.

작업자 UI의 보기 메뉴에서 추가 보기 옵션 및 기능을 사용할 수 있습니다. 작업자 UI에 대한 포괄적인 개요는 작업자 지침 페이지를 참조하세요.

보조 레이블 지정 도구

는 작업자가 3D 포인트 클라우드 객체 추적 태스크를 위한 기계 학습 및 컴퓨터 비전 기반의 보조 레이블 지정 도구를 사용하여 3D 포인트 클라우드에 더 빠르고 정확하게 주석을 달 수 있도록 지원합니다. 이 태스크 유형에서는 다음과 같은 보조 레이블 지정 도구를 사용할 수 있습니다.

  • 스내핑 – 작업자는 객체 주위에 입방체를 추가하고 키보드 단축키 또는 메뉴 옵션을 사용하여 Ground Truth의 자동 맞춤 도구가 객체 주위에 입방체를 단단히 스냅하도록 할 수 있습니다.

  • 지상으로 설정 - 작업자는 3D 장면에 입방체를 추가한 이후에 지상에 입방체를 자동으로 스냅할 수 있습니다. 예를 들어 작업자는 이 기능을 사용하여 장면의 도로 또는 인도에 입방체를 스냅할 수 있습니다.

  • 다중 보기 레이블 지정 - 작업자가 3D 장면에 3D 입방체를 추가하면 측면 패널에 전면, 측면 및 상단 원근이 표시되어 작업자가 객체 주위의 입방체를 조정하는 데 도움이 됩니다. 이러한 모든 보기에서 입방체에는 객체의 방향 또는 진행 방향을 나타내는 화살표가 포함됩니다. 작업자가 입방체를 조정하면 조정 내용이 모든 보기(3D, 상단, 측면 및 앞면) 에 실시간으로 나타납니다.

  • 센서 융합 - 센서 융합을 위한 데이터를 제공하는 경우 작업자는 3D 장면과 2D 이미지에서 주석을 조정할 수 있으며, 주석은 실시간으로 다른 보기에 투사됩니다. 또한 작업자는 선택에 따라 카메라가 향하는 방향과 카메라 절두체를 볼 수 있습니다.

  • 보기 옵션 - 작업자가 입방체, 레이블 텍스트, 지상 메시 및 추가 포인트 속성(예: 색상이나 강도)을 손쉽게 숨기거나 표시할 수 있습니다. 작업자는 원근 투영 및 직교 투영 중에서 선택할 수도 있습니다.

3D 포인트 클라우드 객체 감지 레이블 지정 작업 생성

SageMaker 콘솔 또는 API 작업 을 사용하여 3D 포인트 클라우드 레이블 지정 작업을 생성할 수 있습니다CreateLabelingJob. 이 태스크 유형에 대한 레이블 지정 작업을 생성하려면 다음이 필요합니다.

  • 단일 프레임 입력 매니페스트 파일. 이러한 유형의 매니페스트 파일을 생성하는 방법은 포인트 클라우드 프레임 입력 매니페스트 파일 생성 단원을 참조하세요. Ground Truth 3D 포인트 클라우드 레이블 지정 양식을 처음 사용하는 경우에는 허용되는 원시 3D 데이터 형식을 검토하는 것도 좋습니다.

  • 개인 또는 공급업체 인력으로 구성된 작업 팀. 비디오 프레임 레이블 지정 작업에는 Amazon Mechanical Turk를 사용할 수 없습니다. 인력 및 작업 팀을 생성하는 방법에 대한 자세한 내용은 인력 단원을 참조하세요.

또한 Ground Truth를 사용할 IAM 권한 할당를 검토하여 이를 충족했는지 확인합니다 .

다음 섹션 중 하나를 사용하여 콘솔 또는 를 사용하여 레이블 지정 작업을 생성하는 방법을 알아봅니다API.

레이블 지정 작업 생성(콘솔)

지침에 따라 SageMaker 콘솔에서 3D 포인트 클라우드 객체 감지 레이블 지정 작업을 생성하는 방법을 레이블 지정 작업 생성(콘솔) 알아볼 수 있습니다. 레이블 지정 작업을 생성하는 동안 다음 사항에 유의하세요.

  • 입력 매니페스트 파일은 단일 프레임 매니페스트 파일이어야 합니다. 자세한 내용은 포인트 클라우드 프레임 입력 매니페스트 파일 생성 단원을 참조하십시오.

  • 선택에 따라 레이블 범주 및 프레임 속성을 제공할 수 있습니다. 작업자는 이러한 속성 중 하나 이상을 주석에 할당하여 해당 객체에 대한 추가 정보를 제공할 수 있습니다. 예를 들어 occluded 속성을 사용하여 객체가 부분적으로 방해되었을 때 작업자가 이를 식별하도록 할 수 있습니다.

  • 3D 포인트 클라우드 레이블 지정 작업에는 자동화된 데이터 레이블 지정 및 주석 통합이 지원되지 않습니다.

  • 3D 포인트 클라우드 객체 감지 레이블 지정 작업을 완료하는 데 몇 시간이 걸릴 수 있습니다. 작업 팀을 선택할 때 이러한 레이블 지정 작업에 대해 더 긴 시간 제한을 지정할 수 있습니다(최대 7일 또는 604800초).

레이블 지정 작업 생성(API)

이 섹션에서는 작업을 사용하여 레이블 지정 작업을 생성할 때 알아야 하는 세부 정보를 SageMaker API 다룹니다CreateLabelingJob. 이는 모든 에 대해 이 작업을 API 정의합니다 AWS SDKs. 이 작업에 SDKs 지원되는 언어별 목록을 보려면 의 또한 섹션을 참조하세요CreateLabelingJob.

레이블 지정 작업 생성(API)에서는 CreateLabelingJob 연산에 대한 개요를 제공합니다. 다음 지침에 따라 요청을 구성하는 동안 다음을 수행합니다.

  • 에 ARN 대한 를 입력해야 합니다HumanTaskUiArn. arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectDetection를 사용합니다. <region>을(를) 레이블 지정 작업 생성 중인 AWS 리전으로 변경하세요.

    UiTemplateS3Uri 파라미터에 대한 입력값이 없어야 합니다.

  • 입력 매니페스트 파일은 단일 프레임 매니페스트 파일이어야 합니다. 자세한 내용은 포인트 클라우드 프레임 입력 매니페스트 파일 생성 단원을 참조하십시오.

  • 레이블 범주 구성 파일에서 레이블, 레이블 범주와 프레임 속성 및 작업자 지침을 지정합니다. 이 파일을 생성하는 방법에 대한 자세한 내용은 레이블 범주 및 프레임 속성 참조로 범주 구성 파일 레이블 지정 단원을 참조하세요.

  • 주석 전 및 주석 후(ACS) Lambda 함수에 ARNs 대해 미리 정의된 를 제공해야 합니다. 이는 레이블 지정 작업을 생성하는 데 사용하는 리전에 ARNs AWS 따라 다릅니다.

    • 사전 주석 Lambda를 찾으려면 섹션을 ARN참조하세요PreHumanTaskLambdaArn. 레이블 지정 작업을 생성하려는 리전을 사용하여 올바른 를 찾습니다ARN. 예를 들어 us-east-1에서 레이블 지정 작업을 생성하는 경우 ARN는 가 됩니다arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudObjectDetection.

    • 주석 후 Lambda를 찾으려면 섹션을 ARN참조하세요AnnotationConsolidationLambdaArn. 레이블 지정 작업을 생성하려는 리전을 사용하여 올바른 를 찾습니다ARN. 예를 들어 us-east-1에서 레이블 지정 작업을 생성하는 경우 ARN는 가 됩니다arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudObjectDetection.

  • NumberOfHumanWorkersPerDataObject에 지정된 작업자 수는 1이어야 합니다.

  • 3D 포인트 클라우드 레이블 지정 작업에서는 자동 데이터 레이블 지정이 지원되지 않습니다. LabelingJobAlgorithmsConfig에서 파라미터의 값을 지정하면 안 됩니다.

  • 3D 포인트 클라우드 객체 감지 레이블 지정 작업을 완료하는 데 몇 시간이 걸릴 수 있습니다. TaskTimeLimitInSeconds에서 이러한 레이블 지정 작업에 대해 더 긴 시간 제한을 지정할 수 있습니다(최대 7일 또는 604800초).

3D 포인트 클라우드 객체 감지 조정 또는 검증 레이블 지정 작업 생성

Ground Truth 콘솔 또는 CreateLabelingJob 를 사용하여 조정 또는 확인 레이블 지정 작업을 생성할 수 있습니다API. 조정 및 확인 레이블 지정 작업에 대해 자세히 알아보고 작업 생성 방법을 알아보려면 레이블 확인 및 조정 단원을 참조하세요.

조정 레이블 지정 작업을 생성할 때 레이블 지정 작업에 대한 입력 데이터에는 레이블과 이전 레이블 지정 작업 또는 외부 소스의 요, 피치, 롤 측정값이 포함될 수 있습니다. 조정 작업에서 피치 및 롤은 작업자 UI에 시각화되지만 수정할 수는 없습니다. 요는 조정 가능합니다.

Ground Truth는 다음과 같은 내부 회전이 있는 Tait-Bryan 각도를 사용하여 작업자 UI에서 요, 피치, 롤을 시각화합니다. 먼저 z축(요)에 따라 차량에 회전이 적용됩니다. 그 다음에는 회전된 차량이 내부 y'축(피치)에 따라 회전합니다. 마지막으로, 이 차량이 내부 x''축(롤)에 따라 회전합니다.

출력 데이터 형식

3D 포인트 클라우드 객체 감지 레이블 지정 작업을 생성하면 작업자에게 태스크가 전송됩니다. 작업자가 태스크를 완료하면 레이블 지정 작업을 생성할 때 지정한 Amazon S3 버킷에 레이블이 기록됩니다. 레이블 지정 작업 상태(LabelingJobStatus)가 인 경우 출력 데이터 형식에 따라 Amazon S3 버킷에 표시되는 내용이 결정됩니다Completed.

Ground Truth를 처음 사용할 경우 작업 출력 데이터 레이블 지정에서 Ground Truth 출력 데이터 형식의 세부 정보를 알아보세요. 3D 포인트 클라우드 객체 감지 출력 데이터 형식에 대한 자세한 내용은 3D 포인트 클라우드 객체 감지 출력 단원을 참조하세요.