데이터 입력 AWS Data Exchange

데이터는 세 가지 구성 요소를 AWS Data Exchange 사용하여 구성됩니다.

이 세 가지 구성 요소는 AWS Data Exchange 콘솔이나 AWS Data Exchange API를 사용하여 관리하는 제품의 기초를 형성합니다.

데이터 세트를 생성, 확인, 업데이트 또는 삭제하려면 AWS Data Exchange 콘솔, AWS Command Line Interface (AWS CLI), 자체 REST 클라이언트 또는 AWS SDK 중 하나를 사용할 수 있습니다. 프로그래밍 방식으로 AWS Data Exchange 데이터 세트를 관리하는 방법에 대한 자세한 내용은 AWS Data Exchange API 참조를 참조하십시오.

자산

자산은 의 AWS Data Exchange데이터입니다.

자산 유형은 데이터 세트, 데이터 권한 또는 이를 포함하는 제품을 통해 수신자 또는 구독자에게 데이터가 전달되는 방식을 정의합니다.

자산은 다음 중 하나입니다.

자산 구조

자산에는 다음 파라미터가 있습니다.

{
    "Name": "automation/cloudformation.yaml",
    "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5",
    "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5",
    "CreatedAt": "2019-10-17T21:31:29.833Z",
    "UpdatedAt": "2019-10-17T21:31:29.833Z",
    "AssetType": "S3_SNAPSHOT",
    "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20",
    "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf",
    "AssetDetails": {
        "S3SnapshotAsset": {
            "Size": 9423
        }
    }
}

자산 유형

파일 데이터 세트

구독자는 파일을 사용하여 사용 권한이 부여된 데이터 세트로 데이터 세트 사본에 액세스하여 자산을 내보낼 수 있습니다.

데이터 세트 소유자는 AWS Data Exchange 콘솔을 사용하거나 AWS CLI, 자체 REST 애플리케이션 또는 AWS SDK 중 하나를 통해 프로그래밍 방식으로 파일을 가져오고 내보낼 수 있습니다. Amazon S3 자산 가져오기에 대한 자세한 내용은 S3 버킷에서 자산 가져오기을 참조하십시오. 자산 내보내기에 대한 자세한 내용은 S3 버킷으로 자산 내보내기 단원을 참조하십시오.

API 자산

API 자산을 통해 데이터 수신자 또는 구독자는 API를 보고 권한 있는 데이터 세트로 API 사양을 다운로드할 수 있습니다. 또한 AWS Data Exchange-managed 엔드포인트에 대한 API 호출을 수행할 수 있으며, 이 호출은 API 소유자 엔드포인트로 프록시됩니다.

기존 Amazon API Gateway API가 있는 데이터 세트 소유자는 AWS Data Exchange 콘솔을 사용하거나 AWS SDK를 통해 프로그래밍 방식으로 API 자산을 추가할 수 있습니다. AWS CLI Amazon S3 자산 가져오기에 대한 자세한 내용은 Amazon API Gateway API에서 자산 가져오기을 참조하세요.

기존 Amazon API Gateway API가 없는 데이터 세트 소유자는 제품에 API 자산을 추가하기 전에 API를 생성해야 합니다. 자세한 내용은 Amazon API Gateway 개발자 안내서의 API Gateway에서 REST API 개발을 참조하세요.

Amazon Redshift 데이터 공유 자산

Amazon Redshift 데이터 공유 자산을 사용하면 수신자는 데이터를 추출, 변환 및 로드하지 않고 Amazon Redshift에서 데이터를 쿼리할 읽기 전용 액세스를 얻을 수 있습니다.

Amazon Redshift 데이터 공유 자산 가져오기에 대한 자세한 내용은 Amazon Redshift의 AWS Data Exchange 데이터 공유에서 자산 가져오기을 참조하세요.

AWS Lake Formation 데이터 권한 (미리 보기)

수신자 또는 구독자는 AWS Lake Formation 데이터 권한 자산을 사용하여 지정된 태그와 관련된 모든 데이터베이스, 테이블 또는 열에 액세스하고 쿼리할 수 있습니다.

데이터 세트 소유자는 태그를 AWS Data Exchange 자산의 일부로 가져오기 전에 데이터를 만들고 태그를 지정해야 합니다. Lake Formation 권한 자산 가져오기에 대한 자세한 내용은 (미리 보기) 에서 자산 가져오기 AWS Lake Formation 섹션을 참조하세요.

Amazon S3 데이터 액세스

Amazon S3 데이터 액세스 자산을 사용하면 소유자 또는 구독자는 데이터 사본을 생성하거나 관리하지 않고도 공급자의 데이터에 직접 액세스하여 사용할 수 있습니다. 데이터 세트 소유자는 기존 Amazon S3 버킷에 Amazon S3 AWS Data Exchange 설정하여 전체 S3 버킷 또는 특정 접두사와 Amazon S3 객체에 대한 직접 액세스를 공유할 수 있습니다.

개정

개정은 하나 이상의 자산이 있는 컨테이너입니다.

Amazon S3에서 개정하여 데이터를 업데이트합니다. 예를 들어, .csv 파일 모음이나 단일 .csv 파일 및 사전을 그룹화하여 수정 버전을 생성할 수 있습니다. 새 데이터를 사용할 수 있게 되면 개정 버전을 만들고 자산을 추가할 수 있습니다. AWS Data Exchange 콘솔을 사용하여 개정 버전을 만들고 완료하면 구독자가 해당 개정 버전을 즉시 사용할 수 있습니다. 자세한 정보는 새 제품 게시을 참조하세요.

다음 사항에 유의하십시오:

개정 구조

개정에는 다음 파라미터가 있습니다.

        {
            "UpdatedAt": "2019-10-11T14:13:31.749Z",
            "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f",
            "Comment": "initial data revision",
            "Finalized": true,
            "Id": "e5EXAMPLE224f879066f9999EXAMPLE42",
            "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42",
            "CreatedAt": "2019-10-11T14:11:58.064Z"
        }

데이터 세트

의 데이터 세트는 시간이 지남에 따라 변경될 수 있는 데이터 모음입니다. AWS Data Exchange

수신자 또는 구독자가 파일 데이터 세트에 액세스하면 해당 데이터 세트의 특정 개정 버전에 액세스하게 됩니다. 이 구조를 통해 공급자는 과거 데이터의 변경에 대해 걱정할 필요 없이 시간이 지남에 따라 데이터 세트에서 사용 가능한 데이터를 변경할 수 있습니다.

수신자 또는 구독자가 API 데이터 세트에 액세스할 때는 API 자산이 포함된 데이터 세트에 액세스하게 되며, 구독자는 이를 통해 AWS Data Exchange관리형 엔드포인트에서 API 호출을 할 수 있으며, 이 데이터는 제공자 엔드포인트로 프록시됩니다.

수신자 또는 구독자가 Amazon Redshift 데이터 세트에 액세스하는 것은 Amazon Redshift의 AWS Data Exchange 데이터 공유에 액세스하는 것입니다. 구독자는 데이터 소유자가 데이터 공유에 추가한 스키마, 테이블, 보기 및 사용자 정의 함수에 대한 읽기 전용 액세스 권한을 가질 수 있습니다.

수신자 또는 구독자가 AWS Lake Formation 데이터 권한 데이터 세트에 액세스하는 경우 데이터 세트 소유자가 지정한 LF 태그가 지정된 데이터베이스, 테이블 및/또는 열에 액세스하게 됩니다.

수신자 또는 구독자가 Amazon S3 데이터 액세스 데이터 세트에 액세스하면 공급자의 Amazon S3 버킷에 호스팅된 공유 Amazon S3 객체에 대한 읽기 전용 액세스 권한이 부여됩니다. 수신자 또는 구독자는 이 데이터를 다른 AWS 서비스으로 직접 사용할 수 있습니다.

제공자는 AWS Data Exchange 콘솔, AWS CLI, 자체 REST 클라이언트 또는 SDK 중 하나를 사용하여 데이터 세트를 생성, 확인, 업데이트 또는 삭제할 수 있습니다. AWS 프로그래밍 방식으로 AWS Data Exchange 데이터 세트를 관리하는 방법에 대한 자세한 내용은 API 참조를 참조하십시오.AWS Data Exchange

소유 데이터 세트

데이터 세트를 생성한 계정의 소유입니다. OWNED로 설정된 origin 파라미터를 사용하여 소유한 데이터 세트를 식별할 수 있습니다.

사용 권한이 있는 데이터 세트

사용 권한이 부여된 데이터 세트는 발신자가 소유한 데이터 세트의 읽기 전용 보기입니다. 권한이 부여된 데이터 세트는 데이터 부여 생성 또는 제품 게시 시 생성되며, 활성 데이터 부여 또는 제품 구독이 있는 수신자 또는 구독자가 사용할 수 있습니다. ENTITLED로 설정된 origin 파라미터를 사용하여 소유한 데이터 세트를 식별할 수 있습니다.

수신자는 AWS Data Exchange API 또는 콘솔을 사용하여 권한이 부여된 데이터 세트를 보고 상호 작용할 수 있습니다. AWS Data Exchange

데이터 세트 소유자는 수신자 또는 구독자가 볼 수 있는 권한 있는 데이터 세트 보기에 액세스할 수도 있습니다. AWS Data Exchange API를 사용하거나 AWS Data Exchange 콘솔의 데이터 그랜트 또는 제품 페이지에서 데이터 세트 이름을 선택하면 됩니다.

데이터 세트 유형

에서는 다음과 같은 데이터 세트 유형이 지원됩니다 AWS Data Exchange.

파일 데이터 세트

파일 데이터 세트는 Amazon S3에서 허용하는 플랫 파일을 포함하는 데이터 세트입니다.

수신자 또는 구독자는 데이터를 로컬로 내보내거나(컴퓨터에 다운로드) Amazon S3 버킷으로 내보낼 수 있습니다.

데이터 세트 소유자는 Amazon S3 버킷에서 모든 유형의 플랫 파일을 가져와 데이터 세트에 추가할 수 있습니다.

API 데이터 세트

API 데이터 세트는 API 자산이 포함된 데이터 세트입니다. API 자산을 사용하면 수신자 또는 구독자가 AWS Data Exchange-managed 엔드포인트로 API 호출을 할 수 있으며, 이 호출은 데이터 세트 소유자 엔드포인트로 프록시됩니다.

데이터 세트 소유자는 Amazon API Gateway에서 API를 생성하고 이를 데이터 세트에 추가하여 데이터 권한 생성 또는 구독 시 API에 대한 액세스 라이선스를 부여합니다.

Amazon Redshift 데이터 세트

Amazon Redshift 데이터 세트에는 AWS Data Exchange Amazon Redshift의 데이터 공유가 포함됩니다. 데이터 공유가 포함된 데이터 세트를 구독하면 데이터 공유의 소비자로 추가됩니다. 사용자는 데이터 세트 소유자가 데이터 공유에 추가한 스키마, 테이블, 보기 및 사용자 정의 함수에 대한 읽기 전용 액세스 권한을 가질 수 있습니다.

데이터 세트 소유자는 Amazon Redshift의 데이터 공유에서 데이터베이스를 만든 다음 파일을 추출, 변환 및 로드하지 않고도 라이브 데이터를 쿼리할 수 있습니다. 데이터 권한 부여 또는 구독이 활성화되면 자동으로 데이터 공유에 대한 액세스 권한이 부여되며, 둘 중 하나가 만료되면 액세스 권한을 읽게 됩니다.

데이터 세트 소유자는 Amazon Redshift에서 데이터 공유를 생성하고 이를 데이터 세트에 추가하여 데이터 권한 생성 또는 구독 시 데이터 공유에 대한 액세스 라이선스를 부여합니다.

Amazon S3 데이터 액세스 데이터 세트

Amazon S3 데이터 액세스의 AWS Data Exchange 경우 데이터 수신자 또는 구독자는 데이터 세트 소유자의 Amazon S3 버킷에서 직접 타사 데이터 파일에 액세스할 수 있습니다.

Amazon S3 데이터 AWS Data Exchange 액세스용 제품을 구독하면 다음이 AWS Data Exchange 자동으로 수행됩니다.

Amazon S3의 AWS Data Exchange 경우 데이터 세트 소유자는 전체 Amazon S3 버킷 또는 특정 접두사와 Amazon S3 객체에 대한 직접 액세스를 공유할 수 있습니다. 또한 데이터 부여, 구독, 권한, 청구 및 결제를 자동으로 관리하는 데 사용할 AWS Data Exchange 수 있습니다.

AWS Lake Formation 데이터 세트 (미리 보기)

AWS Lake Formation 데이터 세트는 데이터 권한 자산이 포함된 AWS Lake Formation 데이터 세트입니다.

데이터 수신자 또는 구독자는 AWS Lake Formation에서 사용할 수 있는 데이터를 관리할 수 있습니다. 에서 리소스 링크를 생성한 후 Amazon Athena와 같은 분석 서비스를 사용하여 데이터를 쿼리할 수 있습니다. AWS Lake Formation

데이터 세트 소유자는 LF-태그를 사용하여 데이터에 태그를 지정하고 데이터 세트를 생성할 때 해당 태그를 자산으로 가져옵니다. AWS Lake Formation

AWS 리전 및 데이터 세트

지원되는 모든 데이터 세트에 포함될 수 AWS 리전있지만 단일 데이터 부여 또는 제품의 모든 데이터 세트는 동일해야 합니다 AWS 리전.

데이터 세트 구조

데이터 세트에는 다음 파라미터가 있습니다.

{
    "Origin": "OWNED", 
    "AssetType": "S3_SNAPSHOT", 
    "Name": "MyDataSetName", 
    "CreatedAt": "2019-09-09T19:31:49.704Z", 
    "UpdatedAt": "2019-09-09T19:31:49.704Z", 
    "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Description": "This is my data set's description that describes the contents of the data set."
}

데이터 세트 모범 사례

데이터 세트 소유자는 데이터 세트를 만들고 업데이트할 때 다음 모범 사례를 염두에 두세요.

Tags

소유한 데이터 세트와 해당 개정에 태그를 추가할 수 있습니다. 태그 지정을 사용하는 경우 태그 기반 액세스 제어 AWS Identity and Access Management (IAM) 정책을 사용하여 이러한 데이터 세트 및 수정본에 대한 액세스를 제어할 수도 있습니다.

사용 권한이 부여된 데이터 세트에는 태그를 지정할 수 없습니다. 소유한 데이터 세트의 태그와 수정 내용은 권한이 부여된 해당 버전에 전파되지 않습니다. 특히, 사용 권한이 있는 데이터 세트 및 수정 버전에 대한 읽기 전용 액세스 권한이 있는 수신자 또는 구독자는 원래 소유한 데이터 세트의 태그를 볼 수 없습니다.