의 데이터 AWS Data Exchange

데이터는 세 가지 구성 요소를 AWS Data Exchange 사용하여 에서 구성됩니다.

이 세 가지 구성 요소는 AWS Data Exchange 콘솔 또는 를 사용하여 관리하는 제품의 기반을 구성합니다 AWS Data Exchange API.

데이터 세트를 생성, 보기, 업데이트 또는 삭제하려면 AWS Data Exchange 콘솔 AWS Command Line Interface , (AWS CLI), 자체 REST 클라이언트 또는 중 하나를 사용할 수 있습니다 AWS SDKs. 프로그래밍 방식으로 AWS Data Exchange 데이터 세트를 관리하는 방법에 대한 자세한 내용은 AWS Data Exchange API 참조 단원을 참조하세요.

자산

자산은 의 데이터입니다 AWS Data Exchange.

자산 유형은 데이터 세트, 데이터 권한 또는 이를 포함하는 제품을 통해 수신자 또는 구독자에게 데이터가 전달되는 방식을 정의합니다.

자산은 다음 중 하나입니다.

자산 구조

자산에는 다음 파라미터가 있습니다.

{
    "Name": "automation/cloudformation.yaml",
    "Arn": "arn:aws:dataexchange:us-east-1::data-sets/29EXAMPLE24b82c6858af3cEXAMPLEcf/revisions/bbEXAMPLE74c02f4745c660EXAMPLE20/assets/baEXAMPLE660c9fe7267966EXAMPLEf5",
    "Id": "baEXAMPLE660c9fe7267966EXAMPLEf5",
    "CreatedAt": "2019-10-17T21:31:29.833Z",
    "UpdatedAt": "2019-10-17T21:31:29.833Z",
    "AssetType": "S3_SNAPSHOT",
    "RevisionId": "bbEXAMPLE74c02f4745c660EXAMPLE20",
    "DataSetId": "29EXAMPLE24b82c6858af3cEXAMPLEcf",
    "AssetDetails": {
        "S3SnapshotAsset": {
            "Size": 9423
        }
    }
}

자산 유형

파일 데이터 세트

구독자는 파일을 사용하여 사용 권한이 부여된 데이터 세트로 데이터 세트 사본에 액세스하여 자산을 내보낼 수 있습니다.

데이터 세트 소유자는 AWS Data Exchange 콘솔을 사용하여 , 자체 REST 애플리케이션 또는 중 하나를 통해 프로그래밍 방식으로 파일을 가져오고 내보낼 AWS CLI수 있습니다 AWS SDKs. Amazon S3 자산 가져오기에 대한 자세한 내용은 S3 버킷에서 AWS Data Exchange 자산 가져오기을 참조하십시오. 자산 내보내기에 대한 자세한 내용은 S3 버킷으로 AWS Data Exchange 자산 내보내기 단원을 참조하십시오.

API 자산

API 자산을 사용하면 데이터 수신자 또는 구독자가 를 보고 API 사양을 권한이 있는 데이터 세트로 API 다운로드할 수 있습니다. AWS Data Exchange관리형 엔드포인트를 API 호출한 다음 API소유자 엔드포인트로 프록시할 수도 있습니다.

기존 Amazon API Gateway가 있는 데이터 세트 소유자는 AWS Data Exchange 콘솔을 사용하여 또는 중 AWS CLI하나를 통해 프로그래밍 방식으로 API 자산을 추가할 API 수 있습니다 AWS SDKs. API 자산 가져오기에 대한 자세한 내용은 섹션을 참조하세요Amazon API Gateway에서 AWS Data Exchange 자산 가져오기 API.

기존 Amazon API Gateway가 없는 데이터 세트 소유자는 제품에 API 자산을 추가하기 전에 먼저 생성API해야 합니다. 자세한 내용은 Amazon API Gateway 개발자 안내서의 GatewayRESTAPI에서 개발 단원을 참조하세요. API

Amazon Redshift 데이터 공유 자산

Amazon Redshift 데이터 공유 자산을 사용하면 수신자는 데이터를 추출, 변환 및 로드하지 않고 Amazon Redshift에서 데이터를 쿼리할 읽기 전용 액세스를 얻을 수 있습니다.

Amazon Redshift 데이터 공유 자산 가져오기에 대한 자세한 내용은 Amazon Redshift용 AWS Data Exchange datashare에서 AWS Data Exchange 자산 가져오기을 참조하세요.

AWS Lake Formation 데이터 권한(미리 보기)

AWS Lake Formation 데이터 권한 자산을 사용하면 수신자 또는 구독자가 지정된 태그와 연결된 모든 데이터베이스, 테이블 또는 열에 액세스하고 쿼리할 수 있습니다.

데이터 세트 소유자는 태그를 AWS Data Exchange 자산의 일부로 가져오기 전에 데이터를 만들고 태그를 지정해야 합니다. Lake Formation 권한 자산 가져오기에 대한 자세한 내용은 에서 AWS Data Exchange 자산 가져오기 AWS Lake Formation (미리 보기) 섹션을 참조하세요.

Amazon S3 데이터 액세스

Amazon S3 데이터 액세스 자산을 사용하면 소유자 또는 구독자는 데이터 사본을 생성하거나 관리하지 않고도 공급자의 데이터에 직접 액세스하여 사용할 수 있습니다. 데이터 세트 소유자는 기존 Amazon S3 버킷에 Amazon S3 AWS Data Exchange 설정하여 전체 S3 버킷 또는 특정 접두사와 Amazon S3 객체에 대한 직접 액세스를 공유할 수 있습니다.

개정

개정은 하나 이상의 자산이 있는 컨테이너입니다.

Amazon S3에서 개정하여 데이터를 업데이트합니다. 예를 들어 .csv 파일 모음 또는 단일 .csv 파일과 사전을 그룹화하여 개정을 생성할 수 있습니다. 새 데이터를 사용할 수 있게 되면 개정 버전을 만들고 자산을 추가할 수 있습니다. AWS Data Exchange 콘솔을 사용하여 개정 버전을 만들고 완료하면 구독자가 해당 개정 버전을 즉시 사용할 수 있습니다. 자세한 내용은 에 새 제품 게시 AWS Data Exchange 단원을 참조하십시오.

다음 사항에 유의하십시오:

개정 구조

개정에는 다음 파라미터가 있습니다.

        {
            "UpdatedAt": "2019-10-11T14:13:31.749Z",
            "DataSetId": "1EXAMPLE404460dc9b005a0d9EXAMPLE2f",
            "Comment": "initial data revision",
            "Finalized": true,
            "Id": "e5EXAMPLE224f879066f9999EXAMPLE42",
            "Arn": "arn:aws:dataexchange:us-east-1:123456789012:data-sets/1EXAMPLE404460dc9b005a0d9EXAMPLE2f/revisions/e5EXAMPLE224f879066f9999EXAMPLE42",
            "CreatedAt": "2019-10-11T14:11:58.064Z"
        }

데이터 세트

의 데이터 세트 AWS Data Exchange 는 시간이 지남에 따라 변경될 수 있는 데이터 모음입니다.

수신자 또는 구독자가 파일 데이터 세트에 액세스할 때 데이터 세트의 특정 개정에 액세스합니다. 이 구조를 통해 공급자는 과거 데이터의 변경에 대해 걱정할 필요 없이 시간이 지남에 따라 데이터 세트에서 사용 가능한 데이터를 변경할 수 있습니다.

수신자 또는 구독자가 API 데이터 세트에 액세스할 때 API 자산이 포함된 데이터 세트에 액세스합니다. 이 데이터 세트를 사용하면 구독자가 AWS Data Exchange관리형 엔드포인트를 API 호출한 다음 공급자 엔드포인트로 프록시됩니다.

수신자 또는 구독자가 Amazon Redshift 데이터 세트에 액세스하는 것은 Amazon Redshift의 AWS Data Exchange 데이터 공유에 액세스하는 것입니다. 구독자는 데이터 소유자가 데이터 공유에 추가한 스키마, 테이블, 보기 및 사용자 정의 함수에 대한 읽기 전용 액세스 권한을 가질 수 있습니다.

수신자 또는 구독자가 AWS Lake Formation 데이터 권한 데이터 세트에 액세스할 때 데이터 세트 소유자가 지정한 LF 태그가 지정된 데이터베이스, 테이블 및/또는 열에 액세스합니다.

수신자 또는 구독자가 Amazon S3 데이터 액세스 데이터 세트에 액세스하면 공급자의 Amazon S3 버킷에 호스팅된 공유 Amazon S3 객체에 대한 읽기 전용 액세스 권한이 부여됩니다. 수신자 또는 구독자는 이 데이터를 다른 AWS 서비스으로 직접 사용할 수 있습니다.

데이터 세트를 생성, 보기, 업데이트 또는 삭제하기 위해 공급자는 AWS Data Exchange 콘솔, AWS CLI, 자체 REST 클라이언트 또는 중 하나를 사용할 수 있습니다 AWS SDKs. 프로그래밍 방식으로 AWS Data Exchange 데이터 세트를 관리하는 방법에 대한 자세한 내용은 AWS Data Exchange API 참조 단원을 참조하세요.

소유 데이터 세트

데이터 세트를 생성한 계정의 소유입니다. OWNED로 설정된 origin 파라미터를 사용하여 소유한 데이터 세트를 식별할 수 있습니다.

사용 권한이 있는 데이터 세트

사용 권한이 부여된 데이터 세트는 발신자가 소유한 데이터 세트의 읽기 전용 보기입니다. 권한이 부여된 데이터 세트는 데이터 부여 생성 또는 제품 게시 시 생성되며, 활성 데이터 부여 또는 제품 구독이 있는 수신자 또는 구독자가 사용할 수 있습니다. ENTITLED로 설정된 origin 파라미터를 사용하여 소유한 데이터 세트를 식별할 수 있습니다.

수신자는 AWS Data Exchange 콘솔에서 API 또는 를 AWS Data Exchange 사용하여 권한이 있는 데이터 세트를 보고 상호 작용할 수 있습니다.

데이터 세트 소유자는 수신자 또는 구독자가 볼 수 있는 권한 있는 데이터 세트 보기에 액세스할 수도 있습니다. 를 사용하거나 AWS Data Exchange 콘솔의 데이터 권한 부여 또는 제품 페이지에서 데이터 세트 이름을 AWS Data Exchange API선택하여 이 작업을 수행할 수 있습니다.

데이터 세트 유형

에서 지원되는 데이터 세트 유형은 다음과 같습니다 AWS Data Exchange.

파일 데이터 세트

파일 데이터 세트는 Amazon S3에서 허용하는 플랫 파일을 포함하는 데이터 세트입니다.

수신자 또는 구독자는 데이터를 로컬로 내보내거나(컴퓨터에 다운로드) Amazon S3 버킷으로 내보낼 수 있습니다.

데이터 세트 소유자는 Amazon S3 버킷에서 모든 유형의 플랫 파일을 가져와 데이터 세트에 추가할 수 있습니다.

API 데이터 세트

API 데이터 세트는 API 자산을 포함하는 데이터 세트입니다. API 자산을 사용하면 수신자 또는 구독자가 AWS Data Exchange관리형 엔드포인트를 API 호출한 다음 데이터 세트 소유자 엔드포인트로 프록시할 수 있습니다.

데이터 세트 소유자는 Amazon API GatewayAPI에서 를 생성하고 데이터 세트에 추가하여 데이터 권한 부여 생성 또는 구독 API 시 에 대한 액세스 권한을 부여합니다.

Amazon Redshift 데이터 세트

Amazon Redshift 데이터 세트에는 Amazon Redshift용 AWS Data Exchange 데이터 공유가 포함됩니다. 데이터 공유가 포함된 데이터 세트를 구독하면 데이터 공유의 소비자로 추가됩니다. 사용자는 데이터 세트 소유자가 데이터 공유에 추가한 스키마, 테이블, 보기 및 사용자 정의 함수에 대한 읽기 전용 액세스 권한을 가질 수 있습니다.

데이터 세트 소유자는 Amazon Redshift의 데이터 공유에서 데이터베이스를 만든 다음 파일을 추출, 변환 및 로드하지 않고도 라이브 데이터를 쿼리할 수 있습니다. 데이터 권한 부여 또는 구독이 활성화되면 자동으로 데이터 공유에 대한 액세스 권한이 부여되며, 둘 중 하나가 만료되면 액세스 권한을 읽게 됩니다.

데이터 세트 소유자는 Amazon Redshift에서 데이터 공유를 생성하고 이를 데이터 세트에 추가하여 데이터 권한 생성 또는 구독 시 데이터 공유에 대한 액세스 라이선스를 부여합니다.

Amazon S3 데이터 액세스 데이터 세트

를 사용하여 Amazon S3 데이터 액세스에 AWS Data Exchange 대해 데이터 수신자 또는 구독자는 데이터 세트 소유자의 Amazon S3 버킷에서 직접 타사 데이터 파일에 액세스할 수 있습니다.

AWS Data Exchange for Amazon S3 데이터 액세스 제품을 구독하면 AWS Data Exchange 자동으로 다음을 수행합니다.

for Amazon S3 AWS Data Exchange 를 사용하면 데이터 세트 소유자가 전체 Amazon S3 버킷 또는 특정 접두사 및 Amazon S3 객체에 대한 직접 액세스를 공유할 수 있습니다. 또한 데이터 권한 부여, 구독, 권한 부여, 결제 및 결제를 자동으로 관리하는 데 사용할 AWS Data Exchange 수 있습니다.

AWS Lake Formation 데이터 세트(미리 보기)

AWS Lake Formation 데이터 세트는 데이터 권한 자산을 포함하는 AWS Lake Formation 데이터 세트입니다.

데이터 수신자 또는 구독자는 AWS Lake Formation에서 사용할 수 있는 데이터를 관리할 수 있습니다. 에서 리소스 링크를 생성한 후 Amazon Athena와 같은 분석 서비스를 사용하여 데이터를 쿼리 AWS Lake Formation할 수 있습니다.

데이터 세트 소유자는 에서 LF 태그를 사용하여 데이터에 태그를 지정 AWS Lake Formation 하고 데이터 세트를 생성할 때 해당 태그를 자산으로 가져옵니다.

AWS 리전 및 데이터 세트

데이터 세트는 지원되는 모든 에 있을 수 AWS 리전있지만 단일 데이터 권한 부여 또는 제품의 모든 데이터 세트는 동일한 에 있어야 합니다 AWS 리전.

데이터 세트 구조

데이터 세트에는 다음 파라미터가 있습니다.

{
    "Origin": "OWNED", 
    "AssetType": "S3_SNAPSHOT", 
    "Name": "MyDataSetName", 
    "CreatedAt": "2019-09-09T19:31:49.704Z", 
    "UpdatedAt": "2019-09-09T19:31:49.704Z", 
    "Id": "fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Arn": "arn:aws:dataexchange:us-east-2:123456789109:data-sets/fEXAMPLE1fd9a5c8b0d2e6fEXAMPLEe1", 
    "Description": "This is my data set's description that describes the contents of the data set."
}

데이터 세트 모범 사례

데이터 세트 소유자는 데이터 세트를 만들고 업데이트할 때 다음 모범 사례를 염두에 두세요.

Tags

소유한 데이터 세트와 해당 개정에 태그를 추가할 수 있습니다. 태그 지정을 사용하는 경우 AWS Identity and Access Management (IAM) 정책의 태그 기반 액세스 제어를 사용하여 이러한 데이터 세트 및 개정에 대한 액세스를 제어할 수도 있습니다.

사용 권한이 부여된 데이터 세트에는 태그를 지정할 수 없습니다. 소유한 데이터 세트의 태그와 수정 내용은 권한이 부여된 해당 버전에 전파되지 않습니다. 특히, 사용 권한이 있는 데이터 세트 및 수정 버전에 대한 읽기 전용 액세스 권한이 있는 수신자 또는 구독자는 원래 소유한 데이터 세트의 태그를 볼 수 없습니다.