기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
판매자 제공 데이터 피드 서비스
AWS Marketplace 셀러 소유의 비즈니스 인텔리전스 도구 간에 구조화된 up-to-date 제품 및 고객 정보를 AWS Marketplace 시스템에서 셀러 Amazon S3 버킷으로 전송 ETL (추출, 변환 및 로드) 하는 메커니즘으로 데이터 피드를 제공합니다.
트랜잭션 데이터는 양방향 시간 구조로 전달 및 추가되므로 판매자는 두 타임라인 및 두 타임라인의 타임스탬프와 함께 데이터를 저장하고 쿼리할 수 있습니다.
-
유효 시간: 실제 세계에서 사실이 발생한 시간(“알게 된 정보”)
-
시스템 시간: 해당 사실이 데이터베이스에 기록된 시간(“알게 된 시간”).
데이터 피드는 전날 24시간 분량의 데이터가 포함된 전일 업데이트 후 매일 자정에 UTC 전송됩니다. 구독하는 고객, 청구서를 받는 고객 또는 결제 금액을 기준으로 업데이트를 정의할 수 있습니다. AWS
이 단원에서는 데이터 피드의 개요와 데이터 피드를 액세스하고 사용하는 방법을 설명합니다. 후속 단원에서는 각 데이터 피드에 대해 설명합니다.
데이터 피드의 저장 및 구조
데이터 피드는 쉼표로 구분된 value (CSV) 파일을 수집하여 사용자가 제공한 암호화된 Amazon S3 버킷으로 전송합니다. CSV파일에는 다음과 같은 특징이 있습니다.
-
4180 표준
을 따릅니다. -
문자 인코딩을 제외한 경우 UTF -8입니다. BOM
-
값 사이의 구분 기호로 쉼표가 사용됩니다.
-
필드는 큰따옴표로 이스케이프됩니다.
-
\n
은 줄 바꿈 문자입니다. -
날짜는 UTC 시간대로 보고되며 ISO 8601 날짜 및 시간 형식으로 표시되며 1초 이내에 정확합니다.
-
모든
*_period_start_date
및*_period_end_date
값은 경계 값을 포함합니다. 따라서 모든 날짜에 가능한 마지막 타임스탬프는23:59:59
입니다. -
모든 금액 필드 앞에는 통화 필드가 있습니다.
-
금액 필드는 마침표(
.
) 문자를 소수 구분 기호로 사용하며 쉼표(,)를 천 단위 구분 기호로 사용하지 않습니다.
데이터 피드는 다음과 같이 생성되고 저장됩니다.
-
데이터 피드는 하루 내에 생성되며 전날의 24시간 데이터를 포함합니다.
-
Amazon S3 버킷에서 데이터 피드는 다음 형식을 사용하여 월 단위로 구성됩니다.
bucket-name
/data-feed-name_version
/year=YYYY
/month=MM
/data.csv -
각 일별 데이터 피드가 생성되면 해당 월의 기존 CSV 파일에 추가됩니다. 새 달이 시작되면 각 데이터 피드에 대해 새 CSV 파일이 생성됩니다.
-
데이터 피드의 정보는 2010/01/01부터 2020/04/30 (포함) 까지 채워지며 하위 폴더의 파일에서 사용할 수 있습니다. CSV
year=2010/month=01
해당 데이터 피드의 이번 달 파일에 열 머리글만 있고 데이터가 없는 상황이 있을 수 있습니다. 이는 이번 달에 해당 피드의 새로운 항목이 없음을 의미합니다. 이 문제는 제품 피드와 같이 자주 업데이트되지 않는 데이터 피드에서 발생할 수 있습니다. 이러한 경우 백필된 폴더에서 데이터를 사용할 수 있습니다.
-
Amazon S3에서는 Amazon S3 수명 주기 정책을 생성하여 버킷에 파일을 보관하는 기간을 관리할 수 있습니다.
-
데이터가 암호화된 S3 버킷으로 전송될 때 SNS 알리도록 Amazon을 구성할 수 있습니다. 알림을 구성하는 방법에 대한 자세한 내용은 Amazon SNS 단순 알림 서비스 개발자 안내서의 Amazon 시작하기를 참조하십시오.
데이터에 대한 기록
각 데이터 피드에는 데이터에 대한 기록을 문서화하는 열이 포함됩니다. valid_to
를 제외하고 이러한 열은 모든 데이터 피드에 공통적입니다. 공통 기록 스키마로 포함되며, 데이터 쿼리에 유용합니다.
열 이름 | 설명 |
---|---|
valid_from | 기본 키의 값이 다른 필드의 값과 관련하여 유효한 첫 번째 날짜입니다. |
valid_to | 이 열은 주소 데이터 피드에만 표시되며 항상 비어 있습니다. |
insert_date | 레코드가 데이터 피드에 삽입된 날짜입니다. |
update_date | 레코드가 마지막으로 업데이트된 날짜입니다. |
delete_date | 이 열은 항상 비어 있습니다. |
다음은 이러한 열의 예입니다.
valid_from | valid_to | insert_date | update_date | delete_date |
---|---|---|---|---|
2018-12-12T02:00:00Z | 2018-12-12T02:00:00Z | 2018-12-12T02:00:00Z | ||
2019-03-29T03:00:00Z | 2019-03-29T03:00:00Z | 2019-03-29T03:00:00Z | ||
2019-03-29T03:00:00Z | 2019-03-29T03:00:00Z | 2019-04-28T03:00:00Z |
valid_from
필드와 update_date
필드는 함께 양방향 시간 데이터 모델을 구성합니다. valid_from
필드는 그 이름처럼 항목이 언제부터 유효한지 알려줍니다. 항목이 편집된 경우 피드에 여러 레코드가 있을 수 있으며, 각 레코드의 update_date
는 다르지만 valid_from
날짜는 같습니다. 예를 들어 항목의 현재 값을 찾으려면 valid_from
날짜가 가장 최근인 레코드 목록에서 update_date
가 가장 최근인 레코드를 찾으면 됩니다.
위 예제의 레코드는 2018년 12월 12에 처음으로 생성되었습니다. 그리고 2019년 3월 29에 변경되었습니다(예: 레코드의 주소 변경). 그 후 2019년 4월 28일에 주소 변경이 수정되었습니다. 따라서 valid_from
은 변경되지 않았지만 update_date
는 변경되었습니다. 주소를 수정하면(드문 경우지만) 원래 valid_from
날짜의 레코드를 소급하여 변경하므로, 해당 필드는 변경되지 않았습니다. 가장 최근 valid_from
을 찾는 쿼리는 2개 레코드를 반환하는데, update_date
가 가장 최근인 레코드는 실제 현재 레코드를 제공합니다.
데이터 피드 액세스
데이터 피드에 액세스하려면 암호화된 Amazon S3 버킷으로 데이터 피드를 수신하도록 환경을 구성해야 합니다. 다단계 프로세스를 따라 데이터 피드에 액세스하며, 다음 단계를 통해 방법을 설명합니다.
SQL및 ETL (추출, 변환, 로드) 경험이 있는 비즈니스 인텔리전스 또는 데이터 엔지니어를 배정하십시오. 또한 이 사람은 설정 APIs 경험이 있어야 합니다.
Amazon 심플 스토리지 서비스 버킷을 설정하고 데이터 피드를 구독합니다. Marketplace 제품 목록과 연결된 AWS 셀러 계정 ID를 사용하십시오. 이렇게 하려면 이 YouTube 동영상을 보거나
아래 단계를 따르세요. 비디오와 단계는 구성을 단순화하는 데 도움이 되는 AWS CloudFormation 템플릿을
사용하는 방법을 설명합니다. -
웹 브라우저를 열고 AWS Marketplace Management Portal
에 로그인한 다음, 고객 데이터 스토리지 설정 으로 이동합니다. -
AWS CloudFormation 템플릿으로 리소스 만들기를 선택하여 AWS CloudFormation 콘솔의 다른 창에서 템플릿을 엽니다.
-
템플릿에서 다음 필드를 지정하고 다음을 선택합니다.
-
스택 이름 - 데이터 피드에 액세스할 수 있도록 생성하는 리소스 컬렉션입니다.
-
Amazon S3 버킷 이름 - 데이터 피드를 저장할 버킷입니다.
-
(선택 사항) Amazon SNS 주제 이름 — Amazon S3 버킷에 새 데이터를 전송할 때 AWS 알림을 수신하는 주제입니다.
-
-
검토 페이지에서 지정한 사항을 확인하고 스택 생성을 선택합니다. 그러면 CloudFormation 상태 및 세부 정보가 포함된 새 페이지가 열립니다.
-
리소스 탭에서 페이지의 다음 리소스에 대한 Amazon 리소스 이름 (ARNs) 을 고객 데이터 스토리지 AWS Marketplace 설정 CloudFormation
페이지의 필드로 복사합니다. -
데이터 피드를 저장할 Amazon S3 버킷
-
AWS KMS Amazon S3 버킷을 암호화하기 위한 키
-
(선택 사항) Amazon S3 버킷에 새 데이터를 전송할 때 AWS 알림을 수신하는 Amazon SNS 주제
-
-
고객 데이터 스토리지 설정 페이지에서 제출을 선택합니다.
-
(선택 사항) CloudFormation 템플릿으로 생성한 정책을 편집합니다. 자세한 내용은 데이터 피드 정책 섹션을 참조하세요.
이제 데이터 피드를 구독했습니다. 다음에 데이터 피드가 생성되면 해당 데이터에 액세스할 수 있습니다.
-
ETL(추출, 변환, 로드) 작업을 사용하여 데이터 피드를 데이터 웨어하우스나 관계형 데이터베이스에 연결합니다.
참고
데이터 도구에는 다양한 기능이 있습니다. 도구 기능에 맞게 통합을 설정하려면 비즈니스 인텔리전스 엔지니어 또는 데이터 엔지니어를 참여시켜야 합니다.
SQL쿼리를 실행하거나 만들려면 데이터 도구에서 기본 키와 외래 키를 적용하도록 데이터 피드를 구성하세요. 각 데이터 피드는 고유한 테이블을 나타내므로 엔터티 관계를 사용하여 데이터 스키마의 모든 데이터 피드를 설정해야 합니다. 테이블 및 엔티티 관계에 대한 자세한 내용은 이 데이터 피드 테이블 개요 가이드의 내용을 참조하십시오.
데이터 웨어하우스 또는 관계형 데이터베이스를 자동으로 새로 고치도록 Amazon Simple Notification Service를 설정하십시오. 각 고유 피드의 데이터가 S3 버킷으로 전송될 때 SNS 알림을 보내도록 Amazon 알림을 구성할 수 있습니다. 셀러 데이터 도구가 이 기능을 지원하는 경우 이러한 알림을 활용하여 데이터 피드를 통해 새 데이터를 수신하면 셀러 데이터 웨어하우스를 자동으로 새로 고칠 수 있습니다. Amazon SNS 단순 알림 서비스 개발자 안내서의 Amazon 시작하기를 참조하십시오.
알림 예제:
{ "mainExecutionId": "
1bc08b11-ab4b-47e1-866a-9c8f38423a98
", "executionId": "52e862a9-42d2-41e0-8010-810af84d39b1
", "subscriptionId": "27ae3961-b13a-44bc-a1a7-365b2dc181fd
", "processedFiles": [], "executionStatus": "SKIPPED
", "errors": [], "feedType": "[data feed name
]" }알림은 다음과 같은
executionStatus
상태를 가질 수 있습니다.SKIPPED
— 셀러에게 해당 날짜에 대한 새 데이터가 없습니다.COMPLETED
— 새 데이터가 포함된 피드를 전달했습니다.FAILED
— 피드 전송에 문제가 있습니다.
SQL쿼리를 실행하여 설정을 확인합니다. https://github.com/aws-samples/aws-marketplace-api-samples/tree/main/ seller-data-feeds /queries에서
이 가이드의 샘플 쿼리를 사용하거나 에 있는 GitHub 쿼리를 사용할 수 있습니다. 참고
이 가이드의 샘플 쿼리는 AWS Athena를 대상으로 작성되었습니다. 도구와 함께 사용하려면 쿼리를 수정해야 할 수도 있습니다.
-
비즈니스 사용자가 데이터를 소비하려는 위치를 결정하세요. 예를 들어, 다음을 수행할 수 있습니다.
데이터 웨어하우스 또는 SQL 데이터베이스에서.csv 데이터를 내보냅니다.
데이터를 PowerBI 또는 Tableau와 같은 시각화 도구에 연결하십시오.
데이터를 Salesforce CRMERP, Infor 또는 Netsuite와 같은, 또는 재무 도구에 매핑할 수 있습니다.
AWS CloudFormation 템플릿에 대한 자세한 내용은 사용 설명서의 AWS CloudFormation 템플릿 사용을 참조하십시오.AWS CloudFormation
데이터 피드 정책
CloudFormation 템플릿으로 Amazon S3 버킷을 생성하면 해당 버킷, AWS KMS 키 및 Amazon SNS 주제에 연결된 액세스에 대한 정책이 생성됩니다. 정책을 통해 AWS Marketplace 보고서 서비스는 데이터 피드 정보와 함께 버킷과 SNS 주제에 글을 쓸 수 있습니다. 각 정책에는 다음과 같은 섹션이 있습니다. 이 예제는 Amazon S3 버킷에서 가져온 것입니다.
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::
datafeed-bucket
", "arn:aws:s3:::datafeed-bucket
/*" ] },
이 정책에서 reports.marketplace.amazonaws.com
는 Amazon S3 버킷으로 데이터를 푸시하는 데 AWS Marketplace 사용하는 서비스 보안 주체입니다. CloudFormation 템플릿에서 지정한 버킷입니다. datafeed-bucket
AWS Marketplace 보고서 서비스가 Amazon S3 또는 SNS Amazon을 호출하면 호출 시 버킷에 쓰려는 데이터를 제공합니다. AWS KMS ARN 버킷에 기록된 데이터만 사용자를 대신하여 기록되게 하려면 정책 조건에서 aws:SourceArn
을 지정하면 됩니다. 다음 예시에서는 다음을 교체해야 합니다.account-id
귀하의 ID로 AWS 계정.
{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-amzn-s3-demo-bucket", "arn:aws:s3:::datafeed-amzn-s3-demo-bucket/*" , "Condition": { "StringEquals": { "aws:SourceAccount": "
account-id
", "aws:SourceArn": ["arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/DataFeeds_V1", "arn:aws:marketplace::account-id
:AWSMarketplace/SellerDataSubscription/Example-Report
"] } } },
데이터 피드 구독 취소
웹 브라우저를 열고 AWSMarketplace 관리 포털에
데이터 피드 사용
Amazon S3 버킷에 데이터가 있으면 다음과 같은 방법으로 데이터 피드를 사용할 수 있습니다.
-
다운로드. CSV스프레드시트에서 데이터를 볼 수 데이터 피드 액세스 있도록 생성한 Amazon S3 버킷의 파일
-
ETL(추출, 변환, 로드), SQL 쿼리, 비즈니스 분석 도구를 사용하여 데이터를 수집하고 분석합니다.
AWS 서비스를 사용하여 데이터를 수집하고 분석하거나 분석을 수행할 수 있는 타사 도구를 사용할 수 있습니다. CSV기반 데이터셋.
예: AWS 서비스를 사용하여 데이터 수집 및 분석
다음 절차에서는 Amazon S3 버킷에 데이터 피드를 수신하도록 환경을 이미 구성했으며 버킷에 데이터 피드가 포함되어 있다고 가정합니다.
데이터 피드에서 데이터를 수집하고 분석하려면
-
AWS Glue 콘솔
에서 크롤러를 생성하여 데이터 피드를 저장하는 Amazon S3 버킷에 연결하고, 원하는 데이터를 추출하고, AWS Glue Data Catalog에서 메타데이터 테이블을 생성합니다. 에 대한 AWS Glue자세한 내용은 AWS Glue 개발자 안내서를 참조하십시오.
-
Athena 콘솔에서
의 데이터에 대한 SQL 쿼리를 실행합니다. AWS Glue Data Catalog Athena에 대한 자세한 내용은 Amazon Athena 사용 설명서를 참조하세요.
-
Amazon QuickSight 콘솔에서
분석을 생성한 다음 데이터의 시각적 이미지를 생성합니다. QuickSightAmazon에 대한 자세한 내용은 Amazon QuickSight 사용 설명서를 참조하십시오.
AWS 서비스를 사용하여 데이터 피드의 데이터를 수집하고 분석하는 한 가지 방법에 대한 자세한 예는 블로그에서 셀러 데이터 피드 배송 서비스, Amazon Athena 및 QuickSight Amazon을 사용하여 셀러 보고서 생성을