Serviço de feeds de dados de entrega do vendedor - AWS Marketplace

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Serviço de feeds de dados de entrega do vendedor

AWS Marketplace fornece feeds de dados como um mecanismo para enviar informações estruturadas sobre up-to-date produtos e clientes dos AWS Marketplace sistemas para os buckets Amazon S3 do vendedor ETL para (extrair, transformar e carregar) entre as ferramentas de inteligência de negócios de propriedade do vendedor.

Os dados transacionais são entregues e anexados em uma estrutura bitemporal para que os vendedores possam armazenar e consultar dados em dois cronogramas com registros de data e hora para ambos

  • hora válida: quando um fato ocorreu no mundo real (“o que você sabia”)

  • hora do sistema: quando esse fato foi registrado no banco de dados (“quando você soube”).

Os feeds de dados são entregues diariamente à meia-noite UTC após uma atualização do dia anterior contendo 24 horas de dados do dia anterior. Uma atualização pode ser definida por um cliente se inscrevendo, um cliente sendo faturado ou AWS desembolsando o pagamento.

Esta seção fornece uma visão geral dos feeds de dados e explica como acessá-los e usá-los. As seções subsequentes descrevem cada feed de dados.

Armazenamento e estrutura dos feeds de dados

Os feeds de dados coletam e entregam arquivos value (CSV) separados por vírgula para um bucket criptografado do Amazon S3 fornecido por você. Os CSV arquivos têm as seguintes características:

  • Eles seguem os padrões 4180.

  • A codificação de caracteres é UTF -8 sem. BOM

  • As vírgulas são usadas como separadores entre valores.

  • Os caracteres de escape são indicados por aspas duplas.

  • \n é o caractere de feed de linha.

  • As datas são informadas no fuso UTC horário, estão no formato de data e hora ISO 8601 e são precisas em 1 segundo.

  • Todos os valores em *_period_start_date e *_period_end_date são inclusivos, o que significa que 23:59:59 é o último time stamp possível para qualquer dia.

  • Todos os campos monetários são precedidos por um campo de moeda.

  • Os campos monetários usam um caractere de ponto (.) como um separador decimal e não usam uma vírgula (,) como um separador de milhares.

Os feeds de dados são gerados e armazenados da seguinte forma:

  • Os feeds de dados são gerados em um dia e contêm os dados das 24 horas do dia anterior.

  • No bucket do Amazon S3, os feeds de dados são organizados por mês usando o seguinte formato:

    bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

  • À medida que cada feed de dados diário é gerado, ele é anexado ao CSV arquivo existente desse mês. Quando um novo mês começa, um novo CSV arquivo é gerado para cada feed de dados.

  • As informações nos feeds de dados são preenchidas de 01/01/2010 a 30/04/2020 (inclusive) e estão disponíveis no arquivo na subpasta. CSV year=2010/month=01

    Você pode notar casos em que o arquivo do mês atual de um determinado feed de dados contém cabeçalhos de coluna e nenhum dado. Isso significa que não houve novas entradas para esse mês no feed. Isso pode acontecer com feeds de dados que são atualizados com menos frequência, como o feed do produto. Nesses casos, os dados estão disponíveis na pasta preenchida.

  • No Amazon S3, é possível criar uma política de ciclo de vida do Amazon S3 para gerenciar por quanto tempo os arquivos devem ser mantidos no bucket.

  • Você pode configurar SNS a Amazon para notificá-lo quando os dados forem entregues ao seu bucket S3 criptografado. Para obter informações sobre como configurar notificações, consulte Introdução à Amazon SNS no Guia do desenvolvedor do Amazon Simple Notification Service.

Historização dos dados

Cada feed de dados inclui colunas que documentam o histórico dos dados. Exceto valid_to, essas colunas são comuns a todos os feeds de dados. Elas são incluídas como um esquema de histórico comum e são úteis na consulta dos dados.

Nome da coluna Descrição
valid_from A primeira data em que o valor da chave primária é válido em relação aos valores de outros campos.
valid_to Esta coluna só é exibida no feed de dados do endereço e está sempre em branco.
insert_date A data em que um registro foi inserido no feed de dados.
update_date A data em que o registro foi atualizado pela última vez.
delete_date Esta coluna fica sempre em branco.

Veja a seguir um exemplo dessas colunas.

valid_from valid_to insert_date update_date delete_date
2018-12-12T02:00:00Z 2018-12-12T02:00:00Z 2018-12-12T02:00:00Z
2019-03-29T03:00:00Z 2019-03-29T03:00:00Z 2019-03-29T03:00:00Z
2019-03-29T03:00:00Z 2019-03-29T03:00:00Z 2019-04-28T03:00:00Z

Juntos, valid_from e o campo update_date formam um modelo de dados bitemporal. O campo valid_from, como é chamado, informa a partir de quando o item é válido. Se o item foi editado, ele pode ter vários registros no feed, cada um com uma update_date diferente, mas com a mesma data valid_from. Por exemplo, para encontrar o valor atual de um item, você encontraria o registro com a update_date mais recente, na lista de registros com a data valid_from mais recente.

No exemplo acima, o registro foi criado originalmente em 12/12/2018. Em seguida, foi alterado em 29/03/2019 (por exemplo, se o endereço no registro mudou). Posteriormente, em 28/04/2019, a alteração de endereço foi corrigida (então valid_from não mudou, mas update_date sim). A correção do endereço (um evento raro) altera retroativamente o registro da data valid_from original, para que esse campo não seja alterado. Uma consulta para encontrar a data valid_from mais recente retornaria dois registros, aquele com a update_date mais recente forneceria o registro atual real.

Acessar feeds de dados

Para acessar feeds de dados, você precisa configurar seu ambiente para receber feeds de dados em um bucket criptografado do Amazon S3. Você segue um processo de várias etapas para acessar feeds de dados, e os conjuntos de etapas a seguir explicam como.

  1. Aloque uma inteligência de negócios ou um engenheiro de dados com SQL uma experiência ETL (extrair, transformar, carregar). Essa pessoa também precisa de experiência em configuraçãoAPIs.

  2. Configure um bucket do Amazon Simple Storage Service e uma assinatura dos feeds de dados. Use o ID da conta do AWS vendedor associado às suas listagens de produtos do Marketplace. Para fazer isso, você pode assistir a este YouTube vídeo ou seguir as etapas abaixo.

    O vídeo e as etapas explicam como usar um AWS CloudFormation modelo que ajuda a simplificar a configuração.

    1. Abra um navegador da Web, faça login no Portal de gerenciamento do AWS Marketplace e, em seguida, acesse Configurar o armazenamento de dados do cliente.

    2. Escolha Criar recursos com AWS CloudFormation modelo para abrir o modelo no AWS CloudFormation console em outra janela.

    3. No modelo, especifique o seguinte e escolha Próximo:

      • Nome da pilha: a coleção de recursos que você está criando para habilitar o acesso a feeds de dados.

      • Nome do bucket do Amazon S3: o bucket para armazenar feeds de dados.

      • (Opcional) Nome do SNS tópico da Amazon — O tópico para receber notificações ao AWS entregar novos dados ao bucket do Amazon S3.

    4. Na página Revisar confirme suas entradas e escolha Criar pilha. Isso abrirá uma nova página com o CloudFormation status e os detalhes.

    5. Na guia Recursos, copie os nomes de recursos da Amazon (ARNs) dos seguintes recursos da CloudFormation página para os campos da página AWS Marketplace Configurar armazenamento de dados do cliente:

      • Bucket do Amazon S3 para armazenar feeds de dados

      • AWS KMS chave para criptografar o bucket do Amazon S3

      • (Opcional) SNS Tópico da Amazon para receber notificações ao AWS entregar novos dados ao bucket do Amazon S3

    6. Na página Configurar armazenamento de dados do cliente, escolha Enviar.

    7. (Opcional) Edite as políticas criadas pelo CloudFormation modelo. Consulte Políticas de feed de dados para obter mais detalhes.

      Agora você está inscrito em feeds de dados. Na próxima vez que os feeds de dados forem gerados, será possível acessar os dados.

  3. Use uma operação ETL (extrair, transformar, carregar) para conectar os feeds de dados ao seu data warehouse ou banco de dados relacional.

    nota

    As ferramentas de dados têm recursos diferentes. Você deve envolver um engenheiro de business intelligence ou engenheiro de dados para configurar a integração de acordo com os recursos da sua ferramenta.

  4. Para executar ou criar SQL consultas, configure os feeds de dados para aplicar chaves primárias e estrangeiras em sua ferramenta de dados. Cada feed de dados representa uma tabela exclusiva, e você deve configurar todos os feeds de dados no esquema de dados com os relacionamentos da entidade. Para obter mais informações sobre tabelas e relacionamentos de entidades, consulte Visão geral das tabelas de feed de dados este guia.

  5. Configure o Amazon Simple Notification Service para atualizar automaticamente seu armazém de dados ou banco de dados relacional. Você pode configurar SNS as notificações da Amazon para enviar alertas quando os dados de cada feed exclusivo forem entregues a um bucket do S3. Essas notificações podem ser aproveitadas para atualizar automaticamente o armazém de dados do vendedor quando novos dados são recebidos por meio de feeds de dados, se a ferramenta de dados do vendedor suportar esse recurso. Consulte Introdução à Amazon SNS no Guia do desenvolvedor do Amazon Simple Notification Service.

    Exemplo de notificação:

    { "mainExecutionId": "1bc08b11-ab4b-47e1-866a-9c8f38423a98", "executionId": "52e862a9-42d2-41e0-8010-810af84d39b1", "subscriptionId": "27ae3961-b13a-44bc-a1a7-365b2dc181fd", "processedFiles": [], "executionStatus": "SKIPPED", "errors": [], "feedType": "[data feed name]" }

    As notificações podem ter os seguintes executionStatus estados:

    • SKIPPED— O vendedor não tem dados novos para o dia.

    • COMPLETED— Entregamos o feed com novos dados.

    • FAILED— A entrega do feed tem um problema.

  6. Valide a configuração executando SQL consultas. Você pode usar os exemplos de consultas deste guia ou as consultas em https://github.com/aws-samples/ aws-marketplace-api-samples/tree/main/ seller-data-feeds /queries. GitHub

    nota

    Os exemplos de consultas neste guia foram escritos para AWS Athena. Talvez seja necessário modificar as consultas para uso com suas ferramentas.

  7. Determine onde os usuários corporativos desejam consumir dados. Por exemplo, é possível:

    • Exporte dados.csv do seu data warehouse ou SQL banco de dados.

    • Conecte seus dados a uma ferramenta de visualização, como PowerBI ou Tableau.

    • Mapeie dados para suas CRM ferramentas ou ferramentas financeiras, como Salesforce, Infor ou Netsuite. ERP

Para obter mais informações sobre AWS CloudFormation modelos, consulte Como trabalhar com AWS CloudFormation modelos no Guia AWS CloudFormation do usuário.

Políticas de feed de dados

Quando seu bucket do Amazon S3 é criado pelo CloudFormation modelo, ele cria políticas de acesso anexadas a esse bucket, à AWS KMS chave e ao tópico da AmazonSNS. As políticas permitem que o serviço de AWS Marketplace relatórios grave em seu bucket e SNS tópico com as informações do feed de dados. Cada política terá uma seção como a seguinte (este exemplo é do bucket do Amazon S3).

{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-bucket", "arn:aws:s3:::datafeed-bucket/*" ] },

Nessa política, reports.marketplace.amazonaws.com está o principal de serviço AWS Marketplace usado para enviar dados para o bucket do Amazon S3. Esse datafeed-bucket é o bucket que você especificou no CloudFormation modelo.

Quando o serviço de AWS Marketplace relatórios chama o Amazon S3 ou a AmazonSNS, ele fornece os ARN dados que pretende gravar no bucket quando o fizer. AWS KMS Para garantir que os únicos dados gravados no bucket sejam dados gravados em seu nome, você pode especificar aws:SourceArn na condição da política. No exemplo a seguir, você deve substituir o account-id com o ID do seu Conta da AWS.

{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-amzn-s3-demo-bucket", "arn:aws:s3:::datafeed-amzn-s3-demo-bucket/*" , "Condition": { "StringEquals": { "aws:SourceAccount": "account-id", "aws:SourceArn": ["arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/DataFeeds_V1", "arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/Example-Report"] } } },

Cancelamento da assinatura dos feeds de dados

Abra um navegador da web e faça login no Portal de Gerenciamento do AWS Marketplace. Em seguida, acesse a página Fale conosco para enviar uma solicitação de cancelamento de assinatura à equipe de operações do AWS Marketplace vendedor. A solicitação de cancelamento de assinatura pode levar até 10 dias úteis para ser processada.

Usar feeds de dados

Quando os dados estiverem disponíveis no bucket do Amazon S3, será possível usar feeds de dados das seguintes maneiras:

  • Faça o download do. CSVarquivos do bucket do Amazon S3 que você criou Acessar feeds de dados para que você possa visualizar os dados em uma planilha.

  • Use ETL (extraia, transforme e carregue), SQL consulte e ferramentas de análise de negócios para coletar e analisar os dados.

    Você pode usar AWS serviços para coletar e analisar dados ou qualquer ferramenta de terceiros que possa realizar análises de. CSVconjuntos de dados baseados.

Exemplo: use AWS serviços para coletar e analisar dados

O procedimento a seguir pressupõe que você já configurou o ambiente para receber feeds de dados em um bucket do Amazon S3 e que o bucket contém feeds de dados.

Como coletar e analisar dados de feeds de dados
  1. No console do AWS Glue, crie um rastreador para se conectar ao bucket do Amazon S3 que armazena os feeds de dados, extraia os dados desejados e crie tabelas de metadados no AWS Glue Data Catalog.

    Para obter mais informações sobre AWS Glue, consulte o Guia do AWS Glue desenvolvedor.

  2. No console do Athena, execute SQL consultas nos dados no. AWS Glue Data Catalog

    Para obter mais informações sobre como usar o Athena, consulte o Guia do usuário do Amazon Athena.

  3. No QuickSight console da Amazon, crie uma análise e, em seguida, crie um visual dos dados.

    Para obter mais informações sobre a Amazon QuickSight, consulte o Guia QuickSight do usuário da Amazon.

Para ver um exemplo detalhado de uma forma de usar AWS serviços para coletar e analisar dados em feeds de dados, consulte Usando o Seller Data Feed Delivery Service, Amazon Athena e QuickSight Amazon para criar relatórios de vendedores no AWS Marketplace Blog.