Servicio de fuentes de datos de entrega para vendedores - AWS Marketplace

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Servicio de fuentes de datos de entrega para vendedores

AWS Marketplace proporciona fuentes de datos como un mecanismo para enviar información estructurada sobre up-to-date productos y clientes desde AWS Marketplace los sistemas a los buckets de Amazon S3 del vendedor para ETL (extraerla, transformarla y cargarla) entre herramientas de inteligencia empresarial propiedad del vendedor.

Los datos transaccionales se entregan y se adjuntan en una estructura bitemporal para que los vendedores puedan almacenar y consultar los datos en dos líneas temporales con marcas de tiempo para ambas:

  • Hora válida: cuando un hecho ocurre en el mundo real (“lo que se sabe”).

  • Hora del sistema: cuando ese hecho se registra en la base de datos (“cuando se sabe”).

Los feeds de datos se envían todos los días a medianoche UTC tras una actualización del día anterior que contiene 24 horas de datos del día anterior. Una actualización se puede definir cuando un cliente se suscribe, recibe una factura o AWS desembolsa un pago.

En esta sección se ofrece información general de las fuentes de datos y se explica cómo acceder a ellas y utilizarlas. Las secciones siguientes describen cada fuente de datos.

Almacenamiento y estructura de las fuentes de datos

Las fuentes de datos recopilan y entregan archivos con valores (CSV) separados por comas a un depósito de Amazon S3 cifrado que usted proporciona. Los CSV archivos tienen las siguientes características:

  • Siguen los estándares 4180.

  • La codificación de caracteres es UTF -8 sin caracteresBOM.

  • Las comas se utilizan como separadores entre valores.

  • El carácter de escape de los campos son las comillas dobles.

  • \n es el carácter de salto de línea.

  • Las fechas se indican en la zona UTC horaria, tienen el formato de fecha y hora ISO 8601 y tienen una precisión de 1 segundo.

  • Todos los valores *_period_start_date y *_period_end_date son inclusivos, lo que significa que 23:59:59 es la última marca temporal posible de cualquier día.

  • Todos los campos monetarios van precedidos por un campo de moneda.

  • Los campos monetarios utilizan un carácter de punto (.) como separador decimal y no usan una coma (,) como separador de miles.

Las fuentes de datos se generan y almacenan de la siguiente manera:

  • Las fuentes de datos se generan en un día y contienen 24 horas de datos del día anterior.

  • En el bucket de Amazon S3, las fuentes de datos se organizan por mes con el siguiente formato:

    bucket-name/data-feed-name_version/year=YYYY/month=MM/data.csv

  • A medida que se genera cada fuente de datos diaria, se anexa al CSV archivo existente de ese mes. Cuando comienza un nuevo mes, se genera un CSV archivo nuevo para cada fuente de datos.

  • La información de las fuentes de datos se rellena del 01 de enero de 2010 al 30 de abril de 2020 (ambos inclusive) y está disponible en el archivo de la subcarpeta. CSV year=2010/month=01

    Puede observar casos en los que el archivo del mes actual de una fuente de datos determinada contiene solo encabezados de columna y no datos. Esto significa que no hubo entradas nuevas de ese mes para la fuente. Esto puede suceder con fuentes de datos que se actualizan con menos frecuencia, como la fuente de productos. En estos casos, los datos están disponibles en la carpeta rellenada.

  • En Amazon S3, puede crear una política de ciclo de vida de Amazon S3 para administrar el tiempo de mantenimiento de los archivos en el bucket.

  • Puedes configurar Amazon SNS para que te notifique cuando los datos se entreguen a tu bucket de S3 cifrado. Para obtener información sobre cómo configurar las notificaciones, consulte Introducción a Amazon SNS en la Guía para desarrolladores de Amazon Simple Notification Service.

Creación de un historial de los datos

Cada fuente de datos incluye columnas que documentan el historial de los datos. Excepto valid_to, estas columnas son comunes a todas las fuentes de datos. Se incluyen como un esquema de historial común y son útiles para consultar los datos.

Nombre de la columna Descripción
valid_from La primera fecha para la que es válido el valor de la clave principal en relación con los valores de otros campos.
valid_to Esta columna solo se muestra en la fuente de datos de dirección y siempre está en blanco.
insert_date La fecha en la que se insertó un registro en la fuente de datos.
update_date La fecha en la que se actualizó por última vez el registro.
delete_date Esta columna siempre está en blanco.

A continuación, se muestra un ejemplo de estas columnas.

valid_from valid_to insert_date update_date delete_date
2018-12-12T02:00:00Z 2018-12-12T02:00:00Z 2018-12-12T02:00:00Z
2019-03-29T03:00:00Z 2019-03-29T03:00:00Z 2019-03-29T03:00:00Z
2019-03-29T03:00:00Z 2019-03-29T03:00:00Z 2019-04-28T03:00:00Z

El campo valid_from y update_date en conjunto forman un modelo de datos bitemporal. El campo valid_from, como su propio nombre indica, señala desde qué fecha es válido el elemento. Si el elemento se ha editado, puede tener varios registros en la fuente, cada uno con una update_date diferente, pero con la misma fecha valid_from. Por ejemplo, para encontrar el valor actual de un elemento, debe buscar el registro con la update_date más reciente en la lista de registros con la fecha valid_from más reciente.

En el ejemplo anterior, el registro se creó originalmente el 12 de diciembre de 2018. A continuación, se modificó la dirección del registro el 29 de marzo de 2019. Más tarde, el 28 de abril de 2019, se corrigió el cambio de dirección (por lo que valid_from no cambió, pero la update_date sí). Si se corrige la dirección (algo poco frecuente), se modifica retroactivamente el registro con respecto a la fecha valid_from original, por lo que el campo no cambia. Una consulta para buscar la fecha valid_from más reciente devolverá dos registros; el que tenga la update_date más reciente mostrará el registro actual real.

Acceso a fuentes de datos

Para acceder a las fuentes de datos, debe configurar su entorno para recibir fuentes de datos en un bucket cifrado de Amazon S3. Sigue un proceso de varios pasos para acceder a las fuentes de datos, y en los siguientes conjuntos de pasos se explica cómo hacerlo.

  1. Asigne a un ingeniero de inteligencia empresarial o de SQL datos una experiencia ETL (extracción, transformación, carga). Esta persona también necesita experiencia en configuraciónAPIs.

  2. Configure un depósito de Amazon Simple Storage Service y una suscripción a las fuentes de datos. Usa el ID de cuenta de AWS vendedor asociado a tus listados de productos de Marketplace. Para ello, puedes ver este YouTube vídeo o seguir los pasos que se indican a continuación.

    El vídeo y los pasos explican cómo utilizar una AWS CloudFormation plantilla que ayude a simplificar la configuración.

    1. Abra un navegador web, inicie sesión en AWS Marketplace Management Portal y, a continuación, vaya a Configurar almacenamiento de datos de clientes.

    2. Seleccione Crear recursos con AWS CloudFormation plantilla para abrir la plantilla de la AWS CloudFormation consola en otra ventana.

    3. En la plantilla, especifique lo siguiente y, a continuación, elija Siguiente:

      • Nombre de la pila: el conjunto de recursos que se crea para permitir el acceso a las fuentes de datos.

      • Nombre del bucket de Amazon S3: el bucket en el que se almacenan las fuentes de datos.

      • (Opcional) Nombre del SNS tema de Amazon: el tema para recibir notificaciones cuando se AWS entreguen nuevos datos al bucket de Amazon S3.

    4. En la página Revisar, confirme sus entradas y elija Crear pila. Se abrirá una nueva página con el CloudFormation estado y los detalles.

    5. En la pestaña Recursos, copia los nombres de los recursos de Amazon (ARNs) para los siguientes recursos de la CloudFormation página en los campos de la página AWS Marketplace Configurar el almacenamiento de datos de clientes:

      • Bucket de Amazon S3 para almacenar fuentes de datos

      • AWS KMS clave para cifrar el bucket de Amazon S3

      • (Opcional) SNS Tema de Amazon para recibir notificaciones cuando se AWS entregan nuevos datos al bucket de Amazon S3

    6. En la página Configurar almacenamiento de datos de clientes, elija Enviar.

    7. (Opcional) Edite las políticas creadas por la CloudFormation plantilla. Consulte Políticas de fuentes de datos para obtener más detalles.

      Ahora está suscrito a las fuentes de datos. La próxima vez que se generen fuentes de datos, puede acceder a los datos.

  3. Utilice una operación ETL (extracción, transformación, carga) para conectar las fuentes de datos a su almacén de datos o base de datos relacional.

    nota

    Las herramientas de datos tienen capacidades diferentes. Debe contar con la participación de un ingeniero de inteligencia empresarial o un ingeniero de datos para configurar la integración de forma que se adapte a las capacidades de la herramienta.

  4. Para ejecutar o crear SQL consultas, configure las fuentes de datos para aplicar las claves principales y externas en su herramienta de datos. Cada fuente de datos representa una tabla única y debe configurar todas las fuentes de datos en el esquema de datos con las relaciones entre entidades. Para obtener más información sobre las tablas y las relaciones entre entidades, consulte Descripción general de las tablas de fuentes de datos esta guía.

  5. Configure Amazon Simple Notification Service para que actualice automáticamente su almacén de datos o base de datos relacional. Puedes configurar SNS las notificaciones de Amazon para que envíen alertas cuando los datos de cada feed único se entreguen a un bucket de S3. Estas notificaciones se pueden aprovechar para actualizar automáticamente el almacén de datos del vendedor cuando se reciben nuevos datos a través de los feeds de datos, si la herramienta de datos del vendedor admite esta capacidad. Consulte Primeros pasos con Amazon SNS en la Guía para desarrolladores de Amazon Simple Notification Service.

    Notificaciones de ejemplo:

    { "mainExecutionId": "1bc08b11-ab4b-47e1-866a-9c8f38423a98", "executionId": "52e862a9-42d2-41e0-8010-810af84d39b1", "subscriptionId": "27ae3961-b13a-44bc-a1a7-365b2dc181fd", "processedFiles": [], "executionStatus": "SKIPPED", "errors": [], "feedType": "[data feed name]" }

    Las notificaciones pueden tener los siguientes executionStatus estados:

    • SKIPPED— El vendedor no tiene datos nuevos para ese día.

    • COMPLETED— Entregamos el feed con nuevos datos.

    • FAILED— La entrega del pienso tiene un problema.

  6. Valide la configuración mediante la ejecución de SQL consultas. Puede utilizar las consultas de ejemplo de esta guía o las consultas de GitHub https://github.com/aws-samples/aws-marketplace-api-samples/tree/main/ seller-data-feeds /queries.

    nota

    Los ejemplos de consultas de esta guía se escribieron para AWS Athena. Es posible que necesite modificar las consultas para usarlas con sus herramientas.

  7. Determine dónde quieren consumir los datos los usuarios empresariales. Por ejemplo, puede hacer lo siguiente:

    • Exporte los datos.csv de su almacén de datos o SQL base de datos.

    • Conecte sus datos a una herramienta de visualización como PowerBI o Tableau.

    • Asigne datos a sus CRM herramientas financieras o a las suyas, como Salesforce, Infor o Netsuite. ERP

Para obtener más información sobre AWS CloudFormation las plantillas, consulte Trabajar con AWS CloudFormation plantillas en la Guía del AWS CloudFormation usuario.

Políticas de fuentes de datos

Cuando la CloudFormation plantilla cree su bucket de Amazon S3, creará políticas de acceso adjuntas a ese bucket, a la AWS KMS clave y al SNS tema de Amazon. Las políticas permiten al servicio de AWS Marketplace informes escribir en tu bucket y SNS tema la información del feed de datos. Cada política tendrá una sección como la siguiente (este ejemplo es del bucket de Amazon S3).

{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-bucket", "arn:aws:s3:::datafeed-bucket/*" ] },

En esta política, reports.marketplace.amazonaws.com es el principal de servicio que se AWS Marketplace utiliza para enviar los datos al bucket de Amazon S3. datafeed-bucketEs el depósito que especificó en la CloudFormation plantilla.

Cuando el servicio de AWS Marketplace informes llame a Amazon S3 o AmazonSNS, proporcionará ARN los datos que pretende escribir en el bucket cuando lo haga. AWS KMS Para asegurarse de que los únicos datos que se escriben en su bucket son los que se escriben en su nombre, puede especificar el aws:SourceArn en la condición de la política. En el siguiente ejemplo, debe reemplazar el account-id con el identificador de su Cuenta de AWS.

{ "Sid": "AwsMarketplaceDataFeedsAccess", "Effect": "Allow", "Principal": { "Service": "reports.marketplace.amazonaws.com" }, "Action": [ "s3:ListBucket", "s3:GetObject", "s3:PutObject", "s3:GetEncryptionConfiguration", "s3:GetBucketAcl", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::datafeed-amzn-s3-demo-bucket", "arn:aws:s3:::datafeed-amzn-s3-demo-bucket/*" , "Condition": { "StringEquals": { "aws:SourceAccount": "account-id", "aws:SourceArn": ["arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/DataFeeds_V1", "arn:aws:marketplace::account-id:AWSMarketplace/SellerDataSubscription/Example-Report"] } } },

Cancelación de la suscripción a fuentes de datos

Abra un navegador web e inicie sesión en el AWSMarketplace Management Portal. Luego, ve a la página de contacto para enviar una solicitud de cancelación de suscripción al equipo de operaciones de AWS Marketplace vendedores. La solicitud de cancelación de suscripción puede tardar hasta 10 días laborables en procesarse.

Uso de fuentes de datos

Cuando los datos están disponibles en el bucket de Amazon S3, puede utilizar fuentes de datos de las siguientes maneras:

  • Descarga el. CSVarchivos del bucket de Amazon S3 en el que creó Acceso a fuentes de datos para poder ver los datos en una hoja de cálculo.

  • Utilice herramientas de análisis empresarial ETL (extraiga, transforme y cargue), SQL consultas y análisis para recopilar y analizar los datos.

    Puede utilizar AWS los servicios para recopilar y analizar datos, o cualquier herramienta de terceros que pueda realizar análisis de los mismos. CSVconjuntos de datos basados.

Ejemplo: utilice AWS los servicios para recopilar y analizar datos

En el procedimiento siguiente se supone que ya ha configurado el entorno para recibir fuentes de datos en un bucket de Amazon S3 y que el bucket contiene fuentes de datos.

Para recopilar y analizar datos de fuentes de datos
  1. Desde la consola de AWS Glue, cree un rastreador para conectarse al bucket de Amazon S3 que almacena las fuentes de datos, extraiga los datos que desee y cree tablas de metadatos en AWS Glue Data Catalog.

    Para obtener más información al respecto AWS Glue, consulte la Guía para AWS Glue desarrolladores.

  2. Desde la consola de Athena, ejecute SQL consultas sobre los datos de. AWS Glue Data Catalog

    Para obtener más información sobre Athena, consulte la Guía del usuario de Amazon Athena.

  3. Desde la QuickSight consola de Amazon, cree un análisis y, a continuación, cree una imagen de los datos.

    Para obtener más información sobre Amazon QuickSight, consulta la Guía del QuickSight usuario de Amazon.

Para ver un ejemplo detallado de una forma de utilizar AWS los servicios para recopilar y analizar datos en fuentes de datos, consulta Uso del servicio de entrega de feeds de datos del vendedor, Amazon Athena y Amazon QuickSight para crear informes de vendedores en el AWS Marketplace blog.