Conversion de schémas semi-structurés en schémas relationnels avec AWS Glue

Il est courant de vouloir convertir des données semi-structurées en tables relationnelles. Conceptuellement, vous aplatissez un schéma hiérarchique pour en faire un schéma relationnel. AWS Glue peut effectuer cette conversion pour vous on-the-fly.

Les données semi-structurées contiennent généralement un balisage pour identifier les entités au sein des données. Il peut inclure des structures de données imbriquées sans schéma fixe. Pour en savoir plus sur les données semi-structurées, consultez Semi-structured data dans Wikipédia.

Les données relationnelles sont représentées par des tables composées de lignes et de colonnes. Les relations entre les tables peuvent être représentées par une relation entre clé primaire et clé étrangère. Pour en savoir plus, consultez Base de données relationnelle dans Wikipedia.

AWS Glue utilise des robots d'exploration pour déduire des schémas de données semi-structurées. Il transforme ensuite les données en un schéma relationnel à l'aide d'une tâche ETL (extraction, transformation et chargement). Par exemple, vous souhaiterez peut-être analyser les données JSON des fichiers source Amazon Simple Storage Service (Amazon S3) vers les tables Amazon Relational Database Service (Amazon RDS). Comprendre comment AWS Glue gère les différences entre les schémas et peut vous aider à comprendre le processus de transformation.

Ce schéma montre comment AWS Glue transforme un schéma semi-structuré en schéma relationnel.

Le diagramme illustre les éléments suivants :