Utilisation d'Aurora : zéro ETL intégration avec Amazon Redshift

Elles vous aident à dériver des informations holistiques de plusieurs sources de données.

Éliminez le besoin de créer et de gérer des pipelines de données complexes qui exécutent des opérations d'extraction, de transformation et de chargement (ETL). ETLLes intégrations zéro éliminent les défis liés à la création et à la gestion des pipelines en les provisionnant et en les gérant pour vous.

Elles réduisent la charge opérationnelle et les coûts, et vous permettent de vous concentrer sur l'amélioration de vos applications.

Profitez des fonctionnalités d'analyse et de machine learning d'Amazon Redshift pour obtenir des informations à partir de données transactionnelles et autres, afin de répondre efficacement aux événements critiques et urgents.

Le cluster source doit se trouver dans la même région que l'entrepôt de données Amazon Redshift cible.

Vous ne pouvez pas renommer un cluster ou l'une de ses instances s'il possède des intégrations existantes.

Vous ne pouvez pas créer plusieurs intégrations entre les mêmes bases de données source et cible.

Vous ne pouvez pas supprimer un cluster de données doté d'intégrations existantes. Vous devez d’abord supprimer toutes les intégrations associées.

Si vous arrêtez le cluster de source, les dernières transactions risquent de ne pas être répliquées vers l'entrepôt de données cible tant que vous ne reprenez pas le cluster de .

Si votre cluster de données est à l'origine d'un déploiement bleu/vert, les environnements bleu et vert ne peuvent pas comporter d'ETLintégrations nulles existantes lors du passage au numérique. Vous devez d'abord supprimer l'intégration et basculer, puis la recréer.

Un cluster de base de données doit contenir au moins une instance de base de données pour être la source d'une intégration.

Si votre cluster source est le cluster de base de données principal d'une base de données globale Aurora et qu'il bascule sur l'un de ses clusters secondaires, l'intégration devient inactive. Vous devez supprimer et recréer l'intégration.

Vous ne pouvez pas créer d'intégration pour une base de données source dont une autre intégration est activement créée.

Lors de la création initiale d'une intégration ou lors de la resynchronisation d'une table, l'ensemencement des données de la source vers la cible peut prendre 20 à 25 minutes, voire plus, selon la taille de la base de données source. Ce délai peut entraîner une augmentation du délai de réplication.

Certains types de données ne sont pas pris en charge. Pour de plus amples informations, veuillez consulter Différences de type de données entre les bases de données Aurora et Amazon Redshift.

Les transactions XA ne sont pas prises en charge.

Les identifiants d'objet (y compris le nom de base de données, le nom de table, les noms de colonnes, etc.) ne peuvent contenir que des caractères alphanumériques, des chiffres, $ et _ (trait de soulignement).

Les tables système, les tables temporaires et les vues ne sont pas répliquées sur Amazon Redshift.

Votre cluster de base de données source doit exécuter une version prise en charge d'Aurora MySQL. Pour une liste de versions prises en charge, consultez Régions prises en charge et moteurs de base de données Aurora pour ETL des intégrations nulles avec Amazon Redshift.

ETLLes intégrations nulles s'appuient sur My SQL binary logging (binlog) pour capturer les modifications continues des données. N'utilisez pas le filtrage des données basé sur le binlog, car cela peut entraîner des incohérences entre les bases de données source et cible.

Les ETL intégrations zéro ne sont prises en charge que pour les bases de données configurées pour utiliser le moteur de stockage InnoDB.

Les références de clé étrangère avec des mises à jour de table prédéfinies ne sont pas prises en charge. Plus précisément, ON DELETE les ON UPDATE règles ne sont pas prises en charge par CASCADESET NULL, et SET DEFAULT les actions. Toute tentative de création ou de mise à jour d'une table contenant de telles références à une autre table entraînera l'échec de la table.

ALTER TABLEles opérations de partition entraînent la resynchronisation de votre table afin de recharger les données d'Aurora vers Amazon Redshift. La table ne pourra pas être interrogée pendant la resynchronisation. Pour de plus amples informations, veuillez consulter Une ou plusieurs de mes tables Amazon Redshift nécessitent une resynchronisation.

Votre cluster de base de données source doit exécuter Aurora Postgre SQL (compatible avec Postgre SQL 15.4 et Zero- SupportETL).

Vous pouvez créer et gérer des ETL intégrations nulles pour Aurora Postgre SQL uniquement dans l'environnement Amazon RDS Database Preview, dans l'est des États-Unis (Ohio) (us-east-2) Région AWS. Vous pouvez utiliser l'environnement de prévisualisation pour tester les versions bêta, candidate et les premières versions de production du logiciel du moteur de SQL base de données Postgre.

Vous pouvez créer et gérer des intégrations pour Aurora Postgre SQL uniquement à l'aide du AWS Management Console. Vous ne pouvez pas utiliser le AWS Command Line Interface (AWS CLI), l'Amazon RDS API ou l'un des AWS SDKs.

Lorsque vous créez un cluster de base de données source, le groupe de paramètres que vous choisissez doit déjà avoir les valeurs de paramètres de cluster de base de données requises configurées. Vous ne pouvez pas créer un nouveau groupe de paramètres par la suite, puis l'associer au cluster. Pour obtenir la liste des paramètres requis, consultezÉtape 1 : Créer un groupe de paramètres de cluster de base de données personnalisé.

Vous ne pouvez pas modifier une intégration après l'avoir créée. Si vous devez modifier certains paramètres, vous devez supprimer et recréer l'intégration.

Actuellement, les clusters de SQL base de données Aurora Postgre qui sont à l'origine d'une intégration ne collectent pas les données de réplication logiques.

Toutes les bases de données créées dans le cluster de SQL base de données Aurora Postgre source doivent utiliser le codage UTF -8.

ETLLes intégrations Zéro avec Aurora Postgre SQL ne prennent pas en charge les éléments suivants :