Filtrage des données pour les ETL intégrations zéro d'Amazon RDS avec Amazon Redshift - Amazon Relational Database Service
Format d'un filtre de donnéesLogique de filtragePriorité du filtreExemplesAjouter des filtres de donnéesSupprimer les filtres de données

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Filtrage des données pour les ETL intégrations zéro d'Amazon RDS avec Amazon Redshift

Vous pouvez utiliser le filtrage des données pour les ETL intégrations zéro avec Amazon RDS afin de définir l'étendue de la réplication entre le source et l'entrepôt de données Amazon Redshift cible. Plutôt que de répliquer toutes les données vers la cible, vous pouvez définir un ou plusieurs filtres qui incluent ou excluent de manière sélective certaines tables de la réplication. Seul le filtrage au niveau de la base de données et de la table est disponible pour les ETL intégrations nulles. Vous ne pouvez pas filtrer par colonnes ou par lignes.

Le filtrage des données peut être utile lorsque vous souhaitez :

  • Joignez certaines tables provenant d'au moins deux de bases de données sources différents et vous n'avez pas besoin de données complètes provenant de l'un ou l'autre des de bases de données.

  • Réduisez les coûts en effectuant des analyses en utilisant uniquement un sous-ensemble de tables plutôt qu'un parc complet de bases de données.

  • Filtrez les informations sensibles, telles que les numéros de téléphone, les adresses ou les informations de carte de crédit, de certains tableaux.

Vous pouvez ajouter des filtres de données à une ETL intégration zéro en utilisant le AWS Management Console, le AWS Command Line Interface (AWS CLI) ou Amazon RDSAPI.

Si l'intégration a pour cible un cluster Amazon Redshift provisionné, le cluster doit être doté du correctif 180 ou supérieur.

Format d'un filtre de données

Vous pouvez définir plusieurs filtres pour une seule intégration. Chaque filtre inclut ou exclut les tables de base de données existantes et futures qui correspondent à l'un des modèles de l'expression du filtre. Les ETL intégrations zéro d'Amazon RDS utilisent la syntaxe du filtre Maxwell pour le filtrage des données.

Chaque filtre comporte les éléments suivants :

Element Description
Type de filtre

Un type de Include filtre inclut toutes les tables qui correspondent à l'un des modèles de l'expression du filtre. Un type de Exclude filtre exclut toutes les tables correspondant à l'un des modèles.
Expression de filtrage

Liste de modèles séparés par des virgules. Les expressions doivent utiliser la syntaxe du filtre Maxwell.
Modèle

Un modèle de filtre au format database.table . Vous pouvez spécifier des noms littéraux ou définir des expressions régulières.

Vous ne pouvez pas inclure de filtres ou de listes de refus au niveau des colonnes.

Une seule intégration peut avoir un maximum de 99 modèles au total. Dans la console, vous pouvez saisir des modèles dans une seule expression de filtre ou les répartir entre plusieurs expressions. Un seul modèle ne peut pas dépasser 256 caractères.

L'image suivante montre la structure des filtres de SQL données dans la console :

Filtres de données pour une ETL intégration nulle
Important

N'incluez pas d'informations d'identification personnelle, confidentielles ou sensibles dans vos modèles de filtrage.

Filtres de données dans le AWS CLI

Lorsque vous utilisez le AWS CLI pour ajouter un filtre de données, la syntaxe est légèrement différente de celle de la console. Chaque modèle individuel doit être associé à son propre type de filtre (IncludeouExclude). Vous ne pouvez pas regrouper plusieurs modèles avec un seul type de filtre.

Par exemple, dans la console, vous pouvez regrouper les modèles suivants séparés par des virgules dans une seule Include instruction :

mydb.mytable, mydb./table_\d+/

Toutefois, lorsque vous utilisez le AWS CLI, le même filtre de données doit être au format suivant :

'include: mydb.mytable, include: mydb./table_\d+/'

Logique de filtrage

Si vous ne spécifiez aucun filtre de données dans votre intégration, Amazon RDS suppose un filtre par défaut include:*.* et réplique toutes les tables dans l'entrepôt de données cible. Toutefois, si vous spécifiez au moins un filtre, la logique part d'une hypothèseexclude:*.*, ce qui signifie que toutes les tables sont automatiquement exclues de la réplication. Cela vous permet de définir directement les tables et les bases de données à inclure.

Par exemple, si vous définissez le filtre suivant :

'include: db.table1, include: db.table2'

Amazon RDS évalue le filtre comme suit :

'exclude:*.*, include: db.table1, include: db.table2'

Par conséquent, seules table1 et table2 à partir de la base de données nommée db sont répliquées vers l'entrepôt de données cible.

Priorité du filtre

Amazon RDS évalue les filtres de données dans l'ordre dans lequel ils sont spécifiés. Dans le AWS Management Console, cela signifie qu'Amazon RDS évalue les expressions de filtre de gauche à droite et de haut en bas. Si vous spécifiez un certain modèle pour le premier filtre, un second filtre ou même un modèle individuel spécifié immédiatement après celui-ci peut le remplacer.

Par exemple, votre premier filtre peut inclure Include books.stephenking une seule table nommée stephenking à partir de la books base de données. Toutefois, si vous ajoutez un second filtre de Excludebooks.*, il remplace le Include filtre défini avant lui. Ainsi, aucune table de l'booksindex n'est répliquée sur Amazon Redshift.

Si vous spécifiez au moins un filtre, la logique commence par une hypothèseexclude:*.*, ce qui signifie que toutes les tables sont automatiquement exclues de la réplication. Par conséquent, en règle générale, il est recommandé de définir vos filtres du plus large au moins large. Par exemple, utilisez une ou plusieurs Include instructions pour définir toutes les données que vous souhaitez répliquer. Commencez ensuite à ajouter des Exclude filtres pour exclure de manière sélective certaines tables de la réplication.

Le même principe s'applique aux filtres que vous définissez à l'aide du AWS CLI. Amazon RDS évalue ces modèles de filtre dans l'ordre dans lequel ils sont spécifiés, de sorte qu'un modèle peut remplacer un modèle spécifié avant lui.

Exemples

Les exemples suivants montrent comment fonctionne le filtrage des données pour les ETL intégrations zero- :

  • Incluez toutes les bases de données et toutes les tables :

    'include: *.*'

  • Incluez toutes les tables de la books base de données :

    'include: books.*'

  • Excluez toutes les tables nommées mystery :

    'include: *.*, exclude: *.mystery'

  • Incluez deux tables spécifiques dans la books base de données :

    'include: books.stephen_king, include: books.carolyn_keene'

  • Incluez toutes les tables de la books base de données, à l'exception de celles contenant la sous-chaîne mystery :

    'include: books.*, exclude: books./.*mystery.*/'

  • Incluez toutes les tables de la books base de données, à l'exception de celles commençant par mystery :

    'include: books.*, exclude: books./mystery.*/'

  • Incluez toutes les tables de la books base de données, à l'exception de celles se terminant par mystery :

    'include: books.*, exclude: books./.*mystery/'

  • Incluez toutes les tables de la books base de données qui commencent partable_, à l'exception de celle nomméetable_stephen_king. Par exemple, table_movies ou table_books serait répliqué, mais nontable_stephen_king.

    'include: books./table_.*/, exclude: books.table_stephen_king'

Ajouter des filtres de données à une intégration

Vous pouvez configurer le filtrage des données en utilisant le AWS Management Console AWS CLI, le ou Amazon RDSAPI.

Important

Si vous ajoutez un filtre après avoir créé une intégration, Amazon RDS réévalue le filtre comme s'il avait toujours existé. Il supprime toutes les données qui se trouvent actuellement dans l'entrepôt de données Amazon Redshift cible et qui ne répondent pas aux nouveaux critères de filtrage. Cette action entraîne la resynchronisation de toutes les tables concernées.

Pour ajouter des filtres de données à une ETL intégration zéro

  1. Connectez-vous à la RDS console Amazon AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/rds/.

  2. Dans le volet de navigation, choisissez Zero- ETL integrations. Sélectionnez l'intégration à laquelle vous souhaitez ajouter des filtres de données, puis choisissez Modifier.

  3. Sous Source, ajoutez une ou plusieurs Exclude déclarations Include et.

    L'image suivante montre un exemple de filtres de données pour une SQL intégration Aurora My :

    Filtres de données pour une ETL intégration nulle dans la RDS console

  4. Lorsque toutes les modifications sont telles que vous le souhaitez, choisissez Continuer et Enregistrer les modifications.

Pour ajouter des filtres de données à une ETL intégration zéro à l'aide de AWS CLI, appelez la commande modify-integration. Outre l'identifiant d'intégration, spécifiez le --data-filter paramètre à l'aide d'une liste séparée par des virgules de filtres Include et de Exclude Maxwell.

L'exemple suivant ajoute des modèles de filtre àmy-integration.

Dans Linux, macOS, ou Unix:

aws rds modify-integration \
    --integration-identifier my-integration \
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

Dans Windows:

aws rds modify-integration ^
    --integration-identifier my-integration ^
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

Pour modifier une ETL intégration zéro à l'aide de RDSAPI, appelez l'ModifyIntegrationopération. Spécifiez l'identifiant d'intégration et fournissez une liste de modèles de filtre séparés par des virgules.

Supprimer les filtres de données d'une intégration

Lorsque vous supprimez un filtre de données d'une intégration, Amazon RDS réévalue les filtres restants comme si le filtre supprimé n'avait jamais existé. Amazon RDS réplique ensuite toutes les données qui ne répondaient pas auparavant aux critères de filtrage (mais qui le sont désormais) dans l'entrepôt de données Amazon Redshift cible.

La suppression d'un ou de plusieurs filtres de données entraîne la resynchronisation de toutes les tables concernées.