Datenfilterung für Amazon RDS Zero-ETL-Integrationen mit Amazon Redshift

Amazon RDS Zero-ETL-Integrationen unterstützen Datenfilterung, sodass Sie kontrollieren können, welche Daten aus Ihrem Warehouse repliziert werden. Anstatt die gesamte Datenbank zu replizieren, können Sie einen oder mehrere Filter anwenden, um bestimmte Tabellen selektiv ein- oder auszuschließen. Auf diese Weise können Sie die Speicher- und Abfrageleistung optimieren, indem sichergestellt wird, dass nur relevante Daten übertragen werden. Derzeit ist die Filterung auf Datenbank- und Tabellenebene beschränkt. Das Filtern auf Spalten- und Zeilenebene wird nicht unterstützt.

Datenfilterung kann nützlich sein, wenn Sie:

Sie können Datenfilter zu einer Zero-ETL-Integration hinzufügen AWS Management Console, indem Sie die AWS Command Line Interface (AWS CLI) oder die Amazon RDS-API verwenden.

Wenn die Integration einen bereitgestellten Amazon Redshift Redshift-Cluster als Ziel hat, muss sich der Cluster auf Patch 180 oder höher befinden, um Datenfilterung verwenden zu können.

Format eines Datenfilters

Sie können mehrere Filter für eine einzelne Integration definieren. Jeder Filter schließt alle vorhandenen und future Datenbanktabellen ein oder schließt sie aus, die einem der Muster im Filterausdruck entsprechen. Amazon RDS Zero-ETL-Integrationen verwenden die Maxwell-Filtersyntax für die Datenfilterung.

Jeder Filter besteht aus den folgenden Elementen:

Die folgende Abbildung zeigt die Struktur der in der Konsole:

Datenfilter im AWS CLI

Wenn Sie den verwenden AWS CLI , um einen Datenfilter hinzuzufügen, unterscheidet sich die Syntax geringfügig von der der Konsole. Sie müssen jedem Muster einzeln einen Filtertyp (IncludeoderExclude) zuweisen, sodass Sie nicht mehrere Muster unter einem Filtertyp gruppieren können.

In der Konsole können Sie beispielsweise die folgenden durch Kommas getrennten Muster unter einer einzigen Include Anweisung gruppieren:

mydb.mytable, mydb./table_\d+/

Wenn Sie den verwenden AWS CLI, muss derselbe Datenfilter jedoch das folgende Format haben:

'include: mydb.mytable, include: mydb./table_\d+/'

Filterlogik

Wenn Sie in Ihrer Integration keine Datenfilter angeben, geht Amazon RDS von einem Standardfilter von ausinclude:*.*, der alle Tabellen in das Ziel-Data Warehouse repliziert. Wenn Sie jedoch mindestens einen Filter hinzufügen, wechselt die Standardlogik zuexclude:*.*, wodurch standardmäßig alle Tabellen ausgeschlossen werden. Auf diese Weise können Sie explizit definieren, welche Datenbanken und Tabellen in die Replikation einbezogen werden sollen.

Wenn Sie beispielsweise den folgenden Filter definieren:

'include: db.table1, include: db.table2'

Amazon RDS bewertet den Filter wie folgt:

'exclude:*.*, include: db.table1, include: db.table2'

Daher repliziert Amazon RDS nur table1 und table2 von der angegebenen Datenbank in db das Ziel-Data Warehouse.

Priorität filtern

Amazon RDS wertet Datenfilter in der von Ihnen angegebenen Reihenfolge aus. In der AWS Management Console verarbeitet es Filterausdrücke von links nach rechts und von oben nach unten. Ein zweiter Filter oder ein individuelles Muster, das dem ersten folgt, kann ihn überschreiben.

Wenn der erste Filter beispielsweise aktiviert istInclude books.stephenking, schließt er nur die stephenking Tabelle aus der books Datenbank ein. Wenn Sie jedoch einen zweiten Filter hinzufügenExclude books.*, überschreibt dieser den ersten Filter. Dadurch wird verhindert, dass Tabellen aus dem books Index nach Amazon Redshift repliziert werden.

Wenn Sie mindestens einen Filter angeben, beginnt die Logik mit der Standardannahme, wodurch automatisch alle Tabellen exclude:*.* von der Replikation ausgeschlossen werden. Es hat sich bewährt, Filter vom breitesten bis zum spezifischsten Filter zu definieren. Beginnen Sie mit einer oder mehreren Include Anweisungen, um die zu replizierenden Daten anzugeben, und fügen Sie dann Exclude Filter hinzu, um bestimmte Tabellen selektiv zu entfernen.

Das gleiche Prinzip gilt für Filter, die Sie mit dem definieren. AWS CLIAmazon RDS wertet diese Filtermuster in der Reihenfolge aus, in der Sie sie angeben, sodass ein Muster möglicherweise ein Muster überschreibt, das Sie zuvor angegeben haben.

Beispiele

Die folgenden Beispiele zeigen, wie Datenfilterung für Zero-ETL-Integrationen funktioniert:

Hinzufügen von Datenfiltern zu einer Integration

Sie können die Datenfilterung mithilfe der AWS Management Console AWS CLI, der oder der Amazon RDS-API konfigurieren.

aws rds modify-integration \
    --integration-identifier my-integration \
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

aws rds modify-integration ^
    --integration-identifier my-integration ^
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

aws rds modify-integration \
    --integration-identifier my-integration \
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

aws rds modify-integration ^
    --integration-identifier my-integration ^
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

Datenfilter aus einer Integration entfernen

Wenn Sie einen Datenfilter aus einer Integration entfernen, bewertet Amazon RDS die verbleibenden Filter neu, als ob der entfernte Filter nie existiert hätte. Anschließend repliziert es alle zuvor ausgeschlossenen Daten, die jetzt die Kriterien erfüllen, in das Amazon Redshift Redshift-Ziel-Data Warehouse. Dadurch wird eine Neusynchronisierung aller betroffenen Tabellen ausgelöst.