Amazon DocumentDB DocumentDB-Ereignisse mit Lambda verarbeiten

Sie können eine Lambda-Funktion verwenden, um Ereignisse in einem Änderungsstream von Amazon DocumentDB (mit MongoDB-Kompatibilität) zu verarbeiten, indem Sie einen Amazon-DocumentDB-Cluster als Ereignisquelle konfigurieren. Anschließend können Sie ereignisgesteuerte Workloads automatisieren, indem Sie Ihre Lambda-Funktion jedes Mal aufrufen, wenn sich Daten in Ihrem Amazon-DocumentDB-Cluster ändern.

Lambda verarbeitet Ereignisse aus Amazon-DocumentDB-Änderungsstreams sequentiell in der Reihenfolge, in der sie ankommen. Aus diesem Grund kann Ihre Funktion jeweils nur einen gleichzeitigen Aufruf von Amazon DocumentDB verarbeiten. Sie können Ihre Funktion anhand ihrer Gleichzeitigkeitsmetriken überwachen.

Beispiel für Amazon-DocumentDB-Ereignis

{
    "eventSourceArn": "arn:aws:rds:us-east-1:123456789012:cluster:canaryclusterb2a659a2-qo5tcmqkcl03",
    "events": [
        {
            "event": {
                "_id": {
                    "_data": "0163eeb6e7000000090100000009000041e1"
                },
                "clusterTime": {
                    "$timestamp": {
                        "t": 1676588775,
                        "i": 9
                    }
                },
                "documentKey": {
                    "_id": {
                        "$oid": "63eeb6e7d418cd98afb1c1d7"
                    }
                },
                "fullDocument": {
                    "_id": {
                        "$oid": "63eeb6e7d418cd98afb1c1d7"
                    },
                    "anyField": "sampleValue"
                },
                "ns": {
                    "db": "test_database",
                    "coll": "test_collection"
                },
                "operationType": "insert"
            }
        }
    ],
    "eventSource": "aws:docdb"
}

Weitere Informationen zu den Ereignissen in diesem Beispiel und den zugehörigen Formen finden Sie unter Änderungsereignisse auf der MongoDB-Dokumentationswebsite.

Voraussetzungen und Berechtigungen

Bevor Sie Amazon DocumentDB als Ereignisquelle für Ihre Lambda-Funktion verwenden können, beachten Sie die folgenden Voraussetzungen. Folgendes muss zutreffen:

Netzwerkkonfiguration

Damit Lambda Ihren Amazon DocumentDB-Cluster als Ereignisquelle verwenden kann, benötigt es Zugriff auf das Amazon, in dem sich VPC Ihr Cluster befindet. Wir empfehlen Ihnen, AWS PrivateLink VPCEndpunkte für Lambda bereitzustellen, um auf Ihre zuzugreifen. VPC Stellen Sie einen VPC Endpunkt für Lambda bereit, und wenn der Cluster Authentifizierung verwendet, stellen Sie auch einen VPC Endpunkt für Secrets Manager bereit.

Stellen Sie alternativ sicher, dass der mit Ihrem Amazon DocumentDB-Cluster VPC verknüpfte Cluster ein NAT Gateway pro öffentlichem Subnetz enthält. Weitere Informationen finden Sie unter Aktivieren Sie den Internetzugang für VPC verbundene Lambda-Funktionen.

Wenn Sie VPC Endpunkte verwenden, müssen Sie diese auch so konfigurieren, dass private Namen aktiviert werden. DNS

Wenn Sie eine Ereignisquellenzuordnung für einen Amazon DocumentDB-Cluster erstellen, prüft Lambda, ob Elastic Network Interfaces (ENIs) bereits für die Subnetze und Sicherheitsgruppen Ihres Clusters vorhanden sind. VPC Wenn Lambda feststellt, dass sie vorhanden ENIs sind, versucht es, sie wiederzuverwenden. Andernfalls erstellt Lambda neue, ENIs um eine Verbindung zur Ereignisquelle herzustellen und Ihre Funktion aufzurufen.

VPCRegeln für Sicherheitsgruppen

Konfigurieren Sie die Sicherheitsgruppen für das AmazonVPC, das Ihren Cluster enthält, mit den folgenden Regeln (mindestens):

Arbeiten mit VPC-Endpunkten

Wenn Sie VPC Endpunkte verwenden, werden API Aufrufe zum Aufrufen Ihrer Funktion mithilfe von über diese Endpunkte weitergeleitet. ENIs Der Lambda-Serviceprinzipal muss alle Funktionen aufrufenlambda:InvokeFunction, die diese ENIs verwenden.

Standardmäßig haben VPC Endpoints offene IAM Richtlinien. Es hat sich bewährt, diese Richtlinien so einzuschränken, dass nur bestimmte Prinzipale die erforderlichen Aktionen über diesen Endpunkt ausführen können. Um sicherzustellen, dass Ihre Ereignisquellenzuordnung Ihre Lambda-Funktion aufrufen kann, muss die VPC Endpunktrichtlinie den Aufruf des Lambda-Serviceprinzips zulassen. lambda:InvokeFunction Wenn Sie Ihre VPC Endpunktrichtlinien so einschränken, dass sie nur API Anrufe zulassen, die ihren Ursprung in Ihrer Organisation haben, verhindert, dass die Zuordnung der Ereignisquellen ordnungsgemäß funktioniert.

Die folgenden VPC Beispiel-Endpunktrichtlinien zeigen, wie der erforderliche Zugriff für Lambda-Endpunkte gewährt wird.

{
    "Statement": [
        {
            "Action": "lambda:InvokeFunction",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
}

Wenn Ihr Amazon DocumentDB-Cluster Authentifizierung verwendet, können Sie auch die VPC Endpunktrichtlinie für den Secrets Manager Manager-Endpunkt einschränken. Um den Secrets Manager aufzurufenAPI, verwendet Lambda Ihre Funktionsrolle, nicht den Lambda-Serviceprinzipal. Das folgende Beispiel zeigt eine Secrets Manager Manager-Endpunktrichtlinie.

{
    "Statement": [
        {
            "Action": "secretsmanager:GetSecretValue",
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "customer_function_execution_role_arn"
                ]
            },
            "Resource": "customer_secret_arn"
        }
    ]
}

Erstellen einer Zuordnung von Ereignisquellen von Amazon DocumentDB (Konsole)

Erstellen Sie für eine Funktion zum Lesen aus dem Änderungsstream eines Amazon-DocumentDB-Clusters eine Zuordnung von Ereignisquellen. In diesem Abschnitt wird die entsprechende Vorgehensweise über die Lambda-Konsole beschrieben. Weitere AWS CLI Informationen AWS SDK und Anweisungen finden Sie unterErstellen einer Amazon DocumentDB DocumentDB-Ereignisquellenzuordnung (SDKoderCLI).

Lambda unterstützt die folgenden Optionen für Amazon-DocumentDB-Ereignisquellen:

Erstellen einer Amazon DocumentDB DocumentDB-Ereignisquellenzuordnung (SDKoderCLI)

Um eine Amazon DocumentDB DocumentDB-Ereignisquellenzuordnung mit einem zu erstellen oder zu verwalten AWS SDK, können Sie die folgenden API Operationen verwenden:

Verwenden Sie den create-event-source-mappingBefehl, um die Zuordnung der AWS CLI Ereignisquelle mit dem zu erstellen. Im folgenden Beispiel wird dieser Befehl verwendet, um eine Funktion namens my-function einem Amazon-DocumentDB-Änderungsstream zuzuordnen. Die Ereignisquelle wird durch einen Amazon-Ressourcennamen (ARN) mit einer Batchgröße von 500 angegeben, beginnend mit dem Zeitstempel in Unix-Zeit. Der Befehl gibt auch den Secrets-Manager-Schlüssel an, den Lambda verwendet, um eine Verbindung zu Amazon DocumentDB herzustellen. Darüber hinaus enthält er document-db-event-source-config-Parameter, die die Datenbank und die Sammlung angeben, aus der gelesen werden soll.

aws lambda create-event-source-mapping --function-name my-function \
    --event-source-arn arn:aws:rds:us-west-2:123456789012:cluster:privatecluster7de2-epzcyvu4pjoy
    --batch-size 500 \
    --starting-position AT_TIMESTAMP \
    --starting-position-timestamp 1541139109 \
    --source-access-configurations '[{"Type":"BASIC_AUTH","URI":"arn:aws:secretsmanager:us-east-1:123456789012:secret:DocDBSecret-BAtjxi"}]' \
    --document-db-event-source-config '{"DatabaseName":"test_database", "CollectionName": "test_collection"}' \

Die Ausgabe sollte in etwa wie folgt aussehen:

{
    "UUID": "2b733gdc-8ac3-cdf5-af3a-1827b3b11284",
    "BatchSize": 500,
    "DocumentDBEventSourceConfig": {
        "CollectionName": "test_collection",
        "DatabaseName": "test_database",
        "FullDocument": "Default"
    },
    "MaximumBatchingWindowInSeconds": 0,
    "EventSourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:privatecluster7de2-epzcyvu4pjoy",
    "FunctionArn": "arn:aws:lambda:us-west-2:123456789012:function:my-function",
    "LastModified": 1541348195.412,
    "LastProcessingResult": "No records processed",
    "State": "Creating",
    "StateTransitionReason": "User action"
}

Nach der Erstellung können Sie den update-event-source-mapping-Befehl verwenden, um die Einstellungen für Ihre Amazon-DocumentDB-Ereignisquelle zu aktualisieren. Im folgenden Beispiel werden die Batchgröße auf 1 000 und das Batchfenster auf 10 Sekunden aktualisiert. Für diesen Befehl benötigen Sie die Zuordnung UUID Ihrer Ereignisquelle, die Sie mit dem list-event-source-mapping Befehl oder der Lambda-Konsole abrufen können.

aws lambda update-event-source-mapping --function-name my-function \
    --uuid f89f8514-cdd9-4602-9e1f-01a5b77d449b \
    --batch-size 1000 \
    --batch-window 10

Die Ausgabe sollte in etwa wie folgt aussehen:

{
    "UUID": "2b733gdc-8ac3-cdf5-af3a-1827b3b11284",
    "BatchSize": 500,
    "DocumentDBEventSourceConfig": {
        "CollectionName": "test_collection",
        "DatabaseName": "test_database",
        "FullDocument": "Default"
    },
    "MaximumBatchingWindowInSeconds": 0,
    "EventSourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:privatecluster7de2-epzcyvu4pjoy",
    "FunctionArn": "arn:aws:lambda:us-west-2:123456789012:function:my-function",
    "LastModified": 1541359182.919,
    "LastProcessingResult": "OK",
    "State": "Updating",
    "StateTransitionReason": "User action"
}

Da Lambda die Einstellungen asynchron aktualisiert, werden Sie diese Änderungen möglicherweise erst nach Abschluss des Vorgangs in der Ausgabe sehen. Verwenden Sie den get-event-source-mapping-Befehl, um die aktuellen Einstellungen Ihrer Zuordnung von Ereignisquellen anzuzeigen.

aws lambda get-event-source-mapping --uuid f89f8514-cdd9-4602-9e1f-01a5b77d449b

Die Ausgabe sollte in etwa wie folgt aussehen:

{
    "UUID": "2b733gdc-8ac3-cdf5-af3a-1827b3b11284",
    "DocumentDBEventSourceConfig": {
        "CollectionName": "test_collection",
        "DatabaseName": "test_database",
        "FullDocument": "Default"
    },
    "BatchSize": 1000,
    "MaximumBatchingWindowInSeconds": 10,
    "EventSourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:privatecluster7de2-epzcyvu4pjoy",
    "FunctionArn": "arn:aws:lambda:us-west-2:123456789012:function:my-function",
    "LastModified": 1541359182.919,
    "LastProcessingResult": "OK",
    "State": "Enabled",
    "StateTransitionReason": "User action"
}

Um Ihre Zuordnung von Ereignisquellen von Amazon DocumentDB zu löschen, verwenden Sie den delete-event-source-mapping-Befehl.

aws lambda delete-event-source-mapping \
    --uuid 2b733gdc-8ac3-cdf5-af3a-1827b3b11284

Startpositionen für Abfragen und Streams

Beachten Sie, dass die Stream-Abfrage bei der Erstellung und Aktualisierung der Zuordnung von Ereignisquellen letztendlich konsistent ist.

Dieses Verhalten bedeutet, dass, wenn Sie LATEST als Startposition für den Stream angeben, die Zuordnung von Ereignisquellen bei der Erstellung oder Aktualisierung möglicherweise Ereignisse übersieht. Um sicherzustellen, dass keine Ereignisse übersehen werden, geben Sie die Startposition des Streams als TRIM_HORIZON oder AT_TIMESTAMP an.

Überwachen Ihrer Amazon-DocumentDB-Ereignisquelle

Um Sie bei der Überwachung Ihrer Amazon-DocumentDB-Ereignisquelle zu unterstützen, gibt Lambda die Metrik IteratorAge aus, wenn die Funktion das Verarbeiten von Datensätzen abgeschlossen hat. Das Iterator-Alter ist der Unterschied zwischen dem Zeitstempel des letzten Ereignisses und dem aktuellen Zeitstempel. Im Wesentlichen gibt die Metrik IteratorAge an, wie alt der letzte Datensatz im Batch bei Fertigstellung der Verarbeitung war. Wenn Ihre Funktion derzeit neue Ereignisse verarbeitet, können Sie mit dem Iterator-Alter die Latenz zwischen dem Zeitpunkt, zu dem ein Datensatz hinzugefügt wird, und dem Zeitpunkt, zu dem die Funktion verarbeitet wird, schätzen. Eine ansteigende Tendenz bei IteratorAge kann auf Probleme mit Ihrer Funktion hindeuten. Weitere Informationen finden Sie unter Metriken für Lambda-Funktionen anzeigen.

Amazon DocumentDB DocumentDB-Change-Streams sind nicht für die Bewältigung großer Zeitlücken zwischen Ereignissen optimiert. Wenn Ihre Amazon DocumentDB DocumentDB-Ereignisquelle über einen längeren Zeitraum keine Ereignisse empfängt, kann Lambda die Zuordnung der Ereignisquellen deaktivieren. Die Länge dieses Zeitraums kann je nach Clustergröße und anderen Workloads zwischen einigen Wochen und einigen Monaten variieren.

Lambda unterstützt Nutzlasten von bis zu 6 MB. Änderungsstream-Ereignisse von Amazon DocumentDB können jedoch bis zu 16 MB groß sein. Wenn Ihr Änderungsstream versucht, Lambda ein Änderungsstream-Ereignis zu senden, das größer als 6 MB ist, löscht Lambda die Nachricht und gibt die Metrik OversizedRecordCount aus. Lambda gibt alle Metriken auf die bestmögliche Weise aus.