Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Fehlerbehebung bei der Entwicklung Dieser Abschnitt enthält Informationen zur Diagnose und Behebung von Entwicklungsproblemen mit Ihrer Managed Service for Apache Flink-Anwendung. **Topics** + [Bewährte Methoden für das Rollback von Systemen](troubleshooting-system-rollback.md) + [Bewährte Methoden für die Hudi-Konfiguration](troubleshooting-hudi.md) + [Apache Flink Flame-Diagramme](troubleshooting-update-flamegraphs.md) + [Problem mit dem Anmeldeinformationsanbieter mit dem EFO-Connector 1.15.2](troubleshooting-credential-provider.md) + [Anwendungen mit nicht unterstützten Kinesis-Konnektoren](troubleshooting-unsupported-kinesis-connectors.md) + [Kompilierungsfehler: „Abhängigkeiten für das Projekt konnten nicht aufgelöst werden“](troubleshooting-compile.md) + [Ungültige Auswahl: „kinesisanalyticsv2"](troubleshooting-cli-update.md) + [UpdateApplication Aktion ist kein erneutes Laden des Anwendungscodes](troubleshooting-update.md) + [S3 StreamingFileSink FileNotFoundExceptions](troubleshooting-s3sink.md) + [FlinkKafkaConsumer Problem mit Stop with Savepoint](troubleshooting-FlinkKafkaConsumer.md) + [Flink 1.15 Async Sink Deadlock](troubleshooting-async-deadlock.md) + [Die Quellverarbeitung von Amazon Kinesis Kinesis-Datenstreams ist beim Re-Sharding nicht in der richtigen Reihenfolge](troubleshooting-kinesis-data-streams-processing-out-of-order.md) + [Häufig gestellte Fragen und Problemlösungen zum Einbetten von Vektoren in Echtzeit](troubleshooting-blueprints.md) # Bewährte Methoden für das Rollback von Systemen Mit den Funktionen für automatisches System-Rollback und Betriebstransparenz in Amazon Managed Service for Apache Flink können Sie Probleme mit Ihren Anwendungen identifizieren und lösen. ## System-Rollbacks Wenn Ihr Anwendungsupdate oder Ihr Skalierungsvorgang aufgrund eines Kundenfehlers fehlschlägt, z. B. aufgrund eines Codefehlers oder eines Berechtigungsproblems, versucht Amazon Managed Service für Apache Flink automatisch, zur vorherigen laufenden Version zurückzukehren, sofern Sie sich für diese Funktion entschieden haben. Weitere Informationen finden Sie unter [Aktivieren Sie System-Rollbacks für Ihre Managed Service for Apache Flink-Anwendung](how-system-rollbacks.md). Wenn dieser automatische Rollback fehlschlägt oder Sie sich nicht angemeldet oder abgemeldet haben, wird Ihre Anwendung in den entsprechenden Status versetzt. `READY` Gehen Sie wie folgt vor, um Ihre Bewerbung zu aktualisieren: Sehen Sie in der Amazon Managed Service for Apache Flink-Konsole nach oder verwenden Sie die `DescribeApplicationOperation` API, um die Fehlerbeschreibung zu sehen, warum der Vorgang fehlgeschlagen ist. Verwenden Sie [Cloudwatch-Protokolle](https://docs.aws.amazon.com/managed-flink/latest/java/logging.html), um den vollständigen Fehlerstapel zu erhalten. Häufige Probleme sind unzureichende Berechtigungen, inkompatible Codeänderungen oder Fehlkonfigurationen der Infrastruktur. Beheben Sie das zugrunde liegende Problem. Verwenden Sie die `UpdateApplicaton` API, um Ihre neue Anwendungsversion erneut bereitzustellen. ## Manuelles Rollback Wenn die Anwendung nicht voranschreitet und sich über einen längeren Zeitraum in einem vorübergehenden Zustand befindet oder wenn die Anwendung erfolgreich umgestellt wurde`Running`, Sie aber nachgelagerte Probleme wie Verarbeitungsfehler in einer erfolgreich aktualisierten Flink-Anwendung feststellen, können Sie sie mithilfe der API manuell rückgängig machen. `RollbackApplication` 1. Aufruf `RollbackApplication` — dadurch wird zur vorherigen laufenden Version zurückgesetzt und der vorherige Status wiederhergestellt. 1. Überwachen Sie den Rollback-Vorgang mithilfe der `DescribeApplicationOperation` API. 1. Wenn das Rollback fehlschlägt, verwenden Sie die vorherigen System-Rollback-Schritte. ## Sichtbarkeit der Abläufe Die `ListApplicationOperations` API zeigt den Verlauf aller Kunden- und Systemvorgänge in Ihrer Anwendung. 1. Ruft die *OperationID* des fehlgeschlagenen Vorgangs aus der Liste ab. 1. Rufen Sie an `DescribeApplicationOperation` und überprüfen Sie den Status und die *statusDescription*. 1. Wenn ein Vorgang fehlgeschlagen ist, weist die Beschreibung auf einen möglichen Fehler hin, der untersucht werden muss. **Häufige Fehler im Fehlercode:** Verwenden Sie die Rollback-Funktionen, um zur letzten funktionierenden Version zurückzukehren. Beheben Sie Fehler und versuchen Sie das Update erneut. **Probleme mit Berechtigungen:** Verwenden Sie den`DescribeApplicationOperation`, um die erforderlichen Berechtigungen einzusehen. Aktualisieren Sie die Anwendungsberechtigungen und versuchen Sie es erneut. **Serviceprobleme mit Amazon Managed Service für Apache Flink:** Überprüfen Sie den Support-Fall AWS Health Dashboard oder öffnen Sie einen Support-Fall. # Bewährte Methoden für die Hudi-Konfiguration Um Hudi-Konnektoren auf Managed Service für Apache Flink auszuführen, empfehlen wir die folgenden Konfigurationsänderungen. Deaktivieren von `hoodie.embed.timeline.server` Der Hudi-Connector auf Flink richtet einen eingebetteten Timeline (TM) -Server auf dem Flink Jobmanager (JM) ein, um Metadaten zwischenzuspeichern und so die Leistung bei hoher Jobparallelität zu verbessern. Wir empfehlen, diesen eingebetteten Server im Managed Service für Apache Flink zu deaktivieren, da wir die Nicht-Flink-Kommunikation zwischen JM und TM deaktivieren. Wenn dieser Server aktiviert ist, versucht Hudi Writes zunächst, eine Verbindung zum eingebetteten Server auf JM herzustellen, und greift dann auf das Lesen von Metadaten aus Amazon S3 zurück. Das bedeutet, dass bei Hudi ein Verbindungs-Timeout auftritt, das Hudi-Schreibvorgänge verzögert und die Leistung von Managed Service for Apache Flink beeinträchtigt. # Apache Flink Flame-Diagramme Flame-Diagramme sind für Anwendungen in Versionen von Managed Service für Apache Flink, die Flame-Diagramme unterstützen, standardmäßig aktiviert. Flame-Diagramme können die Leistung der Anwendung beeinträchtigen, wenn Sie das Diagramm geöffnet lassen, wie in der [Flink-Dokumentation](https://nightlies.apache.org/flink/flink-docs-release-1.15//docs/ops/debugging/flame_graphs/) beschrieben. Wenn Sie Flame-Diagramme für Ihre Anwendung deaktivieren möchten, erstellen Sie einen Fall, um die Deaktivierung für Ihren Anwendungs-ARN anzufordern. Weitere Informationen finden Sie im [AWS Support-Center](https://console.aws.amazon.com/support/home#/). # Problem mit dem Anmeldeinformationsanbieter mit dem EFO-Connector 1.15.2 Es gibt ein [bekanntes Problem](https://issues.apache.org/jira/browse/FLINK-29205) mit EFO-Konnektor-Versionen bis 1.15.2 von Kinesis Data Streams, bei dem der `FlinkKinesisConsumer` die `Credential Provider`-Konfiguration nicht berücksichtigt. Gültige Konfigurationen werden aufgrund des Problems ignoriert, was dazu führt, dass der `AUTO`-Anmeldeinformationsanbieter verwendet wird. Dies kann zu Problemen beim kontoübergreifenden Zugriff auf Kinesis mithilfe des EFO-Konnektors führen. Um diesen Fehler zu beheben, verwenden Sie bitte die EFO-Konnektor-Version 1.15.3 oder höher. # Anwendungen mit nicht unterstützten Kinesis-Konnektoren Managed Service for Apache Flink for Apache Flink Version 1.15 oder höher [lehnt automatisch den Start oder die Aktualisierung von Anwendungen ab, wenn sie nicht unterstützte Kinesis Connector-Versionen (vor Version 1.15.2) verwenden, die in Anwendungen oder](https://docs.aws.amazon.com/managed-flink/latest/java/flink-1-15-2.html) Archiven (ZIP) gebündelt sind. JARs ## Ablehnungsfehler Sie erhalten folgende Fehlermeldung, wenn Sie Aufrufe zum Erstellen und Aktualisieren von Anwendungen übermitteln: ``` An error occurred (InvalidArgumentException) when calling the CreateApplication operation: An unsupported Kinesis connector version has been detected in the application. Please update flink-connector-kinesis to any version equal to or newer than 1.15.2. For more information refer to connector fix: https://issues.apache.org/jira/browse/FLINK-23528 ``` ## Schritte zur Behebung + Aktualisieren Sie die Abhängigkeit der Anwendung von `flink-connector-kinesis`. Wenn Sie Maven als Build-Tool für Ihr Projekt verwenden, folgen Sie [Aktualisieren einer Maven-Abhängigkeit](#troubleshooting-unsupported-kinesis-connectors-update-maven-dependency). Wenn Sie Gradle verwenden, folgen Sie [Aktualisieren einer Gradle-Abhängigkeit](#troubleshooting-unsupported-kinesis-connectors-update-gradle-dependency). + Verpacken Sie die Anwendung erneut. + Laden Sie sie in einen Amazon-S3-Bucket hoch. + Reichen Sie die Anfrage zum Erstellen/Aktualisieren der Anwendung erneut mit der überarbeiteten Anwendung ein, die gerade in den Amazon-S3-Bucket hochgeladen wurde. + Wenn Sie weiterhin dieselbe Fehlermeldung erhalten, überprüfen Sie Ihre Anwendungsabhängigkeiten erneut. Wenn das Problem weiterhin besteht, erstellen Sie bitte ein Support-Ticket. ### Aktualisieren einer Maven-Abhängigkeit 1. Öffnen Sie die `pom.xml` des Projekts. 1. Finden Sie die Abhängigkeiten des Projekts. Sie sehen etwa so aus: ``` ... ... org.apache.flink flink-connector-kinesis ... ... ``` 1. Aktualisieren Sie `flink-connector-kinesis` auf Version 1.15.2 oder neuer. Zum Beispiel: ``` ... ... org.apache.flink flink-connector-kinesis 1.15.2 ... ... ``` ### Aktualisieren einer Gradle-Abhängigkeit 1. Öffnen Sie die `build.gradle` des Projekts (oder `build.gradle.kts` für Kotlin-Anwendungen). 1. Finden Sie die Abhängigkeiten des Projekts. Sie sehen etwa so aus: ``` ... dependencies { ... implementation("org.apache.flink:flink-connector-kinesis") ... } ... ``` 1. Aktualisieren Sie `flink-connector-kinesis` auf Version 1.15.2 oder neuer. Zum Beispiel: ``` ... dependencies { ... implementation("org.apache.flink:flink-connector-kinesis:1.15.2") ... } ... ``` # Kompilierungsfehler: „Abhängigkeiten für das Projekt konnten nicht aufgelöst werden“ Um die Beispielanwendungen von Managed Service für Apache Flink zu kompilieren, müssen Sie zuerst den Apache-Flink-Kinesis-Konnektor herunterladen, kompilieren und zu Ihrem lokalen Maven-Repository hinzufügen. Wenn der Konnektor nicht zu Ihrem Repository hinzugefügt wurde, wird ein Kompilierungsfehler ähnlich dem folgenden angezeigt: ``` Could not resolve dependencies for project your project name: Failure to find org.apache.flink:flink-connector-kinesis_2.11:jar:1.8.2 in https://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted until the update interval of central has elapsed or updates are forced ``` Um diesen Fehler zu beheben, müssen Sie den Apache Flink-Quellcode (Version 1.8.2 von [https://flink.apache.org/downloads.html](https://flink.apache.org/downloads.html)) für den Connector herunterladen. Anweisungen zum Herunterladen, Kompilieren und Installieren des Apache-Flink-Quellcodes finden Sie unter [Verwenden des Apache Flink Kinesis Streams Connectors mit früheren Apache Flink-Versionen](earlier.md#how-creating-apps-building-kinesis). # Ungültige Auswahl: „kinesisanalyticsv2" Um Version 2 der Managed Service für Apache Flink API zu verwenden, benötigen Sie die neueste Version von AWS Command Line Interface (AWS CLI). *Informationen zur Aktualisierung von finden Sie unter [Installation von](https://docs.aws.amazon.com/cli/latest/userguide/installing.html) im AWS CLI Benutzerhandbuch. AWS Command Line InterfaceAWS Command Line Interface * # UpdateApplication Aktion ist kein erneutes Laden des Anwendungscodes Die [UpdateApplication](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_UpdateApplication.html)Aktion lädt den Anwendungscode mit demselben Dateinamen nicht neu, wenn keine S3-Objektversion angegeben ist. Um den Anwendungscode mit demselben Dateinamen neu zu laden, aktivieren Sie die Versionsverwaltung in Ihrem S3-Bucket und geben Sie die neue Objektversion mithilfe des Parameters `ObjectVersionUpdate` an. Weitere Informationen zur Aktivierung der Objektversionsverwaltung in einem S3-Bucket finden Sie unter [Aktivieren oder Deaktivieren der Versionsverwaltung](https://docs.aws.amazon.com/AmazonS3/latest/user-guide/enable-versioning.html). # S3 StreamingFileSink FileNotFoundExceptions Anwendungen, die Managed Service für Apache Flink nutzen, können beim Starten von Snapshots auf den Fehler `FileNotFoundException` einer Teildatei in Bearbeitung stoßen, wenn eine in Bearbeitung befindliche Teildatei fehlt, auf die ihr Savepoint verweist. Wenn dieser Fehlermodus eintritt, ist der Operatorstatus der Anwendung, die Managed Service für Apache Flink nutzt, normalerweise nicht wiederherstellbar und muss ohne Verwendung eines Snapshots mittels `SKIP_RESTORE_FROM_SNAPSHOT` neu gestartet werden. Sehen Sie sich den folgenden beispielhaften Stacktrace an: ``` java.io.FileNotFoundException: No such file or directory: s3://amzn-s3-demo-bucket/pathj/INSERT/2023/4/19/7/_part-2-1234_tmp_12345678-1234-1234-1234-123456789012 at org.apache.hadoop.fs.s3a.S3AFileSystem.s3GetFileStatus(S3AFileSystem.java:2231) at org.apache.hadoop.fs.s3a.S3AFileSystem.innerGetFileStatus(S3AFileSystem.java:2149) at org.apache.hadoop.fs.s3a.S3AFileSystem.getFileStatus(S3AFileSystem.java:2088) at org.apache.hadoop.fs.s3a.S3AFileSystem.open(S3AFileSystem.java:699) at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:950) at org.apache.flink.fs.s3hadoop.HadoopS3AccessHelper.getObject(HadoopS3AccessHelper.java:98) at org.apache.flink.fs.s3.common.writer.S3RecoverableMultipartUploadFactory.recoverInProgressPart(S3RecoverableMultipartUploadFactory.java:97) ... ``` Flink `StreamingFileSink` schreibt Datensätze in Dateisysteme, die von den [Dateisystemen](https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/filesystems/overview/) unterstützt werden. Da die eingehenden Streams unbegrenzt sein können, werden die Daten in Teildateien endlicher Größe organisiert, wobei beim Schreiben der Daten neue Dateien hinzugefügt werden. Der Teil-Lebenszyklus und die Rollover-Richtlinie bestimmen den Zeitpunkt, die Größe und die Benennung der Teildateien. Beim Checkpointing und Savepointing (Snapshotting) werden alle ausstehenden Dateien umbenannt und festgeschrieben. Teildateien, die sich in Bearbeitung befinden, werden jedoch nicht festgeschrieben, sondern umbenannt, und ihr Verweis wird in den Checkpoint- oder Savepoint-Metadaten gespeichert, die bei der Wiederherstellung von Aufträgen verwendet werden. Diese Teildateien, die sich in Bearbeitung befinden, werden irgendwann in den Status Ausstehend verschoben, umbenannt und von einem nachfolgenden Checkpoint oder Savepoint festgeschrieben. Im Folgenden sind die Hauptursachen und Abhilfemaßnahmen für fehlende Teildateien in Bearbeitung aufgeführt: + Veralteter Snapshot, der zum Starten der Managed Service for Apache Flink-Anwendung verwendet wurde — nur der letzte System-Snapshot, der beim Beenden oder Aktualisieren einer Anwendung erstellt wurde, kann verwendet werden, um eine Managed Service for Apache Flink-Anwendung mit Amazon S3 zu starten. StreamingFileSink Um diese Art von Fehlern zu vermeiden, verwenden Sie den neuesten System-Snapshot. + Dies ist beispielsweise der Fall, wenn Sie während des Stopps oder der Aktualisierung einen Snapshot auswählen, der mit `CreateSnapshot` statt mit einem vom System ausgelösten Snapshot erstellt wurde. Der Savepoint des älteren Snapshots enthält einen out-of-date Verweis auf die in Bearbeitung befindliche Teildatei, die umbenannt und von einem nachfolgenden Checkpoint oder Savepoint übernommen wurde. + Dies kann auch passieren, wenn ein vom System ausgelöster Snapshot ausgewählt wird, der aufgrund eines nicht letzten Ereignisses ausgelöst wurde. Stop/Update Ein Beispiel ist eine Anwendung, bei der der System-Snapshot deaktiviert, aber `RESTORE_FROM_LATEST_SNAPSHOT` konfiguriert wurde. Im Allgemeinen StreamingFileSink sollte bei Managed Service für Apache Flink-Anwendungen mit Amazon S3 immer der System-Snapshot aktiviert und `RESTORE_FROM_LATEST_SNAPSHOT` konfiguriert sein. + Teildatei in Bearbeitung entfernt – Da sich die in Bearbeitung befindliche Teildatei in einem S3-Bucket befindet, kann sie von anderen Komponenten oder Akteuren, die Zugriff auf den Bucket haben, entfernt werden. + Dies kann passieren, wenn Sie Ihre App zu lange angehalten haben und die Datei „In Bearbeitung“, auf die sich der Savepoint Ihrer App bezieht, durch die [S3-Bucket-Lebenszyklusrichtlinie](https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpu-abort-incomplete-mpu-lifecycle-config.html) entfernt wurde. MultiPartUpload Um diese Art von Fehlern zu vermeiden, stellen Sie sicher, dass Ihre S3-Bucket-MPU-Lebenszyklusrichtlinie einen ausreichend langen Zeitraum für Ihren Anwendungsfall abdeckt. + Dies kann auch passieren, wenn die Teildatei in Bearbeitung manuell oder durch eine andere Komponente Ihres Systems entfernt wurde. Um diese Art von Fehlern zu vermeiden, stellen Sie bitte sicher, dass die in Bearbeitung befindlichen Teildateien nicht von anderen Akteuren oder Komponenten entfernt werden. + Wettlaufsituation, bei der nach dem Savepoint ein automatisierter Checkpoint ausgelöst wird – dies betrifft Versionen von Managed Service für Apache Flink bis einschließlich 1.13. Dieses Problem wurde in Managed Service für Apache Flink Version 1.15 behoben. Migrieren Sie Ihre Anwendung auf die neueste Version von Managed Service für Apache Flink, um ein erneutes Auftreten zu verhindern. Wir empfehlen auch die Migration von nach. StreamingFileSink [FileSink](https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/filesystem/#file-sink) + Wenn Anwendungen angehalten oder aktualisiert werden, löst Managed Service für Apache Flink einen Savepoint aus und hält die Anwendung in zwei Schritten an. Wenn zwischen den beiden Schritten ein automatisierter Checkpoint ausgelöst wird, ist der Savepoint unbrauchbar, da seine in Bearbeitung befindliche Teildatei umbenannt und möglicherweise festgeschrieben würde. # FlinkKafkaConsumer Problem mit Stop with Savepoint Wenn Sie die FlinkKafkaConsumer Legacy-Version verwenden, besteht die Möglichkeit, dass Ihre Anwendung beim Aktualisieren, Stoppen oder Skalieren hängen bleibt, wenn Sie System-Snapshots aktiviert haben. Für dieses [Problem](https://issues.apache.org/jira/browse/FLINK-28758) ist kein veröffentlichter Fix verfügbar. Wir empfehlen Ihnen daher, auf das neue Update zu aktualisieren, [KafkaSource](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/kafka/#kafka-source)um dieses Problem zu beheben. Wenn Sie den `FlinkKafkaConsumer` mit aktivierten Snapshots verwenden, besteht die Möglichkeit, dass, wenn der Flink-Auftrag eine API-Anfrage vom Typ Anhalten mit Savepoint verarbeitet, der `FlinkKafkaConsumer` mit einem Laufzeitfehler fehlschlägt und eine `ClosedException` meldet. Unter diesen Bedingungen bleibt die Flink-Anwendung hängen, was sich als Fehlgeschlagene Checkpoints äußert. # Flink 1.15 Async Sink Deadlock Es gibt ein [bekanntes Problem](https://issues.apache.org/jira/browse/FLINK-32230) mit AWS Konnektoren für die Apache AsyncSink Flink-Implementierungsschnittstelle. Dies betrifft Anwendungen, die Flink 1.15 mit den folgenden Konnektoren verwenden: + Für Java-Anwendungen: + KinesisStreamsSink – `org.apache.flink:flink-connector-kinesis` + KinesisStreamsSink – `org.apache.flink:flink-connector-aws-kinesis-streams` + KinesisFirehoseSink – `org.apache.flink:flink-connector-aws-kinesis-firehose` + DynamoDbSink – `org.apache.flink:flink-connector-dynamodb` + Flink-AnwendungenSQL/TableAPI/Python: + kinesis – `org.apache.flink:flink-sql-connector-kinesis` + kinesis – `org.apache.flink:flink-sql-connector-aws-kinesis-streams` + firehose – `org.apache.flink:flink-sql-connector-aws-kinesis-firehose` + dynamodb – `org.apache.flink:flink-sql-connector-dynamodb` Bei betroffenen Anwendungen treten die folgenden Symptome auf: + Der Flink-Auftrag befindet sich im `RUNNING`-Status, verarbeitet aber keine Daten; + Es gibt keine Auftragsneustarts; + Bei Checkpoints kommt es zu Zeitüberschreitungen. Das Problem wird durch einen [Fehler](https://github.com/aws/aws-sdk-java-v2/issues/4354) im AWS SDK verursacht, der dazu führt, dass dem Aufrufer bestimmte Fehler nicht angezeigt werden, wenn der asynchrone HTTP-Client verwendet wird. Dies führt dazu, dass die Senke während eines Checkpoint-Flush-Vorgangs auf unbestimmte Zeit darauf wartet, dass eine in Übertragung befindliche Anfrage abgeschlossen wird. **Dieses Problem wurde im AWS SDK ab Version 2.20.144 behoben.** Im Folgenden finden Sie Anweisungen zum Aktualisieren der betroffenen Konnektoren, um die neue Version des AWS SDK in Ihren Anwendungen zu verwenden: **Topics** + [Aktualisieren der Java-Anwendungen](troubleshooting-async-deadlock-update-java-apps.md) + [Aktualisieren von Python-Anwendungen](troubleshooting-async-deadlock-update-python-apps.md) # Aktualisieren der Java-Anwendungen Gehen Sie wie folgt vor, um Java-Anwendungen zu aktualisieren: ## flink-connector-kinesis Wenn die Anwendung `flink-connector-kinesis` verwendet: Der Kinesis-Konnektor verwendet Shading, um einige Abhängigkeiten, einschließlich des AWS SDK, in das Connector-JAR zu packen. Gehen Sie wie folgt vor, um die AWS SDK-Version zu aktualisieren, um diese schattierten Klassen zu ersetzen: ------ #### [ Maven ] 1. Fügen Sie den Kinesis-Connector und die erforderlichen AWS SDK-Module als Projektabhängigkeiten hinzu. 1. Konfigurieren von `maven-shade-plugin`: 1. Fügen Sie einen Filter hinzu, um schattierte AWS SDK-Klassen auszuschließen, wenn der Inhalt der Kinesis-Connector-Jar kopiert wird. 1. Fügen Sie eine Relokationsregel hinzu, um aktualisierte AWS SDK-Klassen in das Paket zu verschieben, was vom Kinesis-Connector erwartet wird. **pom.xml** ``` ... ... org.apache.flink flink-connector-kinesis 1.15.4 software.amazon.awssdk kinesis 2.20.144 software.amazon.awssdk netty-nio-client 2.20.144 software.amazon.awssdk sts 2.20.144 ... ... ... ... org.apache.maven.plugins maven-shade-plugin 3.1.1 package shade ... ... org.apache.flink:flink-connector-kinesis org/apache/flink/kinesis/shaded/software/amazon/awssdk/** org/apache/flink/kinesis/shaded/org/reactivestreams/** org/apache/flink/kinesis/shaded/io/netty/** org/apache/flink/kinesis/shaded/com/typesafe/netty/** ... ... software.amazon.awssdk org.apache.flink.kinesis.shaded.software.amazon.awssdk org.reactivestreams org.apache.flink.kinesis.shaded.org.reactivestreams io.netty org.apache.flink.kinesis.shaded.io.netty com.typesafe.netty org.apache.flink.kinesis.shaded.com.typesafe.netty ... ... ... ... ``` ------ #### [ Gradle ] 1. Fügen Sie den Kinesis-Connector und die erforderlichen AWS SDK-Module als Projektabhängigkeiten hinzu. 1. Anpassen der ShadowJar-Konfiguration: 1. Schließt schattierte AWS SDK-Klassen aus, wenn der Inhalt der Kinesis-Connector-Jar kopiert wird. 1. Verschieben Sie aktualisierte AWS SDK-Klassen in ein Paket, das vom Kinesis-Connector erwartet wird. **build.gradle** ``` ... dependencies { ... flinkShadowJar("org.apache.flink:flink-connector-kinesis:1.15.4") flinkShadowJar("software.amazon.awssdk:kinesis:2.20.144") flinkShadowJar("software.amazon.awssdk:sts:2.20.144") flinkShadowJar("software.amazon.awssdk:netty-nio-client:2.20.144") ... } ... shadowJar { configurations = [project.configurations.flinkShadowJar] exclude("software/amazon/kinesis/shaded/software/amazon/awssdk/**/*") exclude("org/apache/flink/kinesis/shaded/org/reactivestreams/**/*.class") exclude("org/apache/flink/kinesis/shaded/io/netty/**/*.class") exclude("org/apache/flink/kinesis/shaded/com/typesafe/netty/**/*.class") relocate("software.amazon.awssdk", "org.apache.flink.kinesis.shaded.software.amazon.awssdk") relocate("org.reactivestreams", "org.apache.flink.kinesis.shaded.org.reactivestreams") relocate("io.netty", "org.apache.flink.kinesis.shaded.io.netty") relocate("com.typesafe.netty", "org.apache.flink.kinesis.shaded.com.typesafe.netty") } ... ``` ------ ## Andere betroffene Konnektoren Wenn die Anwendung einen anderen betroffenen Konnektor verwendet: Um die AWS SDK-Version zu aktualisieren, sollte die SDK-Version in der Build-Konfiguration des Projekts durchgesetzt werden. ------ #### [ Maven ] Fügen Sie die AWS SDK-Stückliste (BOM) zum Abschnitt zur Abhängigkeitsverwaltung der `pom.xml` Datei hinzu, um die SDK-Version für das Projekt durchzusetzen. **pom.xml** ``` ... ... software.amazon.awssdk bom 2.20.144 import pom ... ... ``` ------ #### [ Gradle ] Fügen Sie die Plattformabhängigkeit zur AWS SDK-Stückliste (BOM) hinzu, um die SDK-Version für das Projekt durchzusetzen. Dies erfordert Gradle 5.0 oder neuer: **build.gradle** ``` ... dependencies { ... flinkShadowJar(platform("software.amazon.awssdk:bom:2.20.144")) ... } ... ``` ------ # Aktualisieren von Python-Anwendungen Python-Anwendungen können Konnektoren auf zwei verschiedene Arten verwenden: Konnektoren und andere Java-Abhängigkeiten als Teil eines einzelnen uber-Jars verpacken oder Konnektor-JAR direkt verwenden. Beheben von Anwendungsproblemen, die durch Async Sink-Deadlock verursacht werden: + Wenn die Anwendung ein uber-Jar verwendet, folgen Sie den Anweisungen für [Aktualisieren der Java-Anwendungen](troubleshooting-async-deadlock-update-java-apps.md). + Gehen Sie wie folgt vor, um Konnektor-Jars aus dem Quellcode neu zu erstellen: **Erstellen von Konnektoren aus dem Quellcode:** Voraussetzungen, ähnlich den [Build-Anforderungen](https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/flinkdev/building/#build-flink) von Flink: + Java 11 + Maven 3.2.5 ## flink-sql-connector-kinesis 1. Herunterladen des Quellcodes für Flink 1.15.4: ``` wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz ``` 1. Entpacken des Quellcodes: ``` tar -xvf flink-1.15.4-src.tgz ``` 1. Navigieren Sie zum Kinesis-Konnektor-Verzeichnis ``` cd flink-1.15.4/flink-connectors/flink-connector-kinesis/ ``` 1. Kompilieren und installieren Sie Connector-Jar unter Angabe der erforderlichen AWS SDK-Version. Um den Build zu beschleunigen, verwenden Sie `-DskipTests`, um die Testausführung zu überspringen, und `-Dfast`, um zusätzliche Quellcodeprüfungen zu überspringen: ``` mvn clean install -DskipTests -Dfast -Daws.sdkv2.version=2.20.144 ``` 1. Navigieren Sie zum Kinesis-Konnektor-Verzeichnis ``` cd ../flink-sql-connector-kinesis ``` 1. Kompilieren und installieren Sie SQL-Konnektor-JAR: ``` mvn clean install -DskipTests -Dfast ``` 1. Das resultierende JAR wird verfügbar sein unter: ``` target/flink-sql-connector-kinesis-1.15.4.jar ``` ## flink-sql-connector-aws-Kinesis-Streams 1. Herunterladen des Quellcodes für Flink 1.15.4: ``` wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz ``` 1. Entpacken des Quellcodes: ``` tar -xvf flink-1.15.4-src.tgz ``` 1. Navigieren Sie zum Kinesis-Konnektor-Verzeichnis ``` cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-streams/ ``` 1. Kompilieren und installieren Sie Connector-JAR unter Angabe der erforderlichen SDK-Version. AWS Um den Build zu beschleunigen, verwenden Sie `-DskipTests`, um die Testausführung zu überspringen, und `-Dfast`, um zusätzliche Quellcodeprüfungen zu überspringen: ``` mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144 ``` 1. Navigieren Sie zum Kinesis-Konnektor-Verzeichnis ``` cd ../flink-sql-connector-aws-kinesis-streams ``` 1. Kompilieren und installieren Sie SQL-Konnektor-JAR: ``` mvn clean install -DskipTests -Dfast ``` 1. Das resultierende JAR wird verfügbar sein unter: ``` target/flink-sql-connector-aws-kinesis-streams-1.15.4.jar ``` ## flink-sql-connector-aws-Kinesis-Firehose 1. Herunterladen des Quellcodes für Flink 1.15.4: ``` wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz ``` 1. Entpacken des Quellcodes: ``` tar -xvf flink-1.15.4-src.tgz ``` 1. Navigieren Sie zum Konnektor-Verzeichnis ``` cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-firehose/ ``` 1. Kompilieren und installieren Sie das Connector-JAR unter Angabe der erforderlichen SDK-Version. AWS Um den Build zu beschleunigen, verwenden Sie `-DskipTests`, um die Testausführung zu überspringen, und `-Dfast`, um zusätzliche Quellcodeprüfungen zu überspringen: ``` mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144 ``` 1. Navigieren Sie zum SQL-Konnektor-Verzeichnis ``` cd ../flink-sql-connector-aws-kinesis-firehose ``` 1. Kompilieren und installieren Sie SQL-Konnektor-JAR: ``` mvn clean install -DskipTests -Dfast ``` 1. Das resultierende JAR wird verfügbar sein unter: ``` target/flink-sql-connector-aws-kinesis-firehose-1.15.4.jar ``` ## flink-sql-connector-dynamodb 1. Herunterladen des Quellcodes für Flink 1.15.4: ``` wget https://archive.apache.org/dist/flink/flink-connector-aws-3.0.0/flink-connector-aws-3.0.0-src.tgz ``` 1. Entpacken des Quellcodes: ``` tar -xvf flink-connector-aws-3.0.0-src.tgz ``` 1. Navigieren Sie zum Konnektor-Verzeichnis ``` cd flink-connector-aws-3.0.0 ``` 1. Kompilieren und installieren Sie das Connector-JAR unter Angabe der erforderlichen AWS SDK-Version. Um den Build zu beschleunigen, verwenden Sie `-DskipTests`, um die Testausführung zu überspringen, und `-Dfast`, um zusätzliche Quellcodeprüfungen zu überspringen: ``` mvn clean install -DskipTests -Dfast -Dflink.version=1.15.4 -Daws.sdk.version=2.20.144 ``` 1. Das resultierende JAR wird verfügbar sein unter: ``` flink-sql-connector-dynamodb/target/flink-sql-connector-dynamodb-3.0.0.jar ``` # Die Quellverarbeitung von Amazon Kinesis Kinesis-Datenstreams ist beim Re-Sharding nicht in der richtigen Reihenfolge Die aktuelle FlinkKinesisConsumer Implementierung bietet keine starken Ordnungsgarantien zwischen Kinesis-Shards. Dies kann zu einer out-of-order Verarbeitung beim Re-Sharding von Kinesis Stream führen, insbesondere bei Flink-Anwendungen, bei denen es zu Verarbeitungsverzögerungen kommt. Unter bestimmten Umständen, z. B. bei Windows-Operatoren, die auf Ereigniszeiten basieren, können Ereignisse aufgrund der daraus resultierenden Verspätung verworfen werden. ![\[Diagram showing shards and shard consumers with time progression and trim horizon.\]](http://docs.aws.amazon.com/de_de/managed-flink/latest/java/images/flink-ts.png) Dies ist ein [bekanntes Problem](https://issues.apache.org/jira/browse/FLINK-6349) in Open Source Flink. Stellen Sie sicher, dass Ihre Flink-Anwendungen bei der Neupartitionierung nicht hinter Kinesis Data Streams zurückfallen, bis die Fehlerbehebung für den Konnektor verfügbar ist. Indem Sie sicherstellen, dass die Verarbeitungsverzögerung von Ihren Flink-Apps toleriert wird, können Sie die Auswirkungen der out-of-order Verarbeitung und das Risiko eines Datenverlusts minimieren. # Häufig gestellte Fragen und Problemlösungen zum Einbetten von Vektoren in Echtzeit Lesen Sie die folgenden Abschnitte mit häufig gestellten Fragen und zur Fehlerbehebung, um Probleme mit Blueprints zur Vektoreinbettung in Echtzeit zu beheben. Weitere Informationen zu Blueprints zum Einbetten von Vektoren in Echtzeit finden Sie unter Blueprints zum Einbetten von Vektoren [in Echtzeit](https://docs.aws.amazon.com/msk/latest/developerguide/ai-vector-embedding-integration-learn-more.html). [Informationen zur allgemeinen Problembehandlung bei Managed Service für Apache Flink-Anwendungen finden Sie unter -runtime.html. https://docs.aws.amazon.com/managed-flink/ latest/java/troubleshooting](https://docs.aws.amazon.com/managed-flink/latest/java/troubleshooting-runtime.html) **Topics** + [Blueprints zum Einbetten von Vektoren in Echtzeit — Häufig gestellte Fragen](troubleshooting-blueprints-FAQ.md) + [Blueprints zum Einbetten von Vektoren in Echtzeit — Problembehebung](troubleshooting-blueprints-TS.md) # Blueprints zum Einbetten von Vektoren in Echtzeit — Häufig gestellte Fragen Lesen Sie die folgenden häufig gestellten Fragen zu Blueprints zum Einbetten von Vektoren in Echtzeit. Weitere Informationen über Blueprints zum Einbetten von Vektoren in Echtzeit finden Sie unter Blueprints zum Einbetten von Vektoren [in Echtzeit](https://docs.aws.amazon.com/msk/latest/developerguide/ai-vector-embedding-integration-learn-more.html). **Topics** + [Welche AWS Ressourcen schafft dieser Blueprint?](#troubleshooting-blueprints-1) + [Was sind meine Aktionen, nachdem die AWS CloudFormation Stack-Bereitstellung abgeschlossen ist?](#troubleshooting-blueprints-2) + [Wie sollten die Daten in den Amazon MSK-Quellthemen strukturiert sein?](#troubleshooting-blueprints-3) + [Kann ich Teile einer Nachricht angeben, die eingebettet werden sollen?](#troubleshooting-blueprints-4) + [Kann ich Daten aus mehreren Amazon MSK-Themen lesen?](#troubleshooting-blueprints-5) + [Kann ich Regex verwenden, um Amazon MSK-Themennamen zu konfigurieren?](#troubleshooting-blueprints-6) + [Was ist die maximale Größe einer Nachricht, die aus einem Amazon MSK-Thema gelesen werden kann?](#troubleshooting-blueprints-7) + [Welcher Typ wird unterstützt? OpenSearch](#troubleshooting-blueprints-8) + [Warum muss ich eine Vektorsuchsammlung und einen Vektorindex verwenden und meiner OpenSearch serverlosen Sammlung ein Vektorfeld hinzufügen?](#troubleshooting-blueprints-9) + [Was sollte ich als Dimension für mein Vektorfeld festlegen?](#troubleshooting-blueprints-10) + [Wie sieht die Ausgabe im konfigurierten OpenSearch Index aus?](#troubleshooting-blueprints-11) + [Kann ich Metadatenfelder angeben, die dem im OpenSearch Index gespeicherten Dokument hinzugefügt werden sollen?](#troubleshooting-blueprints-12) + [Muss ich mit doppelten Einträgen im OpenSearch Index rechnen?](#troubleshooting-blueprints-13) + [Kann ich Daten an mehrere Indizes senden? OpenSearch](#troubleshooting-blueprints-14) + [Kann ich mehrere Echtzeit-Vektor-Einbettungsanwendungen in einer einzigen bereitstellen? AWS-Konto](#troubleshooting-blueprints-15) + [Können mehrere Anwendungen zur Vektoreinbettung in Echtzeit dieselbe Datenquelle oder Datensenke verwenden?](#troubleshooting-blueprints-16) + [Unterstützt die Anwendung kontenübergreifende Konnektivität?](#troubleshooting-blueprints-17) + [Unterstützt die Anwendung regionsübergreifende Konnektivität?](#troubleshooting-blueprints-18) + [Können sich mein Amazon MSK-Cluster und meine OpenSearch Sammlung in verschiedenen VPCs Subnetzen befinden?](#troubleshooting-blueprints-19) + [Welche Einbettungsmodelle werden von der Anwendung unterstützt?](#troubleshooting-blueprints-20) + [Kann ich die Leistung meiner Anwendung auf der Grundlage meiner Arbeitslast optimieren?](#troubleshooting-blueprints-21) + [Welche Amazon MSK-Authentifizierungstypen werden unterstützt?](#troubleshooting-blueprints-22) + [Was ist `sink.os.bulkFlushIntervalMillis` und wie stelle ich es ein?](#troubleshooting-blueprints-23) + [Wenn ich meine Managed Service for Apache Flink-Anwendung bereitstelle, ab welchem Punkt im Amazon MSK-Thema beginnt sie, Nachrichten zu lesen?](#troubleshooting-blueprints-24) + [Wie verwende ich`source.msk.starting.offset`?](#troubleshooting-blueprints-25) + [Welche Chunking-Strategien werden unterstützt?](#troubleshooting-blueprints-26) + [Wie lese ich Datensätze in meinem Vektordatenspeicher?](#troubleshooting-blueprints-27) + [Wo finde ich neue Updates für den Quellcode?](#troubleshooting-blueprints-28) + [Kann ich die AWS CloudFormation Vorlage ändern und die Anwendung Managed Service for Apache Flink aktualisieren?](#troubleshooting-blueprints-29) + [Wird die Anwendung in meinem Namen AWS überwacht und gewartet?](#troubleshooting-blueprints-30) + [Verschiebt diese Anwendung meine Daten außerhalb meiner AWS-Konto?](#troubleshooting-blueprints-31) ## Welche AWS Ressourcen schafft dieser Blueprint? Um die in Ihrem Konto bereitgestellten Ressourcen zu finden, navigieren Sie zur AWS CloudFormation Konsole und identifizieren Sie den Stack-Namen, der mit dem Namen beginnt, den Sie für Ihre Managed Service for Apache Flink-Anwendung angegeben haben. Wählen Sie die Registerkarte **Ressourcen**, um die Ressourcen zu überprüfen, die als Teil des Stacks erstellt wurden. Im Folgenden sind die wichtigsten Ressourcen aufgeführt, die der Stack erstellt: + Managed Service zur Vektoreinbettung in Echtzeit für die Apache Flink-Anwendung + Amazon S3 S3-Bucket zum Speichern des Quellcodes für die Echtzeit-Vektor-Einbettungsanwendung + CloudWatch Protokollgruppe und Protokollstream zum Speichern von Protokollen + Lambda-Funktionen zum Abrufen und Erstellen von Ressourcen + IAM-Rollen und -Richtlinien für Lambdas, Managed Service für die Apache Flink-Anwendung und den Zugriff auf Amazon Bedrock und Amazon Service OpenSearch + Datenzugriffsrichtlinie für Amazon OpenSearch Service + VPC-Endpunkte für den Zugriff auf Amazon Bedrock und Amazon Service OpenSearch ## Was sind meine Aktionen, nachdem die AWS CloudFormation Stack-Bereitstellung abgeschlossen ist? Rufen Sie nach Abschluss der AWS CloudFormation Stack-Bereitstellung die Managed Service for Apache Flink-Konsole auf und suchen Sie nach Ihrer Blueprint-Anwendung Managed Service for Apache Flink. Wählen Sie die Registerkarte „**Konfigurieren**“ und vergewissern Sie sich, dass alle Runtime-Eigenschaften korrekt eingerichtet sind. Sie werden möglicherweise zur nächsten Seite weitergeleitet. Wenn Sie mit den Einstellungen vertraut sind, wählen Sie **Ausführen**. Die Anwendung beginnt, Nachrichten aus Ihrem Thema aufzunehmen. Informationen zur Suche nach neuen Versionen finden Sie unter [https://github.com/awslabs/real-time-vectorization-of-streaming-data/releases](https://github.com/awslabs/real-time-vectorization-of-streaming-data/releases). ## Wie sollten die Daten in den Amazon MSK-Quellthemen strukturiert sein? Wir unterstützen derzeit strukturierte und unstrukturierte Quelldaten. + Unstrukturierte Daten werden mit in gekennzeichnet. `STRING` `source.msk.data.type` Die Daten werden so gelesen, wie sie aus der eingehenden Nachricht stammen. + Wir unterstützen derzeit strukturierte JSON-Daten, die mit in gekennzeichnet `JSON` sind. `source.msk.data.type` Die Daten müssen immer im JSON-Format vorliegen. Wenn die Anwendung ein falsch formatiertes JSON empfängt, schlägt die Anwendung fehl. + Wenn Sie JSON als Quelldatentyp verwenden, stellen Sie sicher, dass jede Nachricht in allen Quellthemen ein gültiges JSON ist. Wenn Sie mit dieser Einstellung ein oder mehrere Themen abonnieren, die keine JSON-Objekte enthalten, schlägt die Anwendung fehl. Wenn ein oder mehrere Themen eine Mischung aus strukturierten und unstrukturierten Daten enthalten, empfehlen wir, die Quelldaten in der Anwendung Managed Service for Apache Flink als unstrukturiert zu konfigurieren. ## Kann ich Teile einer Nachricht angeben, die eingebettet werden sollen? + Wo sind unstrukturierte Eingabedaten`source.msk.data.type`? `STRING` Die Anwendung bettet immer die gesamte Nachricht ein und speichert die gesamte Nachricht im konfigurierten OpenSearch Index. + Bei strukturierten Eingabedaten (where `source.msk.data.type` is) können Sie so konfigurieren`JSON`, `embed.input.config.json.fieldsToEmbed` dass angegeben wird, welches Feld im JSON-Objekt für die Einbettung ausgewählt werden soll. Dies funktioniert nur für JSON-Felder der obersten Ebene und nicht für verschachtelte Nachrichten JSONs und für Nachrichten, die ein JSON-Array enthalten. Verwenden Sie .\$1, um das gesamte JSON einzubetten. ## Kann ich Daten aus mehreren Amazon MSK-Themen lesen? Ja, mit dieser Anwendung können Sie Daten aus mehreren Amazon MSK-Themen lesen. Daten aus allen Themen müssen vom gleichen Typ sein (entweder STRING oder JSON). Andernfalls kann die Anwendung fehlschlagen. Daten aus allen Themen werden immer in einem einzigen OpenSearch Index gespeichert. ## Kann ich Regex verwenden, um Amazon MSK-Themennamen zu konfigurieren? `source.msk.topic.names`unterstützt keine Liste von Regex. Wir unterstützen entweder eine durch Kommas getrennte Liste von Themennamen oder reguläre Ausdrücke, um alle Themen `.*` einzubeziehen. ## Was ist die maximale Größe einer Nachricht, die aus einem Amazon MSK-Thema gelesen werden kann? Die maximale Größe einer Nachricht, die verarbeitet werden kann, ist durch das Amazon InvokeModel Bedrock-Textlimit begrenzt, das derzeit auf 25.000.000 festgelegt ist. Weitere Informationen finden Sie unter [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html#API_runtime_InvokeModel_RequestBody). ## Welcher Typ wird unterstützt? OpenSearch Wir unterstützen sowohl OpenSearch Domains als auch Sammlungen. Wenn Sie eine OpenSearch Sammlung verwenden, stellen Sie sicher, dass Sie eine Vektorsammlung verwenden, und erstellen Sie einen Vektorindex, der für diese Anwendung verwendet werden soll. Auf diese Weise können Sie die Funktionen der OpenSearch Vektordatenbank für die Abfrage Ihrer Daten verwenden. Weitere Informationen finden Sie unter [Erläuterung der Vektordatenbankfunktionen von Amazon OpenSearch Service](https://aws.amazon.com/blogs/big-data/amazon-opensearch-services-vector-database-capabilities-explained/). ## Warum muss ich eine Vektorsuchsammlung und einen Vektorindex verwenden und meiner OpenSearch serverlosen Sammlung ein Vektorfeld hinzufügen? Der Sammlungstyp der *Vektorsuche* in OpenSearch Serverless bietet eine skalierbare und leistungsstarke Ähnlichkeitssuche. Es vereinfacht die Entwicklung moderner, erweiterter Sucherlebnisse für maschinelles Lernen (ML) und generativer Anwendungen für künstliche Intelligenz (KI). Weitere Informationen finden Sie unter [Arbeiten mit Sammlungen zur Vektorsuche](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-vector-search.html?icmpid=docs_console_unmapped). ## Was sollte ich als Dimension für mein Vektorfeld festlegen? Stellen Sie die Dimension des Vektorfeldes auf der Grundlage des Einbettungsmodells ein, das Sie verwenden möchten. Sehen Sie sich die folgende Tabelle an und bestätigen Sie diese Werte aus der jeweiligen Dokumentation. **Abmessungen des Vektorfeldes** | Modellname zum Einbetten von Amazon Bedrock-Vektoren | Das Modell bietet Unterstützung für Ausgabedimensionen | | --- | --- | | Amazon Titan Texteinbettungen V1 | 1 536 | | Amazon Titan Text Embeddings V2 | 1.024 (Standard), 384, 256 | | Amazon Titan Multimodal Embeddings G1 | 1.024 (Standard), 384, 256 | | Cohere Embed English | 1,024 | | Cohere Embed Multilingual | 1,024 | ## Wie sieht die Ausgabe im konfigurierten OpenSearch Index aus? Jedes Dokument im OpenSearch Index enthält folgende Felder: + **original\$1data: Die Daten**, die zur Generierung von Einbettungen verwendet wurden. Beim Typ STRING ist es die gesamte Nachricht. Bei JSON-Objekten ist es das JSON-Objekt, das für Einbettungen verwendet wurde. Es kann sich um das gesamte JSON in der Nachricht oder um bestimmte Felder im JSON handeln. Wenn der Name beispielsweise so ausgewählt wurde, dass er in eingehende Nachrichten eingebettet werden soll, würde die Ausgabe wie folgt aussehen: ``` "original_data": "{\"name\":\"John Doe\"}" ``` + **embedded\$1data**: Ein Vektor-Float-Array von Einbettungen, die von Amazon Bedrock generiert wurden + **Datum**: UTC-Zeitstempel, in dem das Dokument gespeichert wurde OpenSearch ## Kann ich Metadatenfelder angeben, die dem im OpenSearch Index gespeicherten Dokument hinzugefügt werden sollen? Nein, derzeit unterstützen wir nicht das Hinzufügen zusätzlicher Felder zum endgültigen, im OpenSearch Index gespeicherten Dokument. ## Muss ich mit doppelten Einträgen im OpenSearch Index rechnen? Je nachdem, wie Sie Ihre Anwendung konfiguriert haben, werden möglicherweise doppelte Nachrichten im Index angezeigt. Ein häufiger Grund ist der Neustart der Anwendung. Die Anwendung ist standardmäßig so konfiguriert, dass sie ab der ersten Nachricht im Quellthema mit dem Lesen beginnt. Wenn Sie die Konfiguration ändern, wird die Anwendung neu gestartet und verarbeitet alle Nachrichten im Thema erneut. Um eine erneute Verarbeitung zu vermeiden, lesen Sie in der Dokumentation zur Verwendung von source.msk.starting.offset nach und legen Sie den Startversatz für Ihre Anwendung korrekt fest. ## Kann ich Daten an mehrere Indizes senden? OpenSearch Nein, die Anwendung unterstützt das Speichern von Daten in einem einzigen OpenSearch Index. Um die Vektorisierungsausgabe für mehrere Indizes einzurichten, müssen Sie einen separaten Managed Service für Apache Flink-Anwendungen bereitstellen. ## Kann ich mehrere Echtzeit-Vektor-Einbettungsanwendungen in einer einzigen bereitstellen? AWS-Konto Ja, Sie können mehrere Managed Service für Apache Flink-Anwendungen zur Echtzeit-Vektoreinbettung in einer einzigen Anwendung bereitstellen, AWS-Konto sofern jede Anwendung einen eindeutigen Namen hat. ## Können mehrere Anwendungen zur Vektoreinbettung in Echtzeit dieselbe Datenquelle oder Datensenke verwenden? Ja, Sie können mehrere Managed Services für Apache Flink-Anwendungen zur Echtzeit-Vektoreinbettung erstellen, die Daten aus demselben Thema lesen oder Daten im selben Index speichern. ## Unterstützt die Anwendung kontenübergreifende Konnektivität? Nein, damit die Anwendung erfolgreich ausgeführt werden kann, müssen sich der Amazon MSK-Cluster und die OpenSearch Sammlung dort befinden, AWS-Konto wo Sie versuchen, Ihre Managed Service for Apache Flink-Anwendung einzurichten. ## Unterstützt die Anwendung regionsübergreifende Konnektivität? Nein, mit der Anwendung können Sie nur eine Managed Service for Apache Flink-Anwendung mit einem Amazon MSK-Cluster und einer OpenSearch Sammlung in derselben Region wie die Managed Service for Apache Flink-Anwendung bereitstellen. ## Können sich mein Amazon MSK-Cluster und meine OpenSearch Sammlung in verschiedenen VPCs Subnetzen befinden? Ja, wir unterstützen Amazon MSK-Cluster und OpenSearch -Sammlung in verschiedenen VPCs Subnetzen, sofern sie sich in denselben befinden. AWS-Konto Weitere Informationen finden Sie unter (Allgemeine MSF-Fehlerbehebung), um sicherzustellen, dass Ihre Einrichtung korrekt ist. ## Welche Einbettungsmodelle werden von der Anwendung unterstützt? Derzeit unterstützt die Anwendung alle Modelle, die von Bedrock unterstützt werden. Dazu zählen: + Amazon Titan Embeddings G1 – Text + Amazon Titan Text Embeddings V2 + Amazon Titan Multimodal Embeddings G1 + Cohere Embed English + Cohere Embed Multilingual ## Kann ich die Leistung meiner Anwendung auf der Grundlage meiner Arbeitslast optimieren? Ja. Der Durchsatz der Anwendung hängt von einer Reihe von Faktoren ab, die alle von den Kunden gesteuert werden können: 1. **AWS MSF KPUs**: Die Anwendung wird mit dem Standard-Parallelitätsfaktor 2 und Parallelität pro KPU 1 bereitgestellt, wobei die automatische Skalierung aktiviert ist. Wir empfehlen jedoch, die Skalierung für die Anwendung Managed Service for Apache Flink entsprechend Ihren Workloads zu konfigurieren. Weitere Informationen finden Sie unter [Überprüfen der Anwendungsressourcen für Managed Service für Apache Flink](https://docs.aws.amazon.com/managed-flink/latest/java/how-resources.html). 1. **Amazon Bedrock**: Je nach dem ausgewählten Amazon Bedrock On-Demand-Modell können unterschiedliche Kontingente gelten. Sehen Sie sich die Service-Kontingente in Bedrock an, um zu sehen, welche Arbeitslast der Service bewältigen kann. Weitere Informationen finden Sie unter [Kontingente für Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/quotas.html). 1. **Amazon OpenSearch Service**: Darüber hinaus stellen Sie in einigen Situationen möglicherweise fest, dass dies der Engpass in Ihrer Pipeline OpenSearch ist. Informationen zur Skalierung finden Sie unter OpenSearch Skalierung der [Größe von Amazon OpenSearch Service-Domains](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/sizing-domains.html). ## Welche Amazon MSK-Authentifizierungstypen werden unterstützt? Wir unterstützen nur den Authentifizierungstyp IAM MSK. ## Was ist `sink.os.bulkFlushIntervalMillis` und wie stelle ich es ein? Beim Senden von Daten an Amazon OpenSearch Service ist das Bulk-Flush-Intervall das Intervall, in dem die Bulk-Anfrage ausgeführt wird, unabhängig von der Anzahl der Aktionen oder der Größe der Anfrage. Der Standardwert ist auf 1 Millisekunde festgelegt. Die Festlegung eines Aktualisierungsintervalls kann zwar dazu beitragen, sicherzustellen, dass Daten rechtzeitig indexiert werden, kann aber auch zu einem erhöhten Overhead führen, wenn es zu niedrig eingestellt ist. Berücksichtigen Sie bei der Auswahl eines Aktualisierungsintervalls Ihren Anwendungsfall und die Bedeutung einer zeitnahen Indizierung. ## Wenn ich meine Managed Service for Apache Flink-Anwendung bereitstelle, ab welchem Punkt im Amazon MSK-Thema beginnt sie, Nachrichten zu lesen? Die Anwendung beginnt mit dem Lesen von Nachrichten aus dem Amazon MSK-Thema an dem Offset, das durch die in der `source.msk.starting.offset` Laufzeitkonfiguration der Anwendung festgelegte Konfiguration festgelegt wurde. Wenn dies nicht explizit festgelegt `source.msk.starting.offset` ist, beginnt die Anwendung standardmäßig mit dem Lesen ab der frühesten verfügbaren Nachricht im Thema. ## Wie verwende ich`source.msk.starting.offset`? Setzt s je `ource.msk.starting.offset` nach gewünschtem Verhalten explizit auf einen der folgenden Werte: + FRÜHEST: Die Standardeinstellung, bei der vom ältesten Offset in der Partition ausgegangen wird. Dies ist vor allem dann eine gute Wahl, wenn: + Sie haben neu Amazon MSK-Themen und Verbraucheranwendungen erstellt. + Sie müssen Daten erneut abspielen, damit Sie den Status erstellen oder rekonstruieren können. Dies ist relevant, wenn Sie das Muster für die Ereignisbeschaffung implementieren oder wenn Sie einen neuen Service initialisieren, für den eine vollständige Ansicht des Datenverlaufs erforderlich ist. + AKTUELL: Die Anwendung Managed Service for Apache Flink liest Nachrichten vom Ende der Partition. Wir empfehlen diese Option, wenn Sie nur daran interessiert sind, dass neue Nachrichten erstellt werden, und wenn Sie keine historischen Daten verarbeiten müssen. In dieser Einstellung ignoriert der Verbraucher die vorhandenen Nachrichten und liest nur neue Nachrichten, die vom ursprünglichen Hersteller veröffentlicht wurden. + COMMITTED: Die Anwendung Managed Service for Apache Flink beginnt, Nachrichten aus dem festgeschriebenen Offset der konsumierenden Gruppe zu konsumieren. Wenn der festgeschriebene Offset nicht existiert, wird die EARLEOST-Reset-Strategie verwendet. ## Welche Chunking-Strategien werden unterstützt? Wir verwenden die [Langchain-Bibliothek](https://js.langchain.com/v0.1/docs/get_started/introduction/), um Eingaben zu teilen. Das Chunking wird nur angewendet, wenn die Länge der Eingabe größer als die gewählte ist. `maxSegmentSizeInChars` Wir unterstützen die folgenden fünf Chunking-Typen: + `SPLIT_BY_CHARACTER`: Passt so viele Zeichen wie möglich in jeden Chunk, wobei die Länge jedes Chunks nicht größer als ist. maxSegmentSize InChars Leerzeichen sind ihm egal, daher können Wörter abgeschnitten werden. + `SPLIT_BY_WORD`: Findet Whitespace-Zeichen zum Abteilen. Es werden keine Wörter abgeschnitten. + `SPLIT_BY_SENTENCE`: Satzgrenzen werden mithilfe der Apache OpenNLP-Bibliothek mit dem englischen Satzmodell erkannt. + `SPLIT_BY_LINE`: Findet neue Zeilenzeichen zum Abteilen. + `SPLIT_BY_PARAGRAPH`: Findet aufeinanderfolgende neue Zeilenzeichen, nach denen aufgeteilt werden kann. Bei den Splitting-Strategien wird auf die vorherige Reihenfolge zurückgegriffen, während bei den größeren Chunking-Strategien eher `SPLIT_BY_PARAGRAPH` zurückgegriffen wird. `SPLIT_BY_CHARACTER` Wenn beispielsweise eine Zeile zu lang ist`SPLIT_BY_LINE`, wird die Zeile satzweise unterteilt, wobei jeder Abschnitt in so viele Sätze wie möglich passt. Wenn es Sätze gibt, die zu lang sind, werden sie auf Wortebene aufgeteilt. Wenn ein Wort zu lang ist, wird es nach Zeichen aufgeteilt. ## Wie lese ich Datensätze in meinem Vektordatenspeicher? 1. Wann ist `source.msk.data.type` `STRING` + **original\$1data**: Die gesamte Originalzeichenfolge aus der Amazon MSK-Nachricht. + **embedded\$1data**: Einbettungsvektor, der erstellt wurde, `chunk_data` wenn er nicht leer ist (Chunking angewendet), oder der erstellt wurde, wenn kein Chunking angewendet wurde. `original_data` + **chunk\$1data**: Nur vorhanden, wenn die Originaldaten aufgeteilt wurden. Enthält den Teil der ursprünglichen Nachricht, der zur Erstellung der Einbettung in verwendet wurde. `embedded_data` 1. Wann ist `source.msk.data.type` `JSON` + **original\$1data**: Das gesamte ursprüngliche JSON aus der Amazon MSK-Nachricht, *nachdem* die JSON-Schlüsselfilterung angewendet wurde. + **embedded\$1data**: Einbettungsvektor, der erstellt wurde, `chunk_data` wenn er nicht leer ist (Chunking angewendet), oder erstellt, wenn kein Chunking angewendet wurde. `original_data` + **chunk\$1key**: Nur vorhanden, wenn die Originaldaten aufgeteilt wurden. Enthält den JSON-Schlüssel, aus dem der Chunk stammt. `original_data` Zum Beispiel kann es wie `jsonKey1.nestedJsonKeyA` bei verschachtelten Schlüsseln oder *Metadaten* aussehen. `original_data` + **chunk\$1data**: Nur vorhanden, wenn die Originaldaten aufgeteilt wurden. Enthält den Teil der ursprünglichen Nachricht, der zur Erstellung der Einbettung in verwendet wurde. `embedded_data` Ja, mit dieser Anwendung können Sie Daten aus mehreren Amazon MSK-Themen lesen. Daten aus allen Themen müssen vom gleichen Typ sein (entweder STRING oder JSON). Andernfalls kann die Anwendung fehlschlagen. Daten aus allen Themen werden immer in einem einzigen OpenSearch Index gespeichert. ## Wo finde ich neue Updates für den Quellcode? Gehe zu [https://github.com/awslabs/real-time-vectorization-of-streaming-data/releases, um nach neuen Versionen zu suchen](https://github.com/awslabs/real-time-vectorization-of-streaming-data/releases). ## Kann ich die AWS CloudFormation Vorlage ändern und die Anwendung Managed Service for Apache Flink aktualisieren? Nein, durch eine Änderung an der AWS CloudFormation Vorlage wird die Anwendung Managed Service for Apache Flink nicht aktualisiert. Jede neue Änderung AWS CloudFormation bedeutet, dass ein neuer Stack bereitgestellt werden muss. ## Wird die Anwendung in meinem Namen AWS überwacht und gewartet? Nein, AWS ich werde diese Anwendung nicht in Ihrem Namen überwachen, skalieren, aktualisieren oder patchen. ## Verschiebt diese Anwendung meine Daten außerhalb meiner AWS-Konto? Alle Daten, die von der Anwendung Managed Service for Apache Flink gelesen und gespeichert werden, verbleiben in Ihrem Konto AWS-Konto und verlassen Ihr Konto niemals. # Blueprints zum Einbetten von Vektoren in Echtzeit — Problembehebung Lesen Sie die folgenden Themen zur Problembehebung zu Blueprints für das Einbetten von Vektoren in Echtzeit. Weitere Informationen zu Blueprints zum Einbetten von Vektoren in Echtzeit finden Sie unter Blueprints zum Einbetten von Vektoren [in Echtzeit](https://docs.aws.amazon.com/msk/latest/developerguide/ai-vector-embedding-integration-learn-more.html). **Topics** + [Meine CloudFormation Stack-Bereitstellung ist fehlgeschlagen oder wurde rückgängig gemacht. Was kann ich tun, um das Problem zu beheben?](#troubleshooting-blueprints-deployment) + [Ich möchte nicht, dass meine Anwendung ab dem Beginn der Amazon MSK-Themen Nachrichten liest. Was soll ich tun?](#troubleshooting-blueprints-beginning) + [Woher weiß ich, ob es ein Problem mit meiner Managed Service for Apache Flink-Anwendung gibt, und wie kann ich es debuggen?](#troubleshooting-blueprints-debug) + [Was sind die wichtigsten Kennzahlen, die ich für meine Managed Service for Apache Flink-Anwendung überwachen sollte?](#troubleshooting-blueprints-metrics) ## Meine CloudFormation Stack-Bereitstellung ist fehlgeschlagen oder wurde rückgängig gemacht. Was kann ich tun, um das Problem zu beheben? + Gehen Sie zu Ihrem CFN-Stack und finden Sie den Grund für den Stack-Ausfall. Dies könnte unter anderem mit fehlenden Berechtigungen und Kollisionen bei AWS Ressourcennamen zusammenhängen. Korrigieren Sie die Hauptursache des Bereitstellungsfehlers. Weitere Informationen finden Sie in der [Anleitung CloudWatch zur Fehlerbehebung](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/troubleshooting.html#basic-ts-guide). + [Optional] Es kann nur einen VPC-Endpunkt pro Service pro VPC geben. Wenn Sie mehrere Echtzeit-Vektoreinbettungs-Blueprints zum Schreiben in die Amazon OpenSearch Service-Sammlungen in derselben VPC bereitgestellt haben, teilen sich diese möglicherweise VPC-Endpunkte. Diese sind entweder bereits in Ihrem Konto für die VPC vorhanden, oder der erste Blueprint-Stack zur Vektoreinbettung in Echtzeit erstellt VPC-Endpunkte für Amazon Bedrock und Amazon OpenSearch Service, die von allen anderen in Ihrem Konto bereitgestellten Stacks verwendet werden. Wenn ein Stack ausfällt, überprüfen Sie, ob dieser Stack VPC-Endpunkte für Amazon Bedrock und Amazon OpenSearch Service erstellt hat, und löschen Sie sie, wenn sie an keiner anderen Stelle in Ihrem Konto verwendet werden. Schritte zum Löschen von VPC-Endpunkten finden Sie in der Dokumentation zum sicheren Löschen Ihrer Anwendung. + Möglicherweise gibt es andere Dienste oder Anwendungen in Ihrem Konto, die den VPC-Endpunkt verwenden. Wenn Sie ihn löschen, kann dies zu Netzwerkunterbrechungen für andere Dienste führen. Gehen Sie beim Löschen dieser Endpunkte vorsichtig vor. ## Ich möchte nicht, dass meine Anwendung ab dem Beginn der Amazon MSK-Themen Nachrichten liest. Was soll ich tun? Sie müssen je `source.msk.starting.offset` nach gewünschtem Verhalten explizit einen der folgenden Werte angeben: + **Frühester Offset**: Der älteste Offset in der Partition. + **Letzter Offset**: Verbraucher werden Nachrichten vom Ende der Partition lesen. + **Offset festgeschrieben**: Liest aus der letzten Nachricht, die der Verbraucher innerhalb einer Partition verarbeitet hat. ## Woher weiß ich, ob es ein Problem mit meiner Managed Service for Apache Flink-Anwendung gibt, und wie kann ich es debuggen? Verwenden Sie den [Leitfaden zur Fehlerbehebung bei Managed Service for Apache Flink, um Probleme](https://docs.aws.amazon.com/managed-flink/latest/java/troubleshooting-runtime.html) im Zusammenhang mit Managed Service for Apache Flink mit Ihrer Anwendung zu debuggen. ## Was sind die wichtigsten Kennzahlen, die ich für meine Managed Service for Apache Flink-Anwendung überwachen sollte? + Alle Metriken, die für eine reguläre Managed Service for Apache Flink-Anwendung verfügbar sind, können Ihnen bei der Überwachung Ihrer Anwendung helfen. Weitere Informationen finden Sie unter [Metriken und Dimensionen in Managed Service für Apache Flink](https://docs.aws.amazon.com/managed-flink/latest/java/metrics-dimensions.html). + Informationen zur Überwachung der Amazon Bedrock-Metriken finden Sie unter [ CloudWatch Amazon-Metriken für Amazon Bedrock](https://docs.aws.amazon.com/bedrock/latest/userguide/monitoring.html#runtime-cloudwatch-metrics). + Wir haben zwei neue Metriken zur Leistungsüberwachung bei der Generierung von Einbettungen hinzugefügt. Sie finden sie unter dem Namen der `EmbeddingGeneration` Operation in. CloudWatch Die beiden Metriken sind: + **BedrockTitanEmbeddingTokenCount**: Anzahl der Token, die in einer einzigen Anfrage an Amazon Bedrock vorhanden sind. + **BedrockEmbeddingGenerationLatencyMs**: Gibt die Zeit in Millisekunden an, die benötigt wurde, um eine Antwort von Amazon Bedrock zu senden und zu empfangen, um Einbettungen zu generieren. + Für serverlose Sammlungen von Amazon OpenSearch Service können Sie Metriken wie `IngestionDataRate` `IngestionDocumentErrors` und andere verwenden. Weitere Informationen finden Sie unter [ OpenSearch Serverless Monitoring with Amazon CloudWatch](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/monitoring-cloudwatch.html). + OpenSearch Bereitgestellte Metriken finden Sie unter [Überwachen von OpenSearch Cluster-Metriken mit Amazon CloudWatch](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/managedomains-cloudwatchmetrics.html).