Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Usa conectores y dependencias
Los conectores permiten leer y escribir datos en diversas tecnologías. Managed Service para Apache Flink incluye tres conectores predeterminados en su cuaderno de Studio. También puede usar conectores personalizados. Para obtener más información sobre los conectores, consulte Tabla y SQL conectores
Conectores por defecto
Si utiliza el AWS Management Console para crear su portátil Studio, Managed Service for Apache Flink incluye los siguientes conectores personalizados de forma predeterminada:flink-sql-connector-kinesis
, yflink-connector-kafka_2.12
. aws-msk-iam-auth
Para crear un cuaderno de Studio a través de la consola sin estos conectores personalizados, seleccione la opción Crear con ajustes personalizados. A continuación, cuando llegue a la página de configuraciones, desactive las casillas de verificación situadas junto a los dos conectores.
Si utilizas el CreateApplicationAPIpara crear tu bloc de notas Studio, los flink-connector-kafka
conectores flink-sql-connector-flink
y no se incluyen de forma predeterminada. Para añadirlos, debe especificarlos como MavenReference
en el tipo de datos CustomArtifactsConfiguration
, como se muestra en los siguientes ejemplos.
El aws-msk-iam-auth
conector es el conector MSK que se utilizará con Amazon e incluye la función de autenticación automática. IAM
nota
Las versiones de conector que se muestran en el siguiente ejemplo son las únicas versiones que admitimos.
For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]
Para añadir estos conectores a un portátil existente, utilice la UpdateApplicationAPIoperación y especifíquelos como MavenReference
en el tipo de CustomArtifactsConfigurationUpdate
datos.
nota
Puede establecerlo en true failOnError
para el flink-sql-connector-kinesis
conector de la tablaAPI.
Agregue dependencias y conectores personalizados
Para usar el AWS Management Console para añadir una dependencia o un conector personalizado a tu bloc de notas Studio, sigue estos pasos:
-
Cargue el archivo del conector personalizado en Amazon S3.
En el AWS Management Console, elige la opción de creación personalizada para crear tu bloc de notas de Studio.
Siga el flujo de trabajo de creación de cuadernos de Studio hasta llegar al paso de configuración.
-
En la sección Conectores personalizados, seleccione Añadir conector personalizado.
-
Especifique la ubicación de Amazon S3 de la dependencia o del conector personalizado.
-
Elija Guardar cambios.
Para añadir una dependencia JAR o un conector personalizado al crear un nuevo bloc de notas de Studio mediante el CreateApplicationAPI, especifique la ubicación de Amazon S3 de la dependencia JAR o el conector personalizado en el tipo de CustomArtifactsConfiguration
datos. Para añadir una dependencia o un conector personalizado a un bloc de notas Studio existente, invoque la UpdateApplicationAPIoperación y especifique la ubicación en Amazon S3 de la dependencia JAR o el conector personalizado en el tipo de CustomArtifactsConfigurationUpdate
datos.
nota
Cuando incluye una dependencia o un conector personalizado, también debe incluir todas sus dependencias transitivas que no estén incluidas en él.