Usa conectores y dependencias - Managed Service para Apache Flink

Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Usa conectores y dependencias

Los conectores permiten leer y escribir datos en diversas tecnologías. Managed Service para Apache Flink incluye tres conectores predeterminados en su cuaderno de Studio. También puede usar conectores personalizados. Para obtener más información sobre los conectores, consulte Tabla y SQL conectores en la documentación de Apache Flink.

Conectores por defecto

Si utiliza el AWS Management Console para crear su portátil Studio, Managed Service for Apache Flink incluye los siguientes conectores personalizados de forma predeterminada:flink-sql-connector-kinesis, yflink-connector-kafka_2.12. aws-msk-iam-auth Para crear un cuaderno de Studio a través de la consola sin estos conectores personalizados, seleccione la opción Crear con ajustes personalizados. A continuación, cuando llegue a la página de configuraciones, desactive las casillas de verificación situadas junto a los dos conectores.

Si utilizas el CreateApplicationAPIpara crear tu bloc de notas Studio, los flink-connector-kafka conectores flink-sql-connector-flink y no se incluyen de forma predeterminada. Para añadirlos, debe especificarlos como MavenReference en el tipo de datos CustomArtifactsConfiguration, como se muestra en los siguientes ejemplos.

El aws-msk-iam-auth conector es el conector MSK que se utilizará con Amazon e incluye la función de autenticación automática. IAM

nota

Las versiones de conector que se muestran en el siguiente ejemplo son las únicas versiones que admitimos.

For the Kinesis connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-sql-connector-kinesis", "Version": "1.15.4" } }] For authenticating with AWS MSK through AWS IAM: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "software.amazon.msk", "ArtifactId": "aws-msk-iam-auth", "Version": "1.1.6" } }] For the Apache Kafka connector: "CustomArtifactsConfiguration": [{ "ArtifactType": "DEPENDENCY_JAR", "MavenReference": { "GroupId": "org.apache.flink", "ArtifactId": "flink-connector-kafka", "Version": "1.15.4" } }]

Para añadir estos conectores a un portátil existente, utilice la UpdateApplicationAPIoperación y especifíquelos como MavenReference en el tipo de CustomArtifactsConfigurationUpdate datos.

nota

Puede establecerlo en true failOnError para el flink-sql-connector-kinesis conector de la tablaAPI.

Agregue dependencias y conectores personalizados

Para usar el AWS Management Console para añadir una dependencia o un conector personalizado a tu bloc de notas Studio, sigue estos pasos:

  1. Cargue el archivo del conector personalizado en Amazon S3.

  2. En el AWS Management Console, elige la opción de creación personalizada para crear tu bloc de notas de Studio.

  3. Siga el flujo de trabajo de creación de cuadernos de Studio hasta llegar al paso de configuración.

  4. En la sección Conectores personalizados, seleccione Añadir conector personalizado.

  5. Especifique la ubicación de Amazon S3 de la dependencia o del conector personalizado.

  6. Elija Guardar cambios.

Para añadir una dependencia JAR o un conector personalizado al crear un nuevo bloc de notas de Studio mediante el CreateApplicationAPI, especifique la ubicación de Amazon S3 de la dependencia JAR o el conector personalizado en el tipo de CustomArtifactsConfiguration datos. Para añadir una dependencia o un conector personalizado a un bloc de notas Studio existente, invoque la UpdateApplicationAPIoperación y especifique la ubicación en Amazon S3 de la dependencia JAR o el conector personalizado en el tipo de CustomArtifactsConfigurationUpdate datos.

nota

Cuando incluye una dependencia o un conector personalizado, también debe incluir todas sus dependencias transitivas que no estén incluidas en él.