Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Servicio gestionado para Apache Flink: cómo funciona
Managed Service for Apache Flink es un servicio de Amazon totalmente gestionado que te permite utilizar una aplicación Apache Flink para procesar datos de streaming. Primero, programa la aplicación Apache Flink y, a continuación, crea la aplicación Managed Service for Apache Flink.
Programa tu aplicación Apache Flink
Una aplicación Apache Flink es una aplicación Java o Scala que se crea con el marco Apache Flink. La aplicación Apache Flink se crea y compila de forma local.
Las aplicaciones utilizan principalmente la tabla DataStream API
Las características de los dos APIs son las siguientes:
DataStream API
El modelo de DataStream API programación de Apache Flink se basa en dos componentes:
-
Flujo de datos: la representación estructurada de un flujo continuo de registros de datos.
-
Operador de transformación: toma uno o más flujos de datos como entrada y produce uno o más flujos de datos como salida.
Las aplicaciones creadas con él DataStream API hacen lo siguiente:
Lea los datos de una fuente de datos (como una transmisión de Kinesis o un MSK tema de Amazon).
Aplican transformaciones a los datos, como el filtrado, la agregación o el enriquecimiento.
Escriben los datos transformados en un receptor de datos.
Las aplicaciones que utilizan el DataStream API pueden escribirse en Java o Scala y pueden leer desde una transmisión de datos de Kinesis, un tema de MSK Amazon o una fuente personalizada.
La aplicación procesa los datos mediante un conector. Apache Flink utiliza los siguientes tipos de conectores:
-
Origen: conector que se utiliza para leer datos externos.
-
Receptor: conector que se utiliza para escribir en ubicaciones externas.
-
Operador: conector que se utiliza para procesar datos dentro de la aplicación.
Una aplicación típica consta de al menos un flujo de datos con un origen, un flujo de datos con uno o más operadores y al menos un receptor de datos.
Para obtener más información sobre el uso de DataStream API, consulte. Revise DataStream API los componentes
Tabla API
El modelo de API programación de Apache Flink Table se basa en los siguientes componentes:
-
Entorno de tablas: una interfaz para los datos subyacentes que se utiliza para crear y alojar una o más tablas.
-
Tabla: objeto que proporciona acceso a una SQL tabla o vista.
-
Fuente de tabla: se utiliza para leer datos de una fuente externa, como un MSK tema de Amazon.
-
Función de tabla: SQL consulta o API llamada que se utiliza para transformar datos.
-
Receptor de tabla: se utiliza para escribir datos en una ubicación externa, como un bucket de Amazon S3.
Las aplicaciones creadas con la tabla API hacen lo siguiente:
Crean un
TableEnvironment
conectándose a unTable Source
.Cree una tabla en el
TableEnvironment
mediante SQL consultas o API funciones de tabla.Ejecute una consulta en la tabla mediante Tabla API o SQL
Aplique transformaciones a los resultados de la consulta mediante SQL consultas o funciones de tabla.
Escriben los resultados de la consulta o función en un
Table Sink
.
Las aplicaciones que utilizan la tabla se API pueden escribir en Java o Scala y pueden consultar datos mediante API llamadas o SQL consultas.
Para obtener más información sobre el uso de la tablaAPI, consulteRevise los API componentes de la tabla.
Cree su aplicación Managed Service para Apache Flink
El servicio gestionado para Apache Flink es un AWS servicio que crea un entorno para alojar su aplicación Apache Flink y le proporciona la siguiente configuración:
-
Utilice las propiedades de tiempo de ejecución en Managed Service for Apache Flink: parámetros que puede proporcionar a su aplicación. Puede cambiar estos parámetros sin tener que volver a compilar el código de la aplicación.
-
Implemente la tolerancia a errores en el servicio gestionado de Apache Flink: cómo se recupera la aplicación de las interrupciones y se reinicia.
-
Registro y supervisión en Amazon Managed Service para Apache Flink: Cómo registra su aplicación los eventos en Logs. CloudWatch
-
Implemente el escalado de aplicaciones en Managed Service for Apache Flink: cómo aprovisiona su aplicación los recursos informáticos.
Crea una aplicación de Managed Service para Apache Flink mediante la consola o la AWS CLI. Para comenzar a crear una aplicación de Managed Service para Apache Flink, consulte Tutorial: Comience a utilizar el servicio DataStream API gestionado para Apache Flink.