Apache Spark - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Apache Spark

O Apache Spark é um mecanismo de análise unificado para processamento de dados em grande escala. Ele fornece alto nível APIs em Java, Scala, Python e R e um mecanismo otimizado que suporta gráficos de execução geral. Você pode usar o Apache Spark para criar aplicativos de processamento de streams que consumam os dados em seus streams de dados do Kinesis.

Para consumir streams de dados do Kinesis usando o Apache Spark Structured Streaming, use o conector Amazon Kinesis Data Streams. Esse conector suporta o consumo com o Enhanced Fan-Out, que fornece ao seu aplicativo uma taxa de transferência de leitura dedicada de até 2 MB de dados por segundo por fragmento. Para obter mais informações, consulte Desenvolvimento de consumidores personalizados com taxa de transferência dedicada (fan-out aprimorado).

Para consumir streams de dados do Kinesis usando o Spark Streaming, consulte Spark Streaming + Kinesis Integration.