Haz una lista de fragmentos

Un flujo de datos puede tener una o varias particiones. El método recomendado para enumerar o recuperar los fragmentos de un flujo de datos es utilizar el. ListShardsAPI El siguiente ejemplo muestra cómo obtener una lista de las particiones de un flujo de datos. Para obtener una descripción completa de la operación principal utilizada en este ejemplo y de todos los parámetros que puede configurar para la operación, consulte. ListShards

import software.amazon.awssdk.services.kinesis.KinesisAsyncClient;
import software.amazon.awssdk.services.kinesis.model.ListShardsRequest;
import software.amazon.awssdk.services.kinesis.model.ListShardsResponse;

import java.util.concurrent.TimeUnit;

public class ShardSample {

    public static void main(String[] args) {

        KinesisAsyncClient client = KinesisAsyncClient.builder().build();

        ListShardsRequest request = ListShardsRequest
                .builder().streamName("myFirstStream")
                .build();

        try {
            ListShardsResponse response = client.listShards(request).get(5000, TimeUnit.MILLISECONDS);
            System.out.println(response.toString());
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }
    }
}

Para ejecutar el ejemplo de código anterior, puede utilizar un POM archivo como el siguiente.

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>kinesis.data.streams.samples</groupId>
    <artifactId>shards</artifactId>
    <version>1.0-SNAPSHOT</version>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
    <dependencies>
        <dependency>
            <groupId>software.amazon.awssdk</groupId>
            <artifactId>kinesis</artifactId>
            <version>2.0.0</version>
        </dependency>
    </dependencies>
</project>

Con el ListShardsAPI, puede usar el ShardFilterparámetro para filtrar la respuesta delAPI. Solo puede especificar un filtro a la vez.

Si utiliza el ShardFilter parámetro al invocar ListShardsAPI, Type es la propiedad obligatoria y debe especificarse. Si especifica los tipos AT_TRIM_HORIZON, FROM_TRIM_HORIZON o AT_LATEST, no necesita especificar las propiedades opcionales ShardId o Timestamp.

Si especifica el tipo AFTER_SHARD_ID, también deberá proporcionar el valor de la propiedad opcional ShardId. La ShardId propiedad tiene una funcionalidad idéntica a la del ExclusiveStartShardId ListShards API parámetro. Cuando se especifica la propiedad ShardId, la respuesta incluye las particiones que comienzan con la partición cuyo ID sigue inmediatamente al ShardId proporcionado.

Si especifica el tipo AT_TIMESTAMP o FROM_TIMESTAMP_ID, también deberá proporcionar el valor de la propiedad opcional Timestamp. Si especifica el tipo AT_TIMESTAMP, se devolverán todas las particiones que estaban abiertas en la marca de tiempo proporcionada. Si especifica el FROM_TIMESTAMP tipo, se devolverán todos los fragmentos empezando por la marca de tiempo proporcionada hastaTIP.

SELECT useridentity.sessioncontext.sessionissuer.username, 
useridentity.arn,eventname,useragent, count(*) FROM 
cloudtrail_logs WHERE Eventname IN ('DescribeStream')  AND 
eventtime
    BETWEEN ''
        AND ''
GROUP BY  useridentity.sessioncontext.sessionissuer.username,useridentity.arn,eventname,useragent
ORDER BY  count(*) DESC LIMIT 100