Création d'un flux de données - Amazon Kinesis Data Streams

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création d'un flux de données

Dans la première étape de Tutoriel : Traitez les données boursières en temps réel à l'aide KPL de et KCL 1.x, vous créez le flux que vous allez utiliser dans les étapes suivantes.

Pour créer un flux
  1. Connectez-vous à la console Kinesis AWS Management Console et ouvrez-la à https://console.aws.amazon.com l'adresse /kinesis.

  2. Choisissez Data Streams (Flux de données) dans le volet de navigation.

  3. Dans la barre de navigation, développez le sélecteur de région et choisissez une région.

  4. Choisissez Create Kinesis stream (Créer un flux Kinesis).

  5. Entrez un nom pour votre flux (StockTradeStream, par exemple).

  6. Entrez 1 le nombre de fragments, mais conservez Estimez le nombre de fragments dont vous aurez besoin réduits.

  7. Choisissez Create Kinesis stream (Créer un flux Kinesis).

Sur la page de la liste de flux Kinesis, l'état de votre flux est CREATING lorsque le flux est en cours de création. Lorsque le flux est à prêt à être utilisé, le statut passe à ACTIVE. Choisissez le nom de votre flux. Sur la page qui s'affiche, l'onglet Détails affiche un récapitulatif de votre configuration de flux. La section Surveillance affiche des informations de surveillance pour le flux.

Informations supplémentaires sur les shards

Lorsque vous commencez à utiliser Kinesis Data Streams en dehors de ce tutoriel, vous devrez peut-être planifier plus soigneusement la création du flux. Lorsque vous mettez en service des partitions, vous devez prévoir pour la demande maximale prévue. En utilisant ce scénario comme exemple, le trafic de la bourse américaine est maximal durant la journée à une certaine heure et les estimations de la demande doivent être échantillonnées à partir de cette heure de la journée . Ensuite, vous avez le choix de prévoir pour faire face à la demande attendue maximale ou d'augmenter ou réduire les capacités de votre flux pour répondre aux fluctuations de la demande.

Une partition est une unité de capacité de débit. Sur la page Créer un flux Kinesis, développez Estimez le nombre de partitions dont vous aurez besoin. Indiquez la taille moyenne d'un enregistrement, le nombre maximal d'enregistrements écrits par seconde et le nombre d'applications consommateur en utilisant les instructions suivantes :

Taille moyenne d'enregistrement

Estimation de la taille moyenne calculée de vos enregistrements. Si vous ne connaissez pas cette valeur, indiquez la taille maximale estimée des enregistrements pour cette valeur.

Nombre max. d'enregistrements écrits

Tenez compte du nombre d'entités fournissant des données et du nombre approximatif d'enregistrements par seconde produits par chacune d'elles. Par exemple, si vous extrayez des données d'opérations boursières de 20 serveurs boursiers et que chacun génère 250 opérations par seconde, le nombre total d'opérations boursières par seconde est de 5 000/s.

Nombre d'applications utilisatrices

Un certain nombre d'applications qui lisent indépendamment dans le flux pour traiter le flux de façon différente et générer une sortie différente. Chaque application peut avoir plusieurs instances en cours d'exécution sur différentes machines (par exemple, s'exécuter dans un cluster) afin de faire face à un flux présentant un volume élevé.

Si le nombre estimé de partitions dépasse le nombre limite actuel de partitions, vous devrez peut-être soumettre une demande d'augmentation de cette limite avant de pouvoir créer un flux comprenant ce nombre de partitions. Pour demander une augmentation de la limite de partitions, utilisez le formulaire de limites Kinesis Data Streams. Pour plus d'informations sur les flux et les partitions, consultez Création et gestion de flux de données Kinesis.

Étapes suivantes

Création d'une IAM politique et d'un utilisateur