Limites - Guide du développeur d'Amazon Kinesis Data Analytics SQL pour applications

Pour les nouveaux projets, nous vous recommandons d'utiliser le nouveau service géré pour Apache Flink Studio plutôt que Kinesis Data Analytics SQL for Applications. Le service géré pour Apache Flink Studio allie facilité d’utilisation et capacités analytiques avancées, ce qui vous permet de créer des applications sophistiquées de traitement des flux en quelques minutes.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Limites

Lorsque vous utilisez les applications Amazon Kinesis Data Analytics pour SQL, notez les limites suivantes :

  • Kinesis Data Analytics pour SQL est disponible dans les régions AWS suivantes : USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Oregon), Canada (Centre), Europe (Paris), Europe (Irlande), Europe (Francfort), Europe (Londres), Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Sydney), Asie-Pacifique (Singapour), Asie-Pacifique (Séoul), Asie-Pacifique (Tokyo), Amérique du Sud (São Paulo), AWS GovCloud (USA Est) et AWS GovCloud (USA Ouest). Nous n’avons pas l’intention de lancer Kinesis Data Analytics pour SQL dans d’autres régions AWS.

  • Après le 28 juin 2023, vous ne pourrez plus créer de nouvelles applications Kinesis Data Analytics pour SQL à l’aide de la console de gestion AWS si vous n’utilisez pas déjà Kinesis Data Analytics pour SQL. Si vous avez créé une application Kinesis Data Analytics pour SQL avant le 28 juin 2023, aucun changement n’est apporté à la façon dont vous créez et exécutez les applications aujourd’hui dans une région AWS où vous utilisez déjà Kinesis Data Analytics pour SQL. Toutefois, vous ne pourrez plus créer de nouvelles applications à l’aide de la console AWS dans une région où vous n’utilisez pas Kinesis Data Analytics pour SQL.

  • Après le 12 septembre 2023, vous ne pourrez plus créer de nouvelles applications en utilisant Kinesis Data Firehose comme source si vous n’utilisez pas déjà Kinesis Data Analytics pour SQL. Les clients existants qui utilisent les applications Kinesis Data Analytics pour SQL avec KinesisFirehoseInput peuvent continuer à ajouter des applications avec KinesisFirehoseInput au sein d’un compte existant à l’aide de Kinesis Data Analytics. Si vous êtes déjà client et que vous souhaitez créer un compte avec les applications Kinesis Data Analytics pour SQL avec KinesisFirehoseInput, vous pouvez ouvrir un cas de support. Pour plus d’informations, consultez le Centre AWS Support.

  • La taille d’une ligne dans un flux intégré à l’application est limitée à 512 Ko. Kinesis Data Analytics utilise jusqu’à 1 Ko pour stocker les métadonnées. Ces métadonnées sont comptabilisées dans la limite de ligne.

     

  • Le code SQL dans une application est limité à 100 Ko.

     

  • La fenêtre la plus longue que nous recommandons pour une requête à fenêtres est d'une heure. Les flux intégrés à l'application sont stockés dans un stockage volatile et des interruptions inattendues de l'application entraînent la reconstruction du flux par cette dernière à partir des données source dans le stockage volatile.

     

  • Le débit le plus élevé que nous recommandons pour un flux intégré à une application unique est compris entre 2 et 20 Mo/s, en fonction de la complexité de la requête de l'application.

     

  • Vous pouvez créer jusqu’à 50 applications Kinesis Data Analytics par région AWS dans votre compte. Vous pouvez demander des applications supplémentaires via le formulaire d'augmentation de limite de service. Pour plus d’informations, consultez le Centre AWS Support.

     

  • Le débit de streaming maximal qu’une seule application Kinesis Data Analytics pour SQL peut traiter est d’environ 100 Mo/sec. Cela suppose que vous avez augmenté le nombre de flux intégrés à l’application jusqu’à la valeur maximale de 64 et que vous avez augmenté votre limite de KPU au-delà de 8 (voir la limite suivante pour plus de détails). Si votre application doit traiter plus de 100 Mo/s d’entrée, procédez de l’une des façons suivantes :

    Note

    Nous vous conseillons de revoir régulièrement la métrique InputProcessing.OkBytes de votre application afin de pouvoir planifier à l’avance l’utilisation de plusieurs applications SQL ou de migrer vers le service géré pour les applications Apache Flink pour Java si le débit d’entrée prévu de votre application dépasse 100 Mo/sec. Nous vous conseillons également de créer une alarme CloudWatch sur InputProcessing.OkBytes afin que vous soyez averti lorsque votre application approche de la limite de débit d’entrée. Cela peut être utile car vous pouvez mettre à jour votre requête d’application pour obtenir un débit plus élevé, évitant ainsi la surcharge et les retards dans les analyses. Pour plus d'informations, consultez Dépannage. L’alarme peut également s’avérer utile si vous disposez d’un mécanisme permettant de réduire le débit en amont.

  • Le nombre d’unités de traitement Kinesis (KPU) est limité à huit. Pour trouver des instructions pour demander une augmentation de cette limite, consultez Pour demander une augmentation de limite dans Limites relatives au service Amazon.

     

    Avec Kinesis Data Analytics, vous ne payez que les ressources que vous utilisez. Vous êtes facturé selon un taux horaire basé sur le nombre moyen de d'unités KPU utilisées pour exécuter votre application de traitement de flux. Une seule unité KPU vous fournit 1 vCPU et 4 Go de mémoire.

     

  • Chaque application peut comporter une source de diffusion et une source de données de référence au maximum.

     

  • Vous pouvez configurer jusqu’à trois destinations pour votre application Kinesis Data Analytics. Nous vous recommandons d'utiliser l'une de ces destinations pour conserver les données du flux d'erreurs intégré à l'application.

     

  • L’objet Amazon S3 qui stocke les données de référence peut avoir une taille de 1 Go maximum.

     

  • Si vous modifiez les données de référence stockées dans le compartiment S3 après les avoir chargées dans une table intégrée à l'application, vous devez utiliser l'opération UpdateApplication (à l'aide de l'API ou de l'AWS CLI) pour actualiser les données de la table intégrée à l'application. Actuellement, AWS Management Console ne prend pas en charge l'actualisation des données de référence dans votre application.

     

  • Actuellement, Kinesis Data Analytics ne prend pas en charge les données générées par l’Amazon Kinesis Producer Library (KPL).

     

  • Vous pouvez attribuer jusqu'à 50 balises par application.