Retraitement des messages du canal - AWS IoT Analytics
ParamètresRetraitement des messages du canal (console)Retraitement des messages du canal (API)Annulation des activités de retraitement des canaux

AWS IoT Analytics n'est plus disponible pour les nouveaux clients. Les clients existants de AWS IoT Analytics peuvent continuer à utiliser le service normalement. En savoir plus

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Retraitement des messages du canal

AWS IoT Analytics vous permet de retraiter les données du canal. Cela peut être utile dans les cas suivants :

  • Vous souhaitez relire des ingérées données existantes et non recommencer à zéro.

  • Vous mettez à jour un pipeline et souhaitez intégrer les données existantes up-to-date avec les modifications.

  • Vous souhaitez inclure les données qui ont été ingérées avant de modifier les options de stockage gérées par le client, les autorisations relatives aux canaux ou le magasin de données.

Paramètres

Lorsque vous retraitez des messages de canal via le pipeline avec AWS IoT Analytics, vous devez spécifier les informations suivantes :

StartPipelineReprocessing

Lance le retraitement des messages du canal via le pipeline.

ChannelMessages

Spécifie un ou plusieurs ensembles de messages de canal que vous souhaitez retraiter.

Si vous utilisez l'channelMessagesobjet, vous ne devez pas spécifier de valeur pour startTime etendTime.

s3Paths

Spécifie une ou plusieurs clés qui identifient les objets Amazon Simple Storage Service (Amazon S3) qui enregistrent les messages de votre chaîne. Vous devez utiliser le chemin complet de la clé.

Exemple de chemin : 00:00:00/1582940490000_1582940520000_123456789012_mychannel_0_2118.0.json.gz

Type : tableau de chaînes

Contraintes relatives aux membres du tableau : 1 à 100 éléments.

Contraintes de longueur : 1 à 1024 caractères.

endTime

Heure de fin (exclusive) des données de canal retraitées.

Si vous spécifiez une valeur pour le endTime paramètre, vous ne devez pas utiliser l'channelMessagesobjet.

Type : Timestamp

startTime

Heure de début (incluse) du retraitement des données de message brutes.

Si vous spécifiez une valeur pour le startTime paramètre, vous ne devez pas utiliser l'channelMessagesobjet.

Type : Timestamp

pipelineName

Nom du pipeline sur lequel démarrer le retraitement.

Type : String

Contraintes de longueur : 1 à 128 caractères.

Retraitement des messages du canal (console)

Ce didacticiel explique comment retraiter les données de canal stockées dans l'objet Amazon S3 spécifié dans la AWS IoT Analytics console.

Avant de commencer, assurez-vous que les messages du canal que vous souhaitez retraiter sont enregistrés dans un compartiment Amazon S3 géré par le client.

  1. Connectez-vous à la console AWS IoT Analytics.

  2. Dans le volet de navigation, sélectionnez Pipelines.

  3. Choisissez votre pipeline cible.

  4. Choisissez Retraiter les messages dans Actions.

  5. Sur la page de retraitement du pipeline, choisissez des objets S3 pour les messages de retraitement.

    La AWS IoT Analytics console propose également les options suivantes :

    • Toute la plage disponible : retraitez toutes les données valides dans le canal.

    • 120 derniers jours : retraitez les données arrivées au cours des 120 derniers jours.

    • 90 derniers jours : retraitez les données arrivées au cours des 90 derniers jours.

    • 30 derniers jours : retraitez les données arrivées au cours des 30 derniers jours.

    • Plage personnalisée : retraitez les données arrivées dans la plage de temps spécifiée. Vous pouvez choisir n'importe quel intervalle de temps.

  6. Entrez la clé de l'objet Amazon S3 qui stocke les messages de votre chaîne.

    Pour trouver la clé, procédez comme suit :

    1. Accédez à la console Amazon S3.

    2. Choisissez l'objet Amazon S3 cible.

    3. Sous Propriétés, dans la section Vue d'ensemble de l'objet, copiez la clé.

  7. Choisissez Démarrer le retraitement.

Retraitement des messages du canal (API)

Lorsque vous utilisez l'StartPipelineReprocessingAPI, tenez compte des points suivants :

  • Les endTime paramètres startTime et spécifient le moment où les données brutes ont été ingérées, mais il s'agit d'estimations approximatives. Vous pouvez les arrondir à l'heure la plus proche. startTimeC'est inclusif, mais endTime c'est exclusif.

  • La commande lance le retraitement de manière asynchrone et est renvoyée immédiatement.

  • Il n'est pas garanti que les messages retraités soient traitées dans l'ordre dans lequel ils ont été initialement reçus. Il s'agit à peu près du même ordre, mais pas exactement.

  • Vous pouvez effectuer jusqu'à 1 000 demandes d'StartPipelineReprocessingAPI toutes les 24 heures pour retraiter les messages du même canal via un pipeline.

  • Le retraitement de vos données brutes entraîne des coûts supplémentaires.

Pour plus d'informations, consultez l'StartPipelineReprocessingAPI dans la section Référence des AWS IoT Analytics API.

Annulation des activités de retraitement des canaux

Pour annuler une activité de retraitement du pipeline, utilisez l'CancelPipelineReprocessingAPI ou choisissez Annuler le retraitement sur la page Activités de la AWS IoT Analytics console. Si vous annulez le retraitement, les données restantes ne seront pas traitées à nouveau. Vous devez lancer une autre demande de retraitement.

Utilisez l'DescribePipelineAPI pour vérifier l'état du retraitement. Voir le reprocessingSummaries champ dans la réponse.