Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Tests de longue durée

Les tests de longue durée sont une nouvelle suite de tests qui surveille le comportement d'un appareil lorsqu'il fonctionne sur de longues périodes. Comparé à l'exécution de tests individuels axés sur des comportements spécifiques d'un appareil, le test de longue durée examine le comportement de l'appareil dans divers scénarios réels au cours de sa durée de vie. Device Advisor orchestre les tests dans l'ordre le plus efficace possible. Le test génère des résultats et des journaux, y compris un journal récapitulatif contenant des mesures utiles sur les performances de l'appareil pendant le test.

Cas de test MQTT de longue durée

Dans le cas de test MQTT de longue durée, le comportement de l'appareil est initialement observé dans des scénarios de cas heureux tels que MQTT Connect, Subscribe, Publish et Reconnect. Ensuite, l'appareil est observé dans plusieurs scénarios de défaillance complexes tels que l'interruption de reconnexion MQTT, la déconnexion longue du serveur et la connectivité intermittente.

Flux d'exécution des scénarios de test MQTT de longue durée

L'exécution d'un scénario de test MQTT de longue durée comporte trois phases :

Exécution de tests de base

Dans cette phase, le scénario de test exécute des tests simples en parallèle. Le test valide si l'appareil dispose des opérations sélectionnées dans la configuration.

L'ensemble de tests de base peut inclure les éléments suivants, en fonction des opérations sélectionnées :

CONNECT

Ce scénario permet de vérifier si l'appareil est capable d'établir une connexion réussie avec le courtier.

PUBLISH

Ce scénario permet de vérifier si l'appareil publie avec succès auprès du courtier.

QoS 0

Ce cas de test valide si l'appareil envoie avec succès un message PUBLISH au courtier lors d'une publication avec QoS 0. Le test n'attend pas que le message PUBACK soit reçu par l'appareil.

QoS 1

Dans ce cas de test, l'appareil devrait envoyer deux messages PUBLISH au courtier avec QoS 1. Après le premier message PUBLISH, le courtier attend jusqu'à 15 secondes avant de répondre. L'appareil doit réessayer le message PUBLISH d'origine avec le même identifiant de paquet dans le délai de 15 secondes. Si c'est le cas, le courtier répond par un message PUBACK et le test est validé. Si l'appareil ne réessaie pas PUBLISH, PUBACKinitial lui est envoyé et le test est marqué comme réussi avec des avertissements, ainsi qu'un message système. Pendant l'exécution du test, si l'appareil perd la connexion et se reconnecte, le scénario de test sera réinitialisé sans échec et l'appareil devra effectuer à nouveau les étapes du scénario de test.

SUBSCRIBE

Ce scénario valide si l'appareil s'abonne avec succès auprès du courtier.

QoS 0

Ce cas de test valide si l'appareil envoie avec succès un message SUBSCRIBE au courtier lors d'un abonnement avec QoS 0. Le test n'attend pas que l'appareil reçoive un message SUBACK.

QoS 1

Dans ce cas de test, l'appareil devrait envoyer deux messages SUBSCRIBE au courtier avec QoS 1. Après le premier message SUBSCRIBE, le courtier attend jusqu'à 15 secondes avant de répondre. L'appareil doit réessayer le message SUBSCRIBE d'origine avec le même identifiant de paquet dans le délai de 15 secondes. Si c'est le cas, le courtier répond par un message SUBACK et le test est validé. Si l'appareil ne réessaie pas SUBSCRIBE, SUBACKinitial lui est envoyé et le test est marqué comme réussi avec des avertissements, ainsi qu'un message système. Pendant l'exécution du test, si l'appareil perd la connexion et se reconnecte, le scénario de test sera réinitialisé sans échec et l'appareil devra effectuer à nouveau les étapes du scénario de test.

RECONNECT

Ce scénario vérifie si l'appareil se reconnecte avec succès au courtier une fois que l'appareil est déconnecté d'une connexion réussie. Device Advisor ne déconnecte pas l'appareil s'il s'est connecté plusieurs fois au cours de la suite de tests. Au lieu de cela, il marquera le test comme réussi.

Exécution de tests avancés

Au cours de cette phase, le scénario de test exécute des tests plus complexes en série pour valider si le dispositif suit les meilleures pratiques. Ces tests avancés peuvent être sélectionnés et peuvent être désactivés s'ils ne sont pas nécessaires. Chaque test avancé possède sa propre valeur de délai d'attente en fonction des exigences du scénario.

RETURN PUBACK ON QoS 1 SUBSCRIPTION

Ce scénario valide si, une fois que l'appareil s'est abonné à une rubrique et a reçu un PUBLISH message du courtier, il renvoie un PUBACK message.

RECEIVE LARGE PAYLOAD

Ce scénario valide si l'appareil répond par un PUBACK message après avoir reçu un PUBLISH message du courtier pour un sujet QoS 1 avec une charge utile importante. Le format de la charge utile attendue peut être configuré à l'aide de l'option LONG_PAYLOAD_FORMAT.

PERSISTENT SESSION

Ce scénario valide le comportement de l'appareil lors du maintien de sessions persistantes. Le test valide lorsque les conditions suivantes sont réunies :

Pour plus d'informations sur les sessions AWS IoT persistantes, consultez la section Utilisation des sessions persistantes MQTT.

KEEP ALIVE

Ce scénario vérifie si l'appareil se déconnecte correctement après avoir reçu une réponse ping du courtier. La connexion doit avoir une minuterie de maintien valide configurée. Dans le cadre de ce test, le courtier bloque toutes les réponses envoyées pour PUBLISHSUBSCRIBE, et les PINGREQ messages. Il vérifie également si l'appareil testé déconnecte la connexion MQTT.

INTERMITTENT CONNECTIVITY

Ce scénario valide si l'appareil peut se reconnecter au courtier après que celui-ci l'ait déconnecté à intervalles aléatoires pendant une période de temps aléatoire.

RECONNECT BACKOFF

Ce scénario valide si l'appareil dispose d'un mécanisme de sauvegarde mis en œuvre lorsque le courtier s'en déconnecte plusieurs fois. Device Advisor signale le type d'intervalle comme exponentiel, instabilité, linéaire ou constant. Le nombre de tentatives d'interruption est configurable à l'aide de l'option BACKOFF_CONNECTION_ATTEMPTS. La valeur par défaut est 5. La valeur est configurable entre 5 et 10.

Pour réussir ce test, nous vous recommandons d'implémenter Backoff exponentiel et Gigue sur l'appareil testé dans ce test.

LONG SERVER DISCONNECT

Ce scénario vérifie si l'appareil peut se reconnecter avec succès après que le courtier l'a déconnecté pendant une longue période (jusqu'à 120 minutes). L'heure de déconnexion du serveur peut être configurée à l'aide de l'option LONG_SERVER_DISCONNECT_TIME. La valeur par défaut est de 120 minutes. Cette valeur est configurable entre 30 et 120 minutes.

Temps d'exécution supplémentaire

Le temps d'exécution supplémentaire est le temps pendant lequel le test attend après avoir terminé tous les tests ci-dessus et avant de terminer le scénario de test. Les clients utilisent cette période supplémentaire pour surveiller et enregistrer toutes les communications entre l'appareil et le courtier. Le temps d'exécution supplémentaire peut être configuré à l'aide de l'option ADDITIONAL_EXECUTION_TIME. Par défaut, cette option est définie sur 0 minute et peut aller de 0 à 120 minutes.

Options de configuration des tests de longue durée MQTT

Toutes les options de configuration fournies pour le test de longue durée MQTT sont facultatives. Les options suivantes sont disponibles :

Définition du cas de test de l'API :

{                                
"tests":[
   {
      "name":"my_mqtt_long_duration_test",
      "configuration": {
         // optional
         "OPERATIONS": ["PUBLISH", "SUBSCRIBE"], 
         "SCENARIOS": [      
            "LONG_SERVER_DISCONNECT", 
            "RECONNECT_BACK_OFF",
            "KEEP_ALIVE",
            "RECEIVE_LARGE_PAYLOAD",
            "INTERMITTENT_CONNECTIVITY",
            "PERSISTENT_SESSION",   
         ],
         "BASIC_TESTS_EXECUTION_TIMEOUT": 60, // in minutes (60 minutes by default)
         "LONG_SERVER_DISCONNECT_TIME": 60,   // in minutes (120 minutes by default)
         "ADDITIONAL_EXECUTION_TIME": 60,     // in minutes (0 minutes by default)
         "BACKOFF_CONNECTION_ATTEMPTS": "5",
         "LONG_PAYLOAD_FORMAT":"{"message":"${payload}"}"
      },
      "test":{
         "id":"MQTT_Long_Duration",
         "version":"0.0.0"
      }
   }
 ]      
}

Journal récapitulatif du scénario de test MQTT de longue durée

Le scénario de test de longue durée MQTT s'exécute sur une plus longue durée que les scénarios de test classiques. Un journal récapitulatif distinct est fourni, qui répertorie les événements importants tels que les connexions des appareils, la publication et l'abonnement pendant l'exécution. Les détails incluent ce qui a été testé, ce qui n'a pas été testé et ce qui a échoué. À la fin du journal, le test inclut un résumé de tous les événements survenus pendant l'exécution du scénario de test. Cela consiste notamment à :