Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Pruebas de larga duración

Las pruebas de larga duración son un nuevo conjunto de pruebas que monitoriza el comportamiento de un dispositivo cuando funciona durante períodos de tiempo más prolongados. En comparación con la ejecución de pruebas individuales que se centran en comportamientos específicos de un dispositivo, la prueba de larga duración examina el comportamiento del dispositivo en una variedad de escenarios del mundo real a lo largo de su vida útil. Device Advisor organiza las pruebas en el orden más eficiente posible. La prueba genera resultados y registros, incluido un registro resumido con métricas útiles sobre el rendimiento del dispositivo durante la prueba.

Caso de prueba MQTT de larga duración

En el caso de la prueba de larga duración de MQTT, el comportamiento del dispositivo se observa inicialmente en situaciones de casos deseables, como MQTT Connect, Subscribe, Publish y Reconnect. A continuación, se observa el dispositivo en varias situaciones de fallo complejas, como la interrupción de la reconexión MQTT, la desconexión prolongada del servidor y la conectividad intermitente.

Flujo de ejecución de casos de prueba de larga duración en MQTT

La ejecución de un caso de prueba de larga duración en MQTT consta de tres fases:

Ejecución de pruebas básicas

En esta fase, el caso de prueba ejecuta pruebas sencillas en paralelo. La prueba valida si el dispositivo tiene las operaciones seleccionadas en la configuración.

El conjunto de pruebas básicas puede incluir lo siguiente, en función de las operaciones seleccionadas:

CONNECT

Este escenario valida si el dispositivo puede establecer una conexión correcta con el agente.

PUBLISH

Este escenario valida si el dispositivo publica correctamente con el agente.

QoS 0

Este caso de prueba valida si el dispositivo envía correctamente un mensaje PUBLISH al agente durante una publicación con QoS 0. La prueba no espera a que el dispositivo reciba el mensaje PUBACK.

QoS 1

En este caso de prueba, se espera que el dispositivo envíe dos mensajes PUBLISH al agente con QoS 1. Tras el primer mensaje PUBLISH, el agente espera hasta 15 segundos antes de responder. El dispositivo debe volver a intentar enviar el mensaje PUBLISH original con el mismo identificador de paquete dentro del intervalo de 15 segundos. Si lo hace, el agente responde con un mensaje PUBACK y la prueba se valida. Si el dispositivo no vuelve a intentar el PUBLISH, se envía el PUBACK original al dispositivo y la prueba se marca como superada con advertencias, junto con un mensaje del sistema. Durante la ejecución de la prueba, si el dispositivo pierde la conexión y se vuelve a conectar, el escenario de prueba se restablecerá sin fallar y el dispositivo tendrá que volver a realizar los pasos del escenario de prueba.

SUBSCRIBE

Este escenario valida si el dispositivo se suscribe correctamente con el agente.

QoS 0

Este caso de prueba valida si el dispositivo envía correctamente un mensaje SUBSCRIBE al agente durante una suscripción con QoS 0. La prueba no espera a que el dispositivo reciba un mensaje SUBACK.

QoS 1

En este caso de prueba, se espera que el dispositivo envíe dos mensajes SUBSCRIBE al agente con QoS 1. Tras el primer mensaje SUBSCRIBE, el agente espera hasta 15 segundos antes de responder. El dispositivo debe volver a intentar enviar el mensaje SUBSCRIBE original con el mismo identificador de paquete dentro del intervalo de 15 segundos. Si lo hace, el agente responde con un mensaje SUBACK y la prueba se valida. Si el dispositivo no vuelve a intentar el SUBSCRIBE, se envía el SUBACK original al dispositivo y la prueba se marca como superada con advertencias, junto con un mensaje del sistema. Durante la ejecución de la prueba, si el dispositivo pierde la conexión y se vuelve a conectar, el escenario de prueba se restablecerá sin fallar y el dispositivo tendrá que volver a realizar los pasos del escenario de prueba.

RECONNECT

Este escenario valida si el dispositivo se vuelve a conectar correctamente con el agente después de desconectarse de una conexión correcta. Device Advisor no desconectará el dispositivo si se conectó más de una vez anteriormente durante el conjunto de pruebas. En su lugar, marcará la prueba como superada.

Ejecución de pruebas avanzadas

En esta fase, el caso de prueba ejecuta pruebas más complejas en serie para validar si el dispositivo sigue las prácticas recomendadas. Estas pruebas avanzadas están disponibles para su selección y pueden excluirse si no son necesarias. Cada prueba avanzada tiene su propio valor de tiempo de espera en función de lo que exija la situación.

DEVOLVER PUBACK EN SUSCRIPCIÓN DE QoS 1

Este escenario se valida si, cuando el dispositivo se suscribe a un tema y recibe un mensaje PUBLISH del agente, devuelve un mensaje PUBACK.

RECIBIR UNA CARGA DE GRAN TAMAÑO

Este escenario valida si el dispositivo responde con un mensaje PUBACK después de recibir un mensaje PUBLISH del agente sobre un tema de QoS 1 con una gran carga. El formato de la carga esperada se puede configurar mediante la opción LONG_PAYLOAD_FORMAT.

SESIÓN PERSISTENTE

Este escenario valida el comportamiento del dispositivo a la hora de mantener sesiones persistentes. La prueba valida cuándo se cumplen las siguientes condiciones:

Para obtener más información sobre las sesiones AWS IoT persistentes, consulte Uso de sesiones persistentes de MQTT.

KEEP-ALIVE

Este escenario valida si el dispositivo se desconecta correctamente después de no recibir una respuesta de ping del agente. La conexión debe tener configurado un temporizador Keep-Alive válido. Como parte de esta prueba, el agente bloquea todas las respuestas enviadas para los mensajes PUBLISH, SUBSCRIBE y PINGREQ. También valida si el dispositivo sometido a prueba desconecta la conexión MQTT.

CONECTIVIDAD INTERMITENTE

Este escenario valida si el dispositivo puede volver a conectarse al agente después de que el corredor desconecte el dispositivo a intervalos aleatorios durante un período de tiempo aleatorio.

RETROCESO DE RECONEXIÓN

Este escenario valida si el dispositivo tiene implementado un mecanismo de inactividad cuando el agente se desconecta de él varias veces. Device Advisor indica que el tipo de retroceso es exponencial, fluctuante, lineal o constante. El número de intentos de retroceso se puede configurar mediante la opción BACKOFF_CONNECTION_ATTEMPTS. El valor predeterminado es 5. El valor se puede configurar entre 5 y 10.

Para superar esta prueba, le recomendamos que implemente el mecanismo de retroceso y fluctuación exponencial en el dispositivo sometido a prueba.

DESCONEXIÓN PROLONGADA DEL SERVIDOR

Este escenario valida si el dispositivo puede volver a conectarse correctamente después de que el agente lo desconecte durante un período prolongado (hasta 120 minutos). El tiempo de desconexión del servidor se puede configurar mediante la opción LONG_SERVER_DISCONNECT_TIME. El valor predeterminado es 120 minutos. Este valor se puede configurar de 30 a 120 minutos.

Tiempo de ejecución adicional

El tiempo de ejecución adicional es el tiempo que espera la prueba después de completar todas las pruebas anteriores y antes de finalizar el caso de prueba. Los clientes utilizan este período de tiempo adicional para monitorizar y registrar todas las comunicaciones entre el dispositivo y el agente. El tiempo de ejecución adicional se puede configurar mediante la opción ADDITIONAL_EXECUTION_TIME. De forma predeterminada, esta opción está establecida en 0 minutos y puede ser de 0 a 120 minutos.

Opciones de configuración de las pruebas de larga duración de MQTT

Todas las opciones de configuración proporcionadas para la prueba de larga duración de MQTT son opcionales. Están disponibles las siguientes opciones:

Definición de caso de prueba de API:

{                                
"tests":[
   {
      "name":"my_mqtt_long_duration_test",
      "configuration": {
         // optional
         "OPERATIONS": ["PUBLISH", "SUBSCRIBE"], 
         "SCENARIOS": [      
            "LONG_SERVER_DISCONNECT", 
            "RECONNECT_BACK_OFF",
            "KEEP_ALIVE",
            "RECEIVE_LARGE_PAYLOAD",
            "INTERMITTENT_CONNECTIVITY",
            "PERSISTENT_SESSION",   
         ],
         "BASIC_TESTS_EXECUTION_TIMEOUT": 60, // in minutes (60 minutes by default)
         "LONG_SERVER_DISCONNECT_TIME": 60,   // in minutes (120 minutes by default)
         "ADDITIONAL_EXECUTION_TIME": 60,     // in minutes (0 minutes by default)
         "BACKOFF_CONNECTION_ATTEMPTS": "5",
         "LONG_PAYLOAD_FORMAT":"{"message":"${payload}"}"
      },
      "test":{
         "id":"MQTT_Long_Duration",
         "version":"0.0.0"
      }
   }
 ]      
}

Registro resumido de caso de prueba MQTT de larga duración

El caso de prueba de larga duración de MQTT dura más que los casos de prueba normales. Se proporciona un registro resumido independiente, en el que se enumeran los eventos importantes, como las conexiones de los dispositivos, la publicación y la suscripción durante la ejecución. Los detalles incluyen lo que se ha probado, lo que no se ha probado y lo que ha fallado. Al final del registro, la prueba incluye un resumen de todos los eventos ocurridos durante la ejecución del caso de prueba. Esto incluye: