기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

IDT 상태 시스템 구성

상태 시스템은 테스트 제품군 실행 흐름을 제어하는 구조입니다. 테스트 도구 모음의 시작 상태를 결정하고, 사용자 정의 규칙을 기반으로 상태 전환을 관리하며, 최종 상태에 도달할 때까지 해당 상태를 계속 전환합니다.

테스트 제품군에 사용자 정의 상태 머신이 포함되지 않은 경우 IDT는 사용자를 대신하여 상태 머신을 생성합니다. 기본 상태 머신은 다음 기능을 수행합니다.

IDT 테스트 제품군의 상태 시스템은 다음 기준을 충족해야 합니다.

상태 머신 형식

다음 템플릿을 사용하여 <custom-test-suite-folder>/suite/state_machine.json 파일을 직접 구성할 수 있습니다.

{
  "Comment": "<description>",
  "StartAt": "<state-name>",
  "States": {
    "<state-name>": {
      "Type": "<state-type>",
      // Additional state configuration
    }
    
    // Required states
    "Succeed": {
      "Type": "Succeed"
    },
    "Fail": {
      "Type": "Fail"
    }
  }
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

유효한 상태 및 상태 정의

이 섹션에서는 상태 시스템에서 사용할 수 있는 모든 유효한 상태의 IDT 상태 정의를 설명합니다. 다음 상태 중 일부는 테스트 케이스 수준의 구성을 지원합니다. 하지만 꼭 필요한 경우가 아니면 테스트 케이스 수준 대신 테스트 그룹 수준에서 상태 전환 규칙을 구성하는 것이 좋습니다.

RunTask

RunTask 상태는 테스트 제품군에 정의된 테스트 그룹에서 테스트 케이스를 실행합니다.

{
    "Type": "RunTask",
    "Next": "<state-name>",
    "TestGroup": "<group-id>",
    "TestCases": [
        "<test-id>"
    ],
    "ResultVar": "<result-name>"
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

일반적으로 RunTask 상태를 사용하여 개별 테스트 사례 를 지정하지 않고 테스트 그룹 ID를 지정IDs하므로 IDT는 지정된 테스트 그룹의 모든 테스트 사례를 실행합니다. 이 상태에서 실행되는 모든 테스트 케이스는 무작위 순서로 병렬로 실행됩니다. 그러나 모든 테스트 케이스를 실행하는 데 장치가 필요하고 사용 가능한 장치가 하나뿐인 경우에는 테스트 케이스가 대신 순차적으로 실행됩니다.

오류 처리

지정된 테스트 그룹 또는 테스트 사례가 유효하지 IDs 않으면 이 상태에서 RunTaskError 실행 오류가 발생합니다. 상태에서 실행 오류가 발생하는 경우 상태 머신 컨텍스트의 hasExecutionError 변수도 true로 설정됩니다.

Choice

Choice 상태를 사용하면 사용자 정의 조건에 따라 전환할 다음 상태를 동적으로 설정할 수 있습니다.

{
    "Type": "Choice",
    "Default": "<state-name>", 
    "FallthroughOnError": true | false,
    "Choices": [
        {
            "Expression": "<expression>",
            "Next": "<state-name>"
        }
    ]
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

오류 처리

Choice 상태는 다음과 같은 경우에 오류 처리를 요구할 수 있습니다.

이 상태에서는 Catch 블록을 사용하여 오류를 처리할 수 없습니다. 오류가 발생했을 때 상태 머신 실행을 중지하려면 FallthroughOnError를 false로 설정해야 합니다. 하지만 사용 사례에 따라 다음 중 하나를 수행하도록 FallthroughOnError를 true로 설정하는 것이 좋습니다.

Parallel

Parallel 상태를 사용하면 새 상태 머신을 서로 병렬로 정의하고 실행할 수 있습니다.

{
    "Type": "Parallel",
    "Next": "<state-name>",
    "Branches": [
        <state-machine-definition>
    ]
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

브랜치 상태 머신을 모두 실행한 후에만 Parallel 상태가 다음 상태로 이동합니다. 장치가 필요한 각 상태는 장치를 사용할 수 있을 때까지 실행을 대기합니다. 여러 장치를 사용할 수 있는 경우 이 상태는 여러 그룹의 테스트 케이스를 병렬로 실행합니다. 사용할 수 있는 장치가 충분하지 않으면 테스트 케이스가 순차적으로 실행됩니다. 테스트 케이스는 병렬로 실행될 때 무작위 순서로 실행되므로 동일한 테스트 그룹에서 테스트를 실행하는 데 여러 장치가 사용될 수 있습니다.

오류 처리

실행 오류를 처리하려면 브랜치 상태 머신과 부모 상태 머신이 모두 해당 Fail 상태로 전환되는지 확인하십시오.

브랜치 상태 머신은 부모 상태 머신에 실행 오류를 전송하지 않으므로 Catch 블록을 사용하여 브랜치 상태 머신의 실행 오류를 처리할 수 없습니다. 대신 공유 상태 머신 컨텍스트의 hasExecutionErrors 값을 사용하십시오. 이렇게 하는 방법의 예는 상태 머신 예제: 두 테스트 그룹을 병렬로 실행 섹션을 참조하세요.

AddProductFeatures

AddProductFeatures 상태를 사용하면 에서 생성한 awsiotdevicetester_report.xml 파일에 제품 기능을 추가할 수 있습니다IDT.

제품 기능은 장치가 충족할 수 있는 특정 기준에 대한 사용자 정의 정보입니다. 예를 들어 MQTT 제품 기능은 디바이스가 MQTT 메시지를 올바르게 게시하도록 지정할 수 있습니다. 보고서에서 제품 기능은 지정된 테스트의 통과 여부에 따라 supported, not-supported 또는 사용자 지정 값으로 설정됩니다.

{
    "Type": "Parallel",
    "Next": "<state-name>",
    "Features": [
        {
            "Feature": "<feature-name>", 
            "Groups": [
                "<group-id>"
            ],
            "OneOfGroups": [
                "<group-id>"
            ],
            "TestCases": [
                "<test-id>"
            ],
            "IsRequired": true | false,
            "ExecutionMethods": [
                "<execution-method>"
            ]
        }
    ]
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

AddProductFeatures 상태를 사용하려면 RunTask 상태의 ResultVar 값을 다음 값 중 하나로 설정해야 합니다.

AddProductFeatures 상태에서는 다음과 같은 방식으로 테스트 결과를 확인합니다.

오류 처리

이 상태에서 제공된 그룹 ID가 유효한 그룹 ID가 아닌 경우 이 상태로 인해 AddProductFeaturesError 실행 오류가 발생합니다. 상태에서 실행 오류가 발생하는 경우 상태 머신 컨텍스트의 hasExecutionErrors 변수도 true로 설정됩니다.

보고서

Report 상태는 suite-name_Report.xml 및 awsiotdevicetester_report.xml 파일을 생성합니다. 또한 이 상태는 보고서를 콘솔로 스트리밍합니다.

{
    "Type": "Report",
    "Next": "<state-name>"
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

테스트 실행기가 테스트 결과를 볼 수 있도록 테스트 실행 흐름이 끝날 무렵에는 항상 Report 상태로 전환해야 합니다. 일반적으로 이 상태 이후의 다음 상태는 Succeed입니다.

오류 처리

이 상태에서 보고서를 생성하는 데 문제가 발생하면 ReportError 실행 오류가 발생합니다.

LogMessage

LogMessage 상태는 test_manager.log 파일을 생성하고 로그 메시지를 콘솔로 스트리밍합니다.

{
    "Type": "LogMessage",
    "Next": "<state-name>"
    "Level": "info | warn | error"
    "Message": "<message>"
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

SelectGroup

SelectGroup 상태는 상태 머신 컨텍스트를 업데이트하여 선택된 그룹을 나타냅니다. 이 상태에서 설정된 값은 이후의 모든 Choice 상태에서 사용됩니다.

{
    "Type": "SelectGroup",
    "Next": "<state-name>"
    "TestGroups": [
        <group-id>"
    ]
}

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

Fail

Fail 상태는 상태 머신이 제대로 실행되지 않았음을 나타냅니다. 이는 상태 머신의 종료 상태이며 각 상태 머신 정의에는 이 상태가 포함되어야 합니다.

{
    "Type": "Fail"
}

Succeed

Succeed 상태는 상태 머신이 올바르게 실행되었음을 나타냅니다. 이는 상태 머신의 종료 상태이며 각 상태 머신 정의에는 이 상태가 포함되어야 합니다.

{
    "Type": "Succeed"
}

상태 머신 컨텍스트

상태 시스템 컨텍스트는 실행 중에 상태 시스템에서 사용할 수 있는 데이터가 포함된 읽기 전용 JSON 문서입니다. 상태 머신 컨텍스트는 상태 머신에서만 액세스할 수 있으며 테스트 흐름을 결정하는 정보를 포함합니다. 예를 들어 userdata.json 파일에서 테스트 실행기가 구성한 정보를 사용하여 특정 테스트 실행이 필요한지 여부를 결정할 수 있습니다.

상태 머신 컨텍스트는 다음 형식을 사용합니다.

{
    "pool": {
        <device-json-pool-element>
    },
    "userData": {
        <userdata-json-content>
    },
    "config": {
        <config-json-content>
    },
    "suiteFailed": true | false,
    "specificTestGroups": [
        "<group-id>"
    ],
    "specificTestCases": [
        "<test-id>"
    ],
    "hasExecutionErrors": true
}

JSONPath 표기법을 사용하여 컨텍스트를 쿼리할 수 있습니다. 상태 정의에서 JSONPath 쿼리의 구문은 입니다{{$.query}}. 일부 상태 내에서 JSONPath 쿼리를 자리 표시자 문자열로 사용할 수 있습니다. IDT 는 자리 표시자 문자열을 컨텍스트에서 평가된 JSONPath 쿼리의 값으로 바꿉니다. 다음 값에 자리 표시자를 사용할 수 있습니다.

상태 머신 컨텍스트에서 데이터에 액세스할 때 다음 조건이 충족되는지 확인하십시오.

JSONPath 표기법을 사용하여 컨텍스트에서 데이터에 액세스하는 방법에 대한 자세한 내용은 섹션을 참조하세요IDT 컨텍스트 사용.

실행 오류

실행 오류는 상태 머신이 상태를 실행할 때 발생하는 상태 머신 정의의 오류입니다. IDT 는 test_manager.log 파일의 각 오류에 대한 정보를 기록하고 로그 메시지를 콘솔로 스트리밍합니다.

다음 방법을 사용하여 실행 오류를 처리할 수 있습니다.

Catch

Catch를 사용하려면 상태 정의에 다음을 추가하십시오.

"Catch": [
    {    
        "ErrorEquals": [
            "<error-type>"
        ]
        "Next": "<state-name>" 
    }
]

여기 설명된 것처럼 값이 포함된 모든 필드는 필수입니다.

Catch 블록은 둘 중 하나가 일치할 때까지 순차적으로 처리됩니다. Catch 블록에 나열된 오류와 일치하는 오류가 없으면 상태 머신이 계속 실행됩니다. 실행 오류는 잘못된 상태 정의로 인해 발생하므로 상태에 실행 오류가 발생하면 Fail 상태로 전환하는 것이 좋습니다.

hasExecutionError

일부 상태에서는 실행 오류가 발생하는 경우 오류가 발생하는 것 외에도 상태 시스템 컨텍스트에서 hasExecutionError 값을 true로 설정합니다. 이 값을 사용하여 오류 발생 시기를 감지한 다음 Choice 상태를 사용하여 상태 머신을 해당 Fail 상태로 전환할 수 있습니다.

이 메서드는 다음과 특징이 있습니다.

이러한 특성 때문에 Catch 블록을 대신 사용할 수 있는 경우에는 이 방법을 사용하지 않는 것이 좋습니다.

상태 머신 예제

이 섹션에서는 몇 가지 상태 시스템 구성의 예제를 제공합니다.

상태 머신 예제: 단일 테스트 그룹 실행

이 상태 머신:

{
    "Comment": "Runs a single group and then generates a report.",
    "StartAt": "RunGroupA",
    "States": {
        "RunGroupA": {
            "Type": "RunTask",
            "Next": "Report",
            "TestGroup": "GroupA",
            "Catch": [
                {
                    "ErrorEquals": [
                        "RunTaskError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Report": {
            "Type": "Report",
            "Next": "Succeed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "ReportError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Succeed": {
            "Type": "Succeed"
        },
        "Fail": {
            "Type": "Fail"
        }
    }
}

상태 머신 예제: 사용자가 선택한 테스트 그룹 실행

이 상태 머신:

{
    "Comment": "Runs specific groups if the test runner chose to do that, otherwise runs GroupA.",
    "StartAt": "SpecificGroupsCheck",
    "States": {
        "SpecificGroupsCheck": {
            "Type": "Choice",
            "Default": "RunGroupA",
            "FallthroughOnError": true,
            "Choices": [
                {
                    "Expression": "{{$.specificTestGroups[0]}} != ''",
                    "Next": "RunSpecificGroups"
                }
            ]
        },
        "RunSpecificGroups": {
            "Type": "RunTask",
            "Next": "Report",
            "Catch": [
                {
                    "ErrorEquals": [
                        "RunTaskError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "RunGroupA": {
            "Type": "RunTask",
            "Next": "Report",
            "TestGroup": "GroupA",
            "Catch": [
                {
                    "ErrorEquals": [
                        "RunTaskError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Report": {
            "Type": "Report",
            "Next": "Succeed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "ReportError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Succeed": {
            "Type": "Succeed"
        },
        "Fail": {
            "Type": "Fail"
        }
    }
}

상태 머신 예제: 제품 기능이 포함된 단일 테스트 그룹 실행

이 상태 머신:

{
    "Comment": "Runs GroupA and adds product features based on GroupA",
    "StartAt": "RunGroupA",
    "States": {
        "RunGroupA": {
            "Type": "RunTask",
            "Next": "AddProductFeatures",
            "TestGroup": "GroupA",
            "ResultVar": "GroupA_passed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "RunTaskError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "AddProductFeatures": {
            "Type": "AddProductFeatures",
            "Next": "Report",
            "Features": [
                {
                    "Feature": "FeatureThatDependsOnGroupA",
                    "Groups": [
                        "GroupA"
                    ],
                    "IsRequired": true
                }
            ]
        },
        "Report": {
            "Type": "Report",
            "Next": "Succeed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "ReportError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Succeed": {
            "Type": "Succeed"
        },
        "Fail": {
            "Type": "Fail"
        }
    }
}

상태 머신 예제: 두 테스트 그룹을 병렬로 실행

이 상태 머신:

장치 풀에 두 개의 장치가 구성된 경우 GroupA 및 GroupB 둘 다 동시에 실행할 수 있습니다. 그러나 GroupA 또는 GroupB 둘 중 하나에 여러 테스트가 포함된 경우에는 두 장치 모두 해당 테스트에 할당될 수 있습니다. 장치가 하나만 구성된 경우 테스트 그룹은 순차적으로 실행됩니다.

{
    "Comment": "Runs GroupA and GroupB in parallel",
    "StartAt": "RunGroupAAndB",
    "States": {
        "RunGroupAAndB": {
            "Type": "Parallel",
            "Next": "CheckForErrors",
            "Branches": [
                {
                    "Comment": "Run GroupA state machine",
                    "StartAt": "RunGroupA",
                    "States": {
                        "RunGroupA": {
                            "Type": "RunTask",
                            "Next": "Succeed",
                            "TestGroup": "GroupA",
                            "ResultVar": "GroupA_passed",
                            "Catch": [
                                {
                                    "ErrorEquals": [
                                        "RunTaskError"
                                    ],
                                    "Next": "Fail"
                                }
                            ]
                        },
                        "Succeed": {
                            "Type": "Succeed"
                        },
                        "Fail": {
                            "Type": "Fail"
                        }
                    }
                },
                {
                    "Comment": "Run GroupB state machine",
                    "StartAt": "RunGroupB",
                    "States": {
                        "RunGroupA": {
                            "Type": "RunTask",
                            "Next": "Succeed",
                            "TestGroup": "GroupB",
                            "ResultVar": "GroupB_passed",
                            "Catch": [
                                {
                                    "ErrorEquals": [
                                        "RunTaskError"
                                    ],
                                    "Next": "Fail"
                                }
                            ]
                        },
                        "Succeed": {
                            "Type": "Succeed"
                        },
                        "Fail": {
                            "Type": "Fail"
                        }
                    }
                }
            ]
        },
        "CheckForErrors": {
            "Type": "Choice",
            "Default": "AddProductFeatures",
            "FallthroughOnError": true,
            "Choices": [
                {
                    "Expression": "{{$.hasExecutionErrors}} == true",
                    "Next": "Fail"
                }
            ]
        },
        "AddProductFeatures": {
            "Type": "AddProductFeatures",
            "Next": "Report",
            "Features": [
                {
                    "Feature": "FeatureThatDependsOnGroupA",
                    "Groups": [
                        "GroupA"
                    ],
                    "IsRequired": true
                },
                {
                    "Feature": "FeatureThatDependsOnGroupB",
                    "Groups": [
                        "GroupB"
                    ],
                    "IsRequired": true
                }
            ]
        },
        "Report": {
            "Type": "Report",
            "Next": "Succeed",
            "Catch": [
                {
                    "ErrorEquals": [
                        "ReportError"
                    ],
                    "Next": "Fail"
                }
            ]
        },
        "Succeed": {
            "Type": "Succeed"
        },
        "Fail": {
            "Type": "Fail"
        }
    }
}