워크플로를 사용한 테스트 - Amazon CodeCatalyst
품질 보고서 유형

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

워크플로를 사용한 테스트

에서는 빌드 및 테스트와 같은 다양한 워크플로 작업의 일부로 테스트를 실행할 CodeCatalyst수 있습니다. 이러한 워크플로 작업은 모두 품질 보고서를 생성할 수 있습니다. 테스트 작업은 테스트, 코드 적용 범위, 소프트웨어 구성 분석 및 정적 분석 보고서를 생성하는 워크플로 작업입니다. 이러한 보고서는 CodeCatalyst 콘솔에 표시됩니다.

주제

품질 보고서 유형

Amazon CodeCatalyst 테스트 작업은 다음과 같은 유형의 품질 보고서를 지원합니다. 에서 이러한 보고서를 포맷하는 방법에 대한 예는 섹션을 YAML참조하세요품질 보고서 YAML 예제.

테스트 보고서

에서 빌드 중에 실행되는 단위 테스트, 통합 테스트 및 시스템 테스트를 구성할 CodeCatalyst수 있습니다. 그런 다음 CodeCatalyst 는 테스트 결과를 포함하는 보고서를 생성할 수 있습니다.

테스트 보고서를 사용하여 테스트 문제를 해결할 수 있습니다. 여러 빌드의 테스트 보고서가 많은 경우 테스트 보고서를 사용하여 실패율을 확인하여 빌드를 최적화할 수 있습니다.

다음 테스트 보고서 파일 형식을 사용할 수 있습니다.

  • 오이JSON(.json)

  • JUnit XML (.xml)

  • NUnit XML (.xml)

  • NUnit3 XML (.xml)

  • TestNGXML(.xml)

  • Visual StudioTRX(.trx, .xml)

코드 범위 보고서

에서 테스트에 대한 코드 적용 범위 보고서를 생성할 CodeCatalyst수 있습니다. 는 다음 코드 적용 범위 지표를 CodeCatalyst 제공합니다.

행 범위

테스트에서 다루는 문 수를 측정합니다. 문은 주석을 제외한 단일 명령입니다.

line coverage = (total lines covered)/(total number of lines)

분기 범위

if 또는 case 문과 같은 제어 구조의 가능한 모든 브랜치에서 테스트가 처리하는 브랜치 수를 측정합니다.

branch coverage = (total branches covered)/(total number of branches)

지원되는 코드 범위 보고서 파일 형식은 다음과 같습니다.

소프트웨어 구성 분석 보고서

에서 소프트웨어 구성 분석(SCA) 도구를 사용하여 애플리케이션의 구성 요소를 분석하고 알려진 보안 취약성을 확인할 CodeCatalyst수 있습니다. 심각도가 다양한 취약성과 이를 수정하는 방법을 자세히 설명하는 SARIF 보고서를 검색하고 구문 분석할 수 있습니다. 가장 심각하거나 가장 심각하지 않은 유효한 심각도 값은 CRITICAL, , HIGHMEDIUM, LOW, 입니다INFORMATIONAL.

지원되는 SCA 보고서 파일 형식은 다음과 같습니다.

  • SARIF (.sarif, .json)

정적 분석 보고서

정적 분석(SA) 보고서를 사용하여 소스 수준 코드 결함을 식별할 수 있습니다. 에서 SA 보고서를 생성하여 코드를 배포하기 전에 코드 문제를 해결할 CodeCatalyst수 있습니다. 이러한 문제에는 버그, 보안 취약성, 품질 문제 및 기타 취약성이 포함됩니다. 가장 심각하거나 가장 심각하지 않은 유효한 심각도 값은 CRITICAL, , HIGHLOW, MEDIUM및 입니다INFORMATIONAL.

CodeCatalyst 는 다음 SA 지표를 제공합니다.

버그

소스 코드에서 찾을 수 있는 버그 수를 식별합니다. 이러한 버그에는 메모리 안전성에 관한 문제가 포함될 수 있습니다. 다음은 버그의 예입니다.

// The while loop will inadvertently index into array x out-of-bounds
int x[64];
while (int n = 0; n <= 64; n++) {
  x[n] = 0;
}
보안 취약성

소스 코드에서 발견된 여러 가지 가능한 보안 취약성을 식별합니다. 이러한 보안 취약성에는 보안 암호 토큰을 일반 텍스트로 저장하는 등의 문제가 포함될 수 있습니다.

품질 문제

소스 코드에서 발견된 여러 가지 가능한 품질 문제를 식별합니다. 이러한 품질 문제에는 스타일 규칙과 관련된 문제가 포함될 수 있습니다. 다음은 품질 문제의 예입니다.

// The function name doesn't adhere to the style convention of camelCase
int SUBTRACT(int x, int y) {
  return x-y
}
기타 취약성

소스 코드에서 발견된 여러 가지 가능한 기타 취약성을 식별합니다.

CodeCatalyst 는 다음 SA 보고서 파일 형식을 지원합니다.

  • PyLint (.py)

  • ESLint (.js, .jsx, .ts, .tsx)

  • SARIF (.sarif, .json)