View a markdown version of this page

Testen mit Workflows - Amazon CodeCatalyst
Typen von Qualitätsberichten

Amazon CodeCatalyst ist nicht mehr offen für neue Kunden. Bestandskunden können den Service weiterhin wie gewohnt nutzen. Weitere Informationen finden Sie unter Wie migriert man von CodeCatalyst.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Testen mit Workflows

CodeCatalystIn können Sie Tests als Teil verschiedener Workflow-Aktionen wie Erstellen und Testen ausführen. Diese Workflow-Aktionen können alle Qualitätsberichte generieren. Eine Testaktion ist eine Workflow-Aktion, die Berichte über Tests, Codeabdeckung, Analyse der Softwarekomposition und statische Analysen erstellt. Diese Berichte werden in der CodeCatalyst Konsole angezeigt.

Themen

Typen von Qualitätsberichten

Die CodeCatalyst Amazon-Testaktion unterstützt die folgenden Arten von Qualitätsberichten. Ein Beispiel zum Formatieren dieser Berichte in Ihrem YAML finden Sie unterBeispiel für Qualitätsberichte (YAML).

Testberichte

In CodeCatalyst können Sie Komponententests, Integrationstests und Systemtests konfigurieren, die während der Builds ausgeführt werden. Anschließend CodeCatalyst können Sie Berichte erstellen, die die Ergebnisse Ihrer Tests enthalten.

Sie können einen Testbericht verwenden, um Probleme mit Ihren Tests zu beheben. Wenn Sie viele Testberichte aus mehreren Builds haben, können Sie anhand Ihrer Testberichte die Fehlerraten einsehen und so Ihre Builds optimieren.

Sie können die folgenden Dateiformate für Testberichte verwenden:

  • Gurken-JSON (.json)

  • JUnit-XML (.xml)

  • Unit-XML (.xml)

  • NUnit3 XML (.xml)

  • TestNG XML (.xml)

  • Visual Studio TRX (.trx, .xml)

Code-Abdeckungsberichte

CodeCatalystIn können Sie Berichte zur Codeabdeckung für Ihre Tests generieren. CodeCatalyst bietet die folgenden Metriken zur Codeabdeckung:

Zeilenabdeckung

Misst, wie viele Aussagen Ihre Tests abdecken. Eine Aussage ist eine einzelne Anweisung, die keine Kommentare enthält.

line coverage = (total lines covered)/(total number of lines)

Verzweigungsabdeckung

Misst, wie viele Zweige Ihre Tests von jedem möglichen Zweig einer Kontrollstruktur, wie z. B. einer if case OR-Anweisung, abdecken.

branch coverage = (total branches covered)/(total number of branches)

Für Code-Abdeckungsberichte werden die folgenden Dateiformate unterstützt:

Berichte zur Analyse der Softwarekomposition

In CodeCatalyst können Sie Tools zur Analyse der Softwarezusammensetzung (Software Composition Analysis, SCA) verwenden, um Komponenten Ihrer Anwendung zu analysieren und nach bekannten Sicherheitslücken zu suchen. Sie können SARIF-Berichte entdecken und analysieren, in denen Sicherheitslücken mit unterschiedlichem Schweregrad und Möglichkeiten zu ihrer Behebung detailliert beschrieben werden. Gültige Schweregradwerte (vom höchsten bis zum geringsten Schweregrad) sind:CRITICAL,,,HIGH,MEDIUM. LOW INFORMATIONAL

Die folgenden SCA-Berichtsdateiformate werden unterstützt:

  • SARIF (.sarif, .json)

Statische Analyseberichte

Sie können Berichte zur statischen Analyse (SA) verwenden, um Codefehler auf Quellenebene zu identifizieren. In können Sie SA-Berichte erstellen CodeCatalyst, um Probleme in Ihrem Code zu lösen, bevor Sie ihn bereitstellen. Zu diesen Problemen gehören Fehler, Sicherheitslücken, Qualitätsprobleme und andere Sicherheitslücken. Gültige Schweregradwerte (vom höchsten bis zum geringsten Schweregrad) sind: CRITICAL HIGH MEDIUMLOW,, undINFORMATIONAL.

CodeCatalyst stellt die folgenden SA-Metriken bereit:

Bugs

Identifiziert eine Reihe möglicher Fehler, die in Ihrem Quellcode gefunden wurden. Diese Fehler können Probleme mit der Speichersicherheit beinhalten. Das Folgende ist ein Beispiel für einen Fehler.

// The while loop will inadvertently index into array x out-of-bounds
int x[64];
while (int n = 0; n <= 64; n++) {
  x[n] = 0;
}
Sicherheitslücken

Identifiziert eine Reihe möglicher Sicherheitslücken, die in Ihrem Quellcode gefunden wurden. Zu diesen Sicherheitslücken können Probleme wie das Speichern Ihrer geheimen Token im Klartext gehören.

Probleme mit der Qualität

Identifiziert eine Reihe möglicher Qualitätsprobleme in Ihrem Quellcode. Zu diesen Qualitätsproblemen können auch Probleme im Zusammenhang mit Stilkonventionen gehören. Das Folgende ist ein Beispiel für ein Qualitätsproblem.

// The function name doesn't adhere to the style convention of camelCase
int SUBTRACT(int x, int y) {
  return x-y
}
Andere Sicherheitslücken

Identifiziert eine Reihe möglicher anderer Sicherheitslücken, die in Ihrem Quellcode gefunden wurden.

CodeCatalyst unterstützt die folgenden SA-Berichtsdateiformate:

  • PyLint (.py)

  • ESLint (.js, .jsx, .ts, .tsx)

  • SARIF (.sarif, .json)