Configurando relatórios de qualidade em uma ação - Amazon CodeCatalyst
Descoberta automática e relatórios manuaisConfigurando critérios de sucesso para relatóriosYAMLExemplo de relatórios de qualidade

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurando relatórios de qualidade em uma ação

Esta seção descreve como configurar um relatório de qualidade em uma ação.

Descoberta automática e relatórios manuais

Quando a descoberta automática está ativada, CodeCatalyst pesquisa todas as entradas passadas para a ação e todos os arquivos gerados pela própria ação, procurando relatórios de teste, cobertura de código, análise de composição de software (SCA) e análise estática (SA). Você pode visualizar e manipular cada um desses relatórios em CodeCatalyst.

Você também pode configurar manualmente quais relatórios são gerados. Você pode especificar o tipo de relatório que deseja gerar, bem como o formato do arquivo. Para obter mais informações, consulte Tipos de relatório de qualidade.

Configurando critérios de sucesso para relatórios

Você pode definir os valores que determinam os critérios de sucesso para um teste, cobertura de código, análise de composição de software (SCA) ou relatório de análise estática (SA).

Os critérios de sucesso são limites que determinam se um relatório é aprovado ou reprovado. CodeCatalyst primeiro gera seu relatório, que pode ser um teste, SCA cobertura de código ou relatório SA, e depois aplica os critérios de sucesso aos relatórios gerados. Em seguida, mostra se os critérios de sucesso foram atendidos e em que medida. Se algum relatório não atender aos critérios de sucesso especificados, a CodeCatalyst ação que especificou os critérios de sucesso falhará.

Por exemplo, quando você define os critérios de sucesso para seu SCA relatório, os valores de vulnerabilidade válidos que variam do mais ao menos grave são:CRITICAL,HIGH,MEDIUM,LOW,INFORMATIONAL. Se você definir os critérios para verificar uma vulnerabilidade em HIGH gravidade, o relatório falhará se houver pelo menos uma vulnerabilidade em HIGH gravidade ou nenhuma vulnerabilidade em HIGH gravidade, mas pelo menos uma vulnerabilidade em um nível de gravidade mais alto, como uma vulnerabilidade em CRITICAL gravidade.

Se você não especificar critérios de sucesso, então:

  • O CodeCatalyst relatório gerado com base em seus relatórios brutos não exibirá critérios de sucesso.

  • Os critérios de sucesso não serão usados para determinar se a ação do fluxo de trabalho associada é aprovada ou falhada.

Visual
Para configurar critérios de sucesso

  1. No painel de navegação, escolha CI/CD e, em seguida, escolha Fluxos de trabalho.

  2. Escolha um fluxo de trabalho contendo uma ação que gere um relatório. Esse é o relatório ao qual você deseja aplicar os critérios de sucesso. Você pode filtrar pelo nome do repositório ou ramificação de origem em que o fluxo de trabalho está definido, ou filtrar pelo nome ou status do fluxo de trabalho.

  3. Selecione a opção Editar.

  4. Escolha Visual.

  5. No diagrama do fluxo de trabalho, escolha a ação que você configurou para gerar CodeCatalyst relatórios.

  6. Escolha a guia Outputs.

  7. Em Relatórios de descoberta automática ou em Configurar relatórios manualmente, escolha Critérios de sucesso.

    Os critérios de sucesso aparecem. Dependendo de suas seleções anteriores, você pode ver uma ou todas essas opções:

    Taxa de aprovação

    Especifique a porcentagem de testes em um relatório de teste que devem ser aprovados para que o CodeCatalyst relatório associado seja marcado como aprovado. Os valores válidos incluem números decimais. Por exemplo: 50, 60.5. Os critérios de taxa de aprovação são aplicados somente aos relatórios de teste. Para obter mais informações sobre relatórios de teste, consulteRelatórios de teste.

    Cobertura de linha

    Especifique a porcentagem de linhas em um relatório de cobertura de código que devem ser cobertas para que o CodeCatalyst relatório associado seja marcado como aprovado. Os valores válidos incluem números decimais. Por exemplo: 50, 60.5. Os critérios de cobertura de linha são aplicados somente aos relatórios de cobertura de código. Para obter mais informações sobre relatórios de cobertura de código, consulteRelatórios de cobertura de código.

    Cobertura de agências

    Especifique a porcentagem de filiais em um relatório de cobertura de código que devem ser cobertas para que o CodeCatalyst relatório associado seja marcado como aprovado. Os valores válidos incluem números decimais. Por exemplo: 50, 60.5. Os critérios de cobertura da filial são aplicados somente aos relatórios de cobertura de código. Para obter mais informações sobre relatórios de cobertura de código, consulteRelatórios de cobertura de código.

    Vulnerabilidades () SCA

    Especifique o número máximo e a gravidade das vulnerabilidades permitidas no SCA relatório para que o CodeCatalyst relatório associado seja marcado como aprovado. Para especificar vulnerabilidades, você deve especificar:

    • A gravidade mínima das vulnerabilidades que você deseja incluir na contagem. Os valores válidos, do mais para o menos severo, são: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

      Por exemplo, se você escolherHIGH, HIGH CRITICAL as vulnerabilidades serão computadas.

    • O número máximo de vulnerabilidades da severidade especificada que você deseja permitir. Exceder esse número faz com que o CodeCatalyst relatório seja marcado como falhado. Os valores válidos são números inteiros.

    Os critérios de vulnerabilidade são aplicados somente aos SCA relatórios. Para obter mais informações sobre SCA relatórios, consulteRelatórios de análise de composição de software.

    Insetos

    Especifique o número máximo e a gravidade dos bugs permitidos no relatório SA para que o CodeCatalyst relatório associado seja marcado como aprovado. Para especificar bugs, você deve especificar:

    • A gravidade mínima dos bugs que você deseja incluir na contagem. Os valores válidos, do mais para o menos severo, são: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

      Por exemplo, se você escolherHIGH, HIGH os CRITICAL bugs serão computados.

    • O número máximo de bugs da severidade especificada que você deseja permitir. Exceder esse número faz com que o CodeCatalyst relatório seja marcado como falhado. Os valores válidos são números inteiros.

    Os critérios de bugs são aplicados somente PyLint aos relatórios do ESLint SA. Para obter mais informações sobre relatórios SA, consulteRelatórios de análise estática.

    Vulnerabilidades de segurança

    Especifique o número máximo e a gravidade das vulnerabilidades de segurança permitidas no relatório SA para que o CodeCatalyst relatório associado seja marcado como aprovado. Para especificar vulnerabilidades de segurança, você deve especificar:

    • A gravidade mínima das vulnerabilidades de segurança que você deseja incluir na contagem. Os valores válidos, do mais para o menos severo, são: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

      Por exemplo, se você escolherHIGH, HIGH as vulnerabilidades CRITICAL de segurança serão computadas.

    • O número máximo de vulnerabilidades de segurança da severidade especificada que você deseja permitir. Exceder esse número faz com que o CodeCatalyst relatório seja marcado como falhado. Os valores válidos são números inteiros.

    Os critérios de vulnerabilidades de segurança são aplicados somente aos PyLint relatórios do ESLint SA. Para obter mais informações sobre relatórios SA, consulteRelatórios de análise estática.

    Problemas de qualidade

    Especifique o número máximo e a gravidade dos problemas de qualidade permitidos no relatório SA para que o CodeCatalyst relatório associado seja marcado como aprovado. Para especificar problemas de qualidade, você deve especificar:

    • A gravidade mínima dos problemas de qualidade que você deseja incluir na contagem. Os valores válidos, do mais para o menos severo, são: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

      Por exemplo, se você escolherHIGH, HIGH os problemas CRITICAL de qualidade serão computados.

    • O número máximo de problemas de qualidade da severidade especificada que você deseja permitir. Exceder esse número faz com que o CodeCatalyst relatório seja marcado como falhado. Os valores válidos são números inteiros.

    Os critérios de problemas de qualidade são aplicados somente PyLint aos relatórios ESLint da SA. Para obter mais informações sobre relatórios SA, consulteRelatórios de análise estática.

  8. Escolha Commit (Confirmar).

  9. Execute seu fluxo de trabalho para CodeCatalyst aplicar critérios de sucesso aos seus relatórios brutos e regenere os CodeCatalyst relatórios associados com as informações dos critérios de sucesso incluídas. Para obter mais informações, consulte Iniciando um fluxo de trabalho executado manualmente.

YAML
Para configurar critérios de sucesso

  1. No painel de navegação, escolha CI/CD e, em seguida, escolha Fluxos de trabalho.

  2. Escolha um fluxo de trabalho contendo uma ação que gere um relatório. Esse é o relatório ao qual você deseja aplicar os critérios de sucesso. Você pode filtrar pelo nome do repositório ou ramificação de origem em que o fluxo de trabalho está definido, ou filtrar pelo nome ou status do fluxo de trabalho.

  3. Selecione a opção Editar.

  4. Escolha YAML.

  5. No diagrama do fluxo de trabalho, escolha a ação que você configurou para gerar CodeCatalyst relatórios.

  6. No painel de detalhes, escolha a guia Saídas.

  7. Na ação, na AutoDiscoverReports seção ou na Reports seção, adicione uma SuccessCriteriapropriedade junto comPassRate,LineCoverage,BranchCoverage,Vulnerabilities, StaticAnalysisBugStaticAnalysisSecurity, e StaticAnalysisQuality propriedades.

    Para obter uma explicação de cada uma dessas propriedades, consulte Crie e teste ações YAML o.

  8. Escolha Commit (Confirmar).

  9. Execute seu fluxo de trabalho para CodeCatalyst aplicar critérios de sucesso aos seus relatórios brutos e regenere os CodeCatalyst relatórios associados com as informações dos critérios de sucesso incluídas. Para obter mais informações sobre como iniciar um fluxo de trabalho, consulteIniciando um fluxo de trabalho executado manualmente.

YAMLExemplo de relatórios de qualidade

O exemplo a seguir mostra como configurar manualmente quatro relatórios: um relatório de teste, um relatório de cobertura de código, um relatório de análise de composição de software e um relatório de análise estática.

Reports:
  MyTestReport:
    Format: JUNITXML
    IncludePaths:
      - "*.xml"
    ExcludePaths:
      - report1.xml
      SuccessCriteria:
        PassRate: 90
  MyCoverageReport:
    Format: CLOVERXML
    IncludePaths:
      - output/coverage/jest/clover.xml
      SuccessCriteria:
        LineCoverage: 75
        BranchCoverage: 75
  MySCAReport:
    Format: SARIFSCA
    IncludePaths:
      - output/sca/reports.xml
      SuccessCriteria:
        Vulnerabilities:
          Number: 5
          Severity: HIGH
  MySAReport:
    Format: ESLINTJSON
    IncludePaths:
      - output/static/eslint.xml
      SuccessCriteria:
        StaticAnalysisBug:
          Number: 10
          Severity: MEDIUM
        StaticAnalysisSecurity:
          Number: 5
          Severity: CRITICAL
        StaticAnalysisQuality:
          Number: 0
          Severity: INFORMATIONAL