Uma das informações mais importantes geradas no processo de teste de software são as métricas voltadas para avaliar e controlar a qualidade dos produtos desenvolvidos.

Neste cenário, é essencial para um gerente de projetos e demais interessados monitorar o status do processo de controle da qualidade do produto, visto que esse acompanhamento ajuda na definição de prazos, tomada de decisão e resolução, principalmente no decorrer das sprints e entrega das versões em produção.

Neste post, iremos apresentar algumas métricas relacionadas a gestão da qualidade, as quais fornecem indicadores acerca da efetividade dos testes executados e identificação de defeitos no projeto. Vale ressaltar que as métricas são extraídas através do QualiGO, nossa plataforma de gestão e controle de qualidade de software.

Métricas sobre casos de teste

Casos de teste são a base para a execução dos testes em um projeto de software, pois contém informações sobre regras de negócio, entradas de dados, passo-a-passo necessário para a execução do cenário, bem como os resultados esperados.

No QualiGO, são exibidas informações referentes ao status da execução dos casos de teste no projeto, sendo possível segmentar e analisar tais dados de acordo com os planos de teste cadastrados. Algumas métricas apresentadas são:

• Quantidade total de casos de teste;
• Quantidade de testes executados;
• % de casos de teste não executados;
• % de casos de teste bloqueados;
• % de casos de teste aprovados;
• % de casos de teste reprovados.

A interpretação dessas métricas fornece um indicador sobre a eficiência do processo de teste, possibilita verificar se os procedimentos de validação estão sendo efetivos e se proporcionam a descoberta de erros nas aplicações testadas.

Importante destacar que, nas situações em que os casos de teste são reprovados e/ou bloqueados, deve-se anexar junto a estes a justificativa dos impedimentos da execução, sendo eles um defeito encontrado, adiamento da feature, impossibilidade de acessar um cenário, etc.

Métricas sobre defeitos do sistema

Softwares são testados principalmente para se descobrir erros. O QualiGO permite, por meio de gráficos e elementos visuais, averiguar e indicar o nível de qualidade do software sob o ponto de vista qualitativo, dispondo de informações a respeito dos defeitos encontrados no processo de desenvolvimento. A seguir, são listadas possibilidades de visualização dessas métricas de forma segmentada e organizada.

Defeitos por resolução

É fundamental saber o percentual de defeitos resolvidos para medir a “saúde” do projeto de teste. Neste caso, quanto maior a quantidade de erros corrigidos, maior é a probabilidade de o software estar com a qualidade adequada. É interessante visualizar também a quantidade de defeitos que estão em aberto, a fim de ter uma visão macro do projeto relativo ao que precisa ser solucionado.

Defeitos por status

Nesta grade de dados é viável coletar métricas em conformidade com o ciclo de vida do defeito, desde a abertura até o seu fechamento. Por exemplo, pode-se aferir em tempo real o percentual de erros que estão sendo corrigidos pela equipe de desenvolvimento, a quantidade que está em reteste, a quantidade de bugs retornados para avaliação e assim por diante.

Para facilitar a análise, no QualiGO os defeitos são divididos pelos seguintes status:

• Em avaliação: São os defeitos abertos, que estão aguardando a análise do responsável;
• Em desenvolvimento: São os defeitos que estão sendo corrigidos pela equipe de desenvolvimento;
• Retorno: Status utilizado quando há dúvida sobre o bug, quando este voltou a ocorrer ou não foi corrigido por completo;
• Aguardando liberação para teste: Quando os defeitos foram corrigidos, porém ainda não foram disponibilizados no ambiente de testes;
• Pronto para teste: São os defeitos corrigidos e que estão liberados no ambiente de testes para serem re-testados;
• Em teste: É utilizado quando a equipe de testes está fazendo a bateria de testes citada no tópico anterior;
• Resolvido: Os defeitos que foram re-testados e concluídos são marcados como resolvidos, encerrando o ciclo de vida do bug;
• Bloqueado: É utilizado quando há alguma pendência que impossibilita a resolução ou quando será feito em um próximo ciclo;
• Cancelado: Quando o defeito é avaliado e definido que não é um bug ou não será corrigido.

Defeitos por gravidade

A gravidade é um dos principais aspectos que deve ser avaliado ao detectar um erro, dado que tal característica tem relação direta com os riscos envolvidos no projeto. Ademais, a gravidade é crucial para a tomada de decisão e análise da confiabilidade da aplicação. Por exemplo, se em um determinado ciclo de testes a quantidade de defeitos graves em aberto é considerada acima do esperado, quer dizer que o produto corre risco de falhar gravemente caso seja disponibilizado em produção.

No QualiGO são utilizados quatro tipos de gravidade:

• Crítico: Impossibilitam a continuação dos testes;
• Grande: Não impossibilitam a continuação dos testes, porém precisam ser resolvidos o mais breve possível visto que prejudicam fortemente o funcionamento do sistema;
• Médio: Não interferem a continuação dos testes e possuem pequeno impacto no projeto;
• Pequeno: São bugs com baixo impacto nas funcionalidades, geralmente a parte visual, mensagens, ortografia etc.

Defeitos por fase

É primordial monitorar em quais fases estão ocorrendo os defeitos, uma vez que se há uma quantidade muito maior reunida em determinada fase, pode ser realizada uma análise causal para identificar onde tais problemas estão surgindo e tomar ações preventivas.

No QualiGO são consideradas quatro fases conforme segue:

• Desenvolvimento: Defeitos encontrados pela equipe de programadores;

• Qualidade: Defeitos encontrados pela equipe de testes e demais envolvidos na área de QA;

• Homologação: Defeitos encontrados durante o processo de homologação, podendo ser encontrado tanto por usuários como pela equipe de testes em um ambiente que simula a produção;

• Produção: Defeitos encontrados quando o projeto já está publicado, normalmente relatado por usuários finais.

As métricas apresentadas nesse artigo fazem parte do processo de gestão da qualidade de software e são muito úteis para líderes de teste, analistas de teste, gerentes de projeto, gerentes de desenvolvimento e demais interessados. Além disso, essas informações podem compor os relatórios de entrega aos clientes, tornando-se um documento oficial sobre todas as atividades executadas pelos testes e defeitos encontrados a cada versão liberada.

Conforme citado, todas as métricas estão disponíveis no QualiGO e você pode saber mais sobre a ferramenta clicando aqui. Se precisar de apoio para implementar um processo de teste na sua empresa que dê suporte para a geração dessas informações, entre em contato para conhecer nosso trabalho e saber como podemos ajudar!