Métrica de UX: Como avaliar usabilidade com a métrica SUM

Written by Anderson Batista & Elisa Zanoni

A usabilidade é um aspecto fundamental no UX design e no desenvolvimento de sistemas digitais, influenciando diretamente a experiência do usuário e a eficácia do produto. Nesse contexto, a Single Usability Metric (SUM), é uma ferramenta valiosa para avaliar e medir a facilidade de uso de sistemas, interfaces e produtos digitais.

Neste artigo iremos abordar como a Sensorama Design vem utilizando a SUM para trazer dados metrificados para os testes de usabilidade de design de produto digital.

Métrica de UX para usabilidade: Explorando a métrica SUM para avaliação de produtos Digitais

Um pouco de contexto

Desenvolvida por Jeff Sauro em 2005, a métrica SUM foi projetada para fornecer uma medida numérica única que sintetiza diversos aspectos da experiência do usuário, como eficiência, eficácia, satisfação e facilidade de aprendizado. Por meio desta metodologia conseguimos simplificar o processo de avaliação de usabilidade, permitindo uma compreensão rápida e direta do desempenho do sistema.

Aplicação da métrica SUM no Design de Produto

Essa metodologia se baseia em coletar dados sobre a interação dos usuários com o sistema, por meio de testes de usabilidade, questionários ou outras técnicas de pesquisa. Esses dados são, então, processados e analisados para calcular a pontuação SUM, que representa a qualidade geral da usabilidade do sistema em uma escala específica, podendo assim avaliar como o sistema está performando.

É importante ressaltar que o uso da SUM deve ser direcionado para medir um número limitado de tarefas específicas dentro do sistema, e não para medir a plataforma completa. Focar em poucas tarefas permite uma análise precisa e direcionada da usabilidade, garantindo insights relevantes para melhorias específicas.

Combinada com uma análise qualitativa detalhada, a avaliação do UX de produtos digitais por um teste SUM pode ser ainda mais enriquecida. Aqui na Sensorama Design costumamos conectar os dados quantitativos da SUM com insights qualitativos obtidos por meio de observações de usuários, entrevistas ou análise de feedback, tornando possível ter uma compreensão mais profunda e contextualizada da experiência do usuário.

A análise qualitativa vai além dos números da SUM, revelando:

• Aspectos sutis do comportamento do usuário que não são capturados pelos números.
• Comportamentos padrões que indicam como os usuários interagem com o sistema.
• Desejos e expectativas individuais que variam entre os usuários.

Exemplos práticos do impacto da análise qualitativa:

• Os usuários estão enfrentando frustrações devido à complexidade da tela X. A análise qualitativa identificou a causa: uma interface confusa e uma navegação complexa.
• Baixa taxa de conclusão na tarefa Y: Descobrimos que os usuários não entendem as instruções.
• Áreas do sistema com alto uso: A análise qualitativa confirma a relevância dessas áreas e direciona o foco do desenvolvimento.

Como utilizamos a SUM em testes de usabilidade

Para exemplificar como a Sensorama utiliza a métrica SUM para avaliar a experiência de usuários, vamos relatar sobre um projeto que fomos encarregados de comparar a usabilidade entre o produto do cliente e de seus concorrentes.

Nosso primeiro desafio foi mapear o fluxo das plataformas concorrentes. Para isso, conduzimos uma navegação guiada com usuários, permitindo-nos coletar as telas necessárias para construir o protótipo para os testes.

As 3 etapas do teste de usabilidade para capturar a métrica SUM

1. Navegação e execução das tarefas no protótipo: limitamos o número de três tarefas a serem exploradas no nosso roteiro.
2. Preenchimento dos questionários ASQ e CCS em escala likert: utilizados para entender a percepção do usuário em relação a facilidade de uso, satisfação e tempo gasto para realizar cada tarefa.
3. Micro entrevista pós-teste: Momento em que realizamos perguntas de aprofundamento para ter entendimento além das tarefas.

Calculando a nota SUM

Após a conclusão dos testes de usabilidade, procedemos com a análise do Método de Notação de Keystroke (KLM) para aprofundar a avaliação da experiência dos usuários. Esse método permite prever o que seria o tempo ideal de execução de uma tarefa executada sem erros ou desvios. É por meio do KLM que obtemos os parâmetros essenciais para calcular a pontuação SUM. Basicamente falando, o KLM seria o tempo ideal, enquanto a SUM é o tempo real executado versus o tempo ideal.

O KLM deve ser alimentado com os seguintes dados:

Posteriormente, extraímos todos os dados numéricos de desvios, tempo de execução das tarefas, taxa de conclusão e notas de satisfação para alimentar nossa calculadora SUM, cruzando esses dados com os dados da planilha KLM.

Após obtermos a pontuação SUM, desenvolvemos o relatório com a consolidação de todos os dados quantitativos e unimos com análise qualitativa que realizamos por meio de entrevistas e observações durante o teste. Com a combinação desses dados, obtemos uma visão holística da experiência do usuário, permitindo identificar:

• Comportamentos recorrentes entre os usuários.
• Pontos do sistema que precisavam ser aprimorados.
• Insights sobre as necessidades e expectativas dos usuários.
• Oportunidades de novas funcionalidades que poderiam agregar valor ao negócio.

Em resumo, o teste SUM é uma ferramenta valiosa para:

• Obter insights sobre a experiência do usuário.
• Identificar problemas de usabilidade.
• Avaliar a performance do produto.
• Priorizar melhorias no sistema.
• Tomar decisões baseadas em dados.

Na Sensorama Design, nós aplicamos a métrica SUM para trazer profundidade nas avaliações do UX de produtos digitais. Como consequência, nossas recomendações são pautadas em dados e métricas específicas de design de produto digital. Dessa forma, garantimos que as soluções que projetamos tragam resultado a partir do investimento em UX design e projetos de inovação.