Estudos de utilizadores e análise

Desenho experimental

Queremos saber se a versão B ajuda a reservar uma sala mais depressa do que A: quatro pessoas fazem tarefas comparáveis nas duas versões, metade na ordem AB e metade na BA. Os tempos abaixo são dados fictícios de conclusões corretas sem ajuda e não incluem tentativas falhadas.

Pessoa	Ordem	A (s)	B (s)	Diferença A menos B (s)
P1	AB	52	48	4
P2	BA	64	58	6
P3	AB	45	42	3
P4	BA	73	68	5

A variável independente é a versão que manipulamos, A ou B, e a dependente é o tempo medido; sucesso e pedidos de ajuda seriam outras medidas, a registar em separado.

Se B tivesse tarefas mais fáceis, a dificuldade variaria juntamente com a versão e ofereceria uma explicação alternativa: seria uma variável de confundimento.

Neste desenho intra-participantes, cada pessoa usa ambas as versões: P4 demora mais do que P3 nas duas, mas ambas poupam tempo em B, e comparar cada pessoa consigo própria conserva essa correspondência.

Num desenho entre participantes, pessoas distintas usariam cada versão, por isso teríamos de considerar diferenças entre grupos sem inventar pares só porque as listas têm o mesmo tamanho.

Se todos usassem A e depois B, a melhoria poderia resultar de aprendizagem. Contrabalançar AB e BA distribui as posições das versões na sessão, enquanto randomizar a atribuição das pessoas às ordens evita escolhê-las segundo características que favoreçam uma condição.

São decisões diferentes e nenhuma elimina automaticamente fadiga, transferência ou efeitos da novidade.

Mantém tarefas comparáveis, instruções, dispositivo e condições relevantes. Um piloto verifica o procedimento, não prova a hipótese, e a presença do observador e as expectativas do investigador também podem alterar o comportamento.

Lê cada segmento como um par, não como duas pessoas: em cada par, o círculo B fica à esquerda do quadrado A, indicando um tempo menor. As reduções variam entre 3 e 6 s, embora os tempos absolutos variem muito mais. O contrabalanço muda a ordem de execução; não desfaz o emparelhamento.

Escolher o termo de comparação

O enunciado do projeto de 2026/27 distingue dois casos: ao redesenhar uma funcionalidade existente, compara a proposta com a funcionalidade original; ao propor uma funcionalidade nova, desenvolve e compara duas alternativas de desenho. Não basta mostrar que o protótipo executa a tarefa sem erros técnicos.

Na biblioteca, acrescentar informação de capacidade à pesquisa existente pode ser um redesenho. A comparação mantém a mesma necessidade e permite observar se a proposta reduz procura repetida sem prejudicar sucesso. Já uma nova forma de coordenação pode comparar partilhar uma opção com votar entre opções. Ambas têm de apoiar um objetivo comum, como chegar a uma sala aceite pelo grupo; tarefas que só uma versão permite executar não dão uma comparação justa desse objetivo.

Define antes de recolher dados o que vais comparar, o estado inicial de cada alternativa, as tarefas, os critérios de sucesso e as medidas. Se uma versão começa com uma reserva já preenchida e outra exige procurar tudo, o tempo mede também essa preparação desigual. Escolher duas alternativas não resolve o desenho experimental: continua a ser necessário recrutar os perfis adequados e decidir se cada pessoa usa uma ou ambas.

Classificar métodos sem os confundir

O cronómetro regista o que as pessoas fazem, portanto fornece evidência comportamental e quantitativa. Depois da tarefa, perguntar como se sentiram fornece evidência atitudinal, e a classificação qualitativa ou quantitativa depende do dado recolhido, não de este ser subjetivo.

Dado recolhido na reserva	Evidência
Tempo e sucesso	Comportamental e quantitativa
Pausa observada enquanto procura a confirmação	Comportamental, descrita qualitativamente
Relato sobre receio de perder a reserva	Atitudinal e qualitativa
Respostas de 1 a 5 ao SUS	Atitudinal e quantitativa

Uma pessoa pode dizer que a reserva foi fácil e ter precisado de ajuda; investiga a divergência, pois a entrevista pode esclarecer o que entende por fácil enquanto o registo permite localizar a intervenção. Nenhuma destas fontes substitui a outra.

Análise qualitativa

No exemplo fictício, codificamos “não percebi se ficou reservado” e “perguntei ao colega se estava confirmado” como dificuldade em reconhecer confirmação, e “a notificação não dizia a sala” como informação incompleta.

Os códigos descrevem unidades de significado e os temas agrupam padrões interpretados. Define como passaste das notas aos códigos, conserva exemplos que os sustentam e procura casos que contradizem a interpretação.

Uma contagem de menções numa entrevista não mede automaticamente a prevalência na população. Um problema referido uma vez pode ser crítico, como impedir o acesso com leitor de ecrã.

Frequência não é o único critério de prioridade. O agrupamento inicial por afinidades está explicado na investigação.

Palavras, códigos e temas

Uma nuvem de palavras conta ocorrências, mas perde a relação entre termos. Nos relatos “a confirmação foi clara” e “a confirmação não foi clara”, a palavra confirmação aparece nas duas frases com avaliações opostas. Também é diferente “não consegui reservar” de “consegui reservar, mas não cancelar”.

Na codificação, lê cada unidade no seu contexto e identifica o significado relevante para a pergunta do estudo. Podemos começar com códigos definidos pelo objetivo, como descoberta, compreensão e recuperação, ou deixar surgir códigos dos dados. Em ambos os casos, conserva o trecho e a razão da classificação. Um tema como “incerteza sobre o resultado” precisa de relatos que o sustentem, não apenas de uma palavra frequente.

Se uma pessoa menciona o mesmo problema cinco vezes, isso continua a ser o relato dessa pessoa. Para contar participantes que o referiram, usa uma unidade por participante e explicita esse denominador.

Para estudar prevalência, ainda falta justificar amostra e recolha; a contagem de uma entrevista não resolve essa inferência.

Estatística descritiva

No caso A/B, calculamos uma diferença por pessoa:

$$d_i=A_i-B_i,\qquad d=(4,6,3,5)\ \text{s}.$$

Uma diferença positiva significa que A demorou mais, e a média das diferenças é

$$\bar d=\frac{4+6+3+5}{4}=4{,}5\ \text{s}.$$

B foi mais rápida nestas quatro conclusões; a média resume a magnitude, mas falta descrever a dispersão e avaliar a incerteza antes de concluir sobre outras pessoas.

Média e mediana respondem a perguntas diferentes. Num outro conjunto de conclusões, 31, 33, 40, 44 e 150 s, a média é $(31+33+40+44+150)/5=59{,}6$ s e a mediana é 40 s, a terceira posição dos dados ordenados.

O caso de 150 s pesa na média mas não muda essa posição central; pode ser uma dificuldade legítima e não deve desaparecer só por ser inconveniente.

Para dados nominais, como canal de reserva, usamos contagens e proporções; para categorias ordinais, como uma resposta isolada de satisfação de 1 a 5, conhecemos a ordem mas não garantimos intervalos iguais.

Para tempos, média, mediana e dispersão têm unidades de segundos. Declara sempre a amostra e o tratamento das falhas: o limite de um ensaio interrompido não é um tempo de conclusão.

SUS

A System Usability Scale, publicada por John Brooke em 1996, usa dez respostas de 1 a 5 com itens de formulação alternada entre positiva e negativa. Cada resposta interpreta-se segundo a formulação do respetivo item, por isso a pontuação inverte os itens pares: com a formulação e ordem padrão, a contribuição dos itens ímpares é $r_i-1$ e dos pares $5-r_i$. Soma as dez contribuições, que variam entre 0 e 40, e multiplica por 2,5 para obter a escala de 0 a 100.

Para as respostas 4, 2, 4, 1, 5, 2, 4, 1, 4, 2, as contribuições são 3, 3, 3, 4, 4, 3, 3, 4, 3, 3, que somam 33, por isso o SUS é 82,5.

A escala vai de 0 a 100, mas não é uma percentagem de sucesso e não diagnostica sozinha qual botão deve mudar. Usa uma versão validada para a língua e contexto, pois traduzir ou trocar itens livremente altera o instrumento.

Para interpretar, compara com a distribuição publicada: a média ronda 68 em centenas de estudos. Um resultado de 70 fica perto da média, não no percentil 70.

A conversão publicada coloca 70 perto do percentil 50, 75 perto do percentil 73 e 80 acima do percentil 85, com notas de C a A menos nessa escala curvada. Comunica o percentil e a nota, não o valor bruto como percentagem de pessoas.

Escolher o teste pelo desenho

Se as mesmas pessoas usam A e B, as medições estão emparelhadas: cada pessoa fornece uma diferença $d_i=A_i-B_i$, e o teste t emparelhado analisa a média dessas diferenças, com cada pessoa como a sua própria comparação. Se grupos distintos usam cada versão, uma análise para amostras independentes pode ser adequada; ter duas colunas na folha de cálculo não decide o desenho.

Pergunta/dados	Família de análise a considerar	Condição a investigar
Diferença de médias, mesmas pessoas	Teste t emparelhado sobre diferenças	Pares corretos, independência entre pessoas e distribuição das diferenças
Diferença de médias, grupos distintos	Teste para médias independentes, como Welch	Independência, distribuição e protocolo de recrutamento
Associação entre categorias, como dispositivo e sucesso	Qui-quadrado de frequências	Contagens esperadas e independência adequadas

Se as condições não se cumprem, considera métodos apropriados ao dado e ao desenho, com justificação. Um teste não paramétrico também tem hipóteses, por isso não é uma opção automaticamente válida para qualquer amostra.

Não escolhas pelo nome da interface ou apenas por $n>30$.

Caso: diferenças por pessoa

Regressamos às diferenças 4, 6, 3 e 5 s, onde o teste t emparelhado usa a dispersão das diferenças, não o desvio-padrão dos tempos em A ou em B.

1. Subtraímos a média de 4,5 s a cada diferença e elevamos cada desvio ao quadrado.

Pessoa	$d_i$ (s)	$d_i-\bar d$ (s)	$(d_i-\bar d)^2$ (s²)
P1	4	−0,5	0,25
P2	6	1,5	2,25
P3	3	−1,5	2,25
P4	5	0,5	0,25

2. Somamos os quadrados, e os sinais dos desvios já não se anulam depois de elevar ao quadrado.

$$SQ=0{,}25+2{,}25+2{,}25+0{,}25=5\ \text{s}^2.$$

3. Dividimos por $n-1=3$ para obter a variância amostral, e a raiz quadrada devolve a unidade aos segundos.

$$s_d^2=\frac{5}{3}\ \text{s}^2,\qquad s_d=\sqrt{\frac53}\approx1{,}291\ \text{s}.$$

4. Calculamos o erro-padrão da média das diferenças.

$$SE=\frac{s_d}{\sqrt n}=\frac{1{,}291}{\sqrt4}\approx0{,}6455\ \text{s}.$$

O desvio-padrão descreve a dispersão entre diferenças individuais, enquanto o erro-padrão estima a variabilidade da sua média entre amostras sob o modelo; não são a mesma grandeza.

Inferência e correlação

Seja $\mu_d$ a diferença média A menos B na população que queremos estudar. Para perguntar se há diferença em qualquer direção, definimos antes da análise:

$$H_0:\mu_d=0,\qquad H_1:\mu_d\ne0,\qquad \alpha=0{,}05.$$

A alternativa é bilateral. Afirmar previamente que B será mais rápida exigiria uma pergunta direcional e uma análise compatível; não mudamos a alternativa depois de ver os tempos.

Para a inferência t emparelhada, precisamos de pares corretos, independência entre pessoas e diferenças aproximadamente normais, sobretudo com uma amostra tão pequena. Também precisamos de justificar o recrutamento e as tarefas para a população e contexto pretendidos; quatro diferenças não permitem confirmar normalidade ou representatividade.

O cálculo seguinte ilustra o método sob essas hipóteses.

Sob $H_0$, dividimos a distância da média observada a zero pelo seu erro-padrão:

$$t=\frac{\bar d-0}{s_d/\sqrt n}=\frac{4{,}5}{0{,}6455}\approx6{,}97,\qquad \nu=n-1=3.$$

Esta estatística não tem unidades; compara a diferença média com a variabilidade esperada da estimativa sob o modelo nulo.

Outras perguntas exigem outras análises: o qui-quadrado pode estudar associação entre categorias sob condições apropriadas, e a correlação de Pearson mede associação linear. Um valor próximo de zero não exclui uma relação não linear.

Uma associação não demonstra causalidade: a experiência prévia pode afetar simultaneamente tempo e satisfação.

Valor-p, decisão e tamanho do efeito

O valor-p é calculado sob $H_0$ e o modelo. Mede a probabilidade de obter uma estatística tão extrema ou mais extrema que a observada. Não é a probabilidade de $H_0$ ser verdadeira.

No nosso teste bilateral, o valor crítico dado é $t_{0{,}975,3}\approx3{,}182$, e como $|6{,}97|>3{,}182$ rejeitamos $H_0$ a 5% sob as hipóteses declaradas. Esta decisão equivale a ter um valor-p abaixo de 0,05; não precisamos de o calcular para usar a regra do valor crítico.

A melhoria média observada é de 4,5 s, mas decidir se justifica mudar a interface exige considerar tarefa, sucesso, custos e incerteza: uma redução estatisticamente detetável de 0,1 s pode ser irrelevante na prática.

Se o teste não rejeitasse $H_0$, isso também não provaria igualdade.

Intervalo de confiança da diferença

Sob as mesmas hipóteses, o intervalo bilateral de 95% é

$$\bar d\pm t_{1-\alpha/2,n-1}\frac{s_d}{\sqrt n}.$$

O quantil deixa uma probabilidade $\alpha/2$ em cada cauda da distribuição t. Com $\alpha=0{,}05$, três graus de liberdade e o valor crítico 3,182:

$$\text{margem}=3{,}182\times0{,}6455\approx2{,}054\ \text{s}.$$

Subtraímos e somamos a margem à média, conservando mais casas decimais nas contas intermédias:

$$IC_{95\%}\approx[4{,}5-2{,}054; 4{,}5+2{,}054]=[2{,}45; 6{,}55]\ \text{s}.$$

O intervalo estima a diferença média A menos B, e todos os seus valores são positivos, de acordo com a rejeição de zero no teste bilateral correspondente. Não significa que 95% das pessoas pouparam entre 2,45 e 6,55 s: em repetições sob as mesmas hipóteses, cerca de 95% dos intervalos construídos por este procedimento incluiriam a média populacional.

Se zero estivesse incluído, isso não provaria equivalência; para essa pergunta, precisamos de definir uma margem prática e usar uma análise concebida para a testar. Recrutamento enviesado, tarefas diferentes ou efeito de ordem continuam a limitar a conclusão, mesmo quando as contas estão corretas.

Intervalo face a um requisito

Suponhamos que o requisito é tempo médio de conclusão inferior a 60 s, para a população, tarefa e protocolo definidos. Um intervalo para essa média dá informação diferente de um intervalo para a diferença A menos B. Não compares o segundo com 60 s: ele estima uma poupança, não a duração da tarefa.

IC de 95% para a média (s)	Relação com 60 s	Interpretação sob o modelo
[48; 58]	Todo abaixo	Sustenta uma média inferior ao limiar
[62; 70]	Todo acima	Sustenta que o requisito não é atingido
[55; 65]	Atravessa o limiar	Não resolve de que lado está a média

A média observada pode ser 59 s no último caso e continuar sem informação suficiente para situar a média populacional abaixo de 60 s. O mesmo vale para um intervalo que termina exatamente em 60: não fica estritamente abaixo do limiar. Para decidir uma aceitação formal, fixa antes o procedimento e o nível de incerteza, em vez de escolher depois entre teste unilateral e intervalo bilateral para favorecer o resultado.

Este requisito também não afirma que todas as pessoas concluem em 60 s. Uma média abaixo do limiar pode coexistir com tentativas lentas e falhas. Conserva as medidas de sucesso, o tratamento das tentativas interrompidas e a análise das barreiras.