Comparar duas médias

Comparar os algoritmos A e B nas mesmas tarefas produz pares; executá-los em dois conjuntos de tarefas escolhidos independentemente produz dois grupos. Em ambos os casos, o alvo pode ser $\delta=\mu_A-\mu_B$. A ordem fixa o sinal; o desenho determina o erro padrão.

Dois grupos independentes

Se as amostras são independentes entre grupos, a estimativa é $\bar x_1-\bar x_2$ e as variâncias das médias somam-se:

$$SE=\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}.$$

Com populações normais e variâncias conhecidas, um intervalo exato é $(\bar x_1-\bar x_2)\pm z_{\alpha/2}SE$; com populações não normais e ambas as amostras grandes, pode usar-se uma aproximação normal, estimando os desvios se necessário. Não subtraias variâncias quando subtrais médias: o sinal negativo é elevado ao quadrado no cálculo da variância.

Desvios desconhecidos: Welch

Sem uma hipótese de igualdade das variâncias, usa

$$\widehat{SE}=\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}},$$ $$\nu\approx\frac{(s_1^2/n_1+s_2^2/n_2)^2}{(s_1^2/n_1)^2/(n_1-1)+(s_2^2/n_2)^2/(n_2-1)}.$$

O intervalo de Welch é aproximadamente

$$(\bar x_1-\bar x_2)\pm t_{\alpha/2,\nu}\widehat{SE}.$$

Para amostras pequenas, pressupõe populações aproximadamente normais e observa extremos. Welch não exige variâncias iguais, mas isso não o torna imune a amostras pequenas muito assimétricas. Se a tabela só tem graus inteiros, usar um grau inferior ao calculado dá um quantil maior e um intervalo mais conservador; segue a convenção indicada no problema.

Intervalo de Welch

Os grupos têm $(n_1,\bar x_1,s_1)=(10,20,4)$ e $(n_2,\bar x_2,s_2)=(15,17,5)$. São independentes e admitimos normalidade. A diferença estimada é 3:

$$\widehat{SE}=\sqrt{16/10+25/15}\approx1,8074,$$ $$\nu\approx\frac{(1,6+1,6667)^2}{1,6^2/9+1,6667^2/14}\approx22,10.$$

O quantil a 95% é aproximadamente 2,0733. A margem é cerca de 3,7473 e o intervalo é $[-0,7473;6,7473]$. Contém zero: estes dados não permitem concluir uma diferença de médias ao nível bilateral de 5%. Também admitem diferenças positivas relevantes; não demonstram igualdade. Para testar $H_0:\delta=0$ contra $H_1:\delta\ne0$, calcula $t=(3-0)/1,8074\approx1,66$ com cerca de 22,1 graus. O valor-p bilateral é aproximadamente 0,11, coerente com o intervalo que contém zero.

Variância comum: estimador ponderado

Se existe uma justificação para assumir $\sigma_1^2=\sigma_2^2=\sigma^2$, combina as variâncias com pesos correspondentes aos graus de liberdade:

$$s_p^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2},$$ $$\widehat{SE}_p=s_p\sqrt{\frac1{n_1}+\frac1{n_2}}.$$

Sob populações normais, o intervalo com variância comum usa $t_{\alpha/2,n_1+n_2-2}$ e esse erro padrão. Não é a média simples dos desvios.

Nos números anteriores, $s_p^2=494/23\approx21,4783$ e $\widehat{SE}_p\approx1,8920$, um valor diferente do erro padrão de Welch. O valor $n_1+n_2-2$ é o grau de liberdade exato do método com variância comum, não o grau geral de Welch. Um exercício que fornece uma aproximação de graus de liberdade deve ser resolvido segundo essa indicação, distinguindo-a da fórmula geral.

Com tamanhos iguais, os dois erros padrão coincidem, mas as justificações e os graus de liberdade podem continuar diferentes.

Amostras emparelhadas

Para n pares $(X_i,Y_i)$, forma $D_i=X_i-Y_i$. Trata as diferenças como uma amostra de uma população de média $\mu_D=\mu_X-\mu_Y$:

$$IC(\mu_D)=\bar d\pm t_{\alpha/2,n-1}\frac{s_D}{\sqrt n}.$$

Precisamos de independência entre pares; dentro de um par as medições podem ser dependentes. Para um intervalo t exato, é a distribuição das diferenças que deve ser normal. Não é necessário que as duas marginais tenham cada uma um teste de normalidade aprovado.

Intervalo das diferenças emparelhadas

Seis tarefas apresentam diferenças A menos B iguais a $2,1,3,2,4,0$ ms. A média é 2 e a soma dos desvios quadrados é 10, logo $s_D^2=10/5=2$ e $SE=\sqrt{2/6}\approx0,57735$.

Com $t_{0,025;5}\approx2,5706$,

$$IC_{95\%}=2\pm1,4841=[0,5159;3,4841]\ \text{ms}.$$

O intervalo é positivo: a média de A excede a de B nas condições do estudo. Se definíssemos B menos A, o intervalo seria $[-3,4841;-0,5159]$ e a conclusão física seria a mesma. Não uses os desvios separados para substituir $s_D$, pois a variância da diferença inclui a covariância: $\operatorname{Var}(X-Y)=\sigma_X^2+\sigma_Y^2-2\operatorname{Cov}(X,Y)$.

A figura conserva os pares que produzem essas diferenças: A tem tempos $12,15,14,13,16,11$ e B tem $10,14,11,11,12,11$ ms. Um segmento horizontal liga tempos iguais de A e B, por isso corresponde a uma diferença zero.

As três escolhas com desvios desconhecidos não são intercambiáveis:

Dados e hipótese	Método	Dispersão usada
Grupos independentes, sem assumir variâncias iguais	Welch	$s_1^2/n_1+s_2^2/n_2$ sob a raiz
Grupos independentes, variância comum justificada	t com variância comum	$s_p$ e os dois tamanhos
Mesmas unidades ou pares comparáveis	t das diferenças	$s_D$ dentro dos pares

Para pequenas amostras, mantém as condições de normalidade: das populações nos grupos independentes, das diferenças nos pares. Tamanhos iguais não criam pares nem justificam variâncias iguais.

Usar o mesmo modelo num teste

Para testar $H_0:\delta=\delta_0$, divide $(\bar x_1-\bar x_2)-\delta_0$ pelo erro padrão escolhido e usa a distribuição correspondente: normal, t de Welch, t com variância comum ou t das diferenças. No caso emparelhado, divide $\bar d-\delta_0$ por $s_D/\sqrt n$. A escolha do modelo vem antes da cauda do teste, como explicado em testes de hipóteses.