Estatística e resumos de tabelas

Uma estatística resume observações. A escolha depende do que cada linha representa e da pergunta. A média de preços por venda não é necessariamente o preço médio por unidade vendida.

Calcular e interpretar

Para quantidades 2, 3, 5 e 4, a soma é 14 e a média é 14 / 4 = 3,5. Depois de ordenar, temos 2, 3, 4 e 5; a mediana é (3 + 4) / 2 = 3,5. Neste caso coincidem, mas um valor muito elevado afeta mais a média.

import pandas as pd
quantidades = pd.Series([2, 3, 5, 4])
print("n:", quantidades.count())
print("soma:", quantidades.sum())
print("média:", quantidades.mean())
print("mediana:", quantidades.median())
print("mínimo/máximo:", quantidades.min(), quantidades.max())
print("variância amostral:", round(quantidades.var(), 4))
print("variância populacional:", round(quantidades.var(ddof=0), 4))

A variância amostral é aproximadamente 1,6667; a populacional é 1,25. Somamos os quadrados dos desvios à média: 2,25 + 0,25 + 2,25 + 0,25 = 5. A versão amostral divide por n - 1 = 3; a populacional divide por n = 4.

Em pandas, var() e std() usam ddof=1 por defeito. NumPy usa geralmente ddof=0 nestas operações. Indica a convenção quando comparares resultados. O desvio padrão é a raiz da variância e tem a mesma unidade da variável; a variância tem a unidade ao quadrado.

Quantis e describe

quantile(0.25) calcula o primeiro quartil, quantile(0.5) a mediana e quantile(0.75) o terceiro quartil. O método de interpolação afeta quantis com poucas observações. Para os quatro valores, pandas com a interpolação linear habitual dá 2,75 e 4,25 nos quartis.

describe() de uma coluna numérica mostra contagem, média, desvio padrão, mínimo, quartis e máximo. Usa describe(include="all") para incluir tipos não numéricos, mas interpreta as estatísticas conforme a coluna. Uma contagem de linhas não explica por si só o que foi medido.

Moda, desvios e forma da distribuição

mode() devolve uma Series com todas as modas. Para 2, 2, 5 e 5, devolve 2 e 5; não escolhe um único vencedor. abs() calcula o valor absoluto de cada elemento e conserva o índice.

O desvio absoluto médio é a média das distâncias à média, sem elevar ao quadrado. Para 2, 3, 5 e 4, os desvios absolutos são 1,5, 0,5, 1,5 e 0,5; a sua média é 1. Slides antigos usam mad(), removido no pandas 2.0. Usa (s - s.mean()).abs().mean(). Não confundas este cálculo com a mediana dos desvios absolutos à mediana, também abreviada MAD.

O erro padrão da média, sem(), é std() / sqrt(count()) com a mesma convenção de graus de liberdade. Nos quatro valores, dá aproximadamente 0,6455. O desvio padrão descreve a dispersão das observações; o erro padrão estima a variabilidade da média em amostras. Essa interpretação exige um modelo de amostragem adequado, por exemplo observações independentes.

skew() mede assimetria: valores positivos indicam uma cauda mais longa à direita, negativos à esquerda. kurt() usa o excesso de curtose de Fisher, cuja referência normal é zero. Estes métodos incluem correções amostrais; poucos dados, valores constantes ou insuficientes podem dar resultados pouco informativos ou em falta. O sinal da curtose, por si só, não identifica uma distribuição.

s = pd.Series([2, 3, 5, 4])
print((s - s.mean()).abs().mean())  # 1.0
print(round(s.sem(), 4))           # 0.6455
print(round(s.skew(), 4))          # 0.0
print(round(s.kurt(), 4))          # -1.2

Estas operações aplicadas a um DataFrame resumem normalmente cada coluna. Seleciona as colunas quantitativas ou usa numeric_only=True quando a tabela mistura números e texto.

Produto e operações acumuladas

prod() reduz todos os valores a um produto. cumsum(), cumprod(), cummax() e cummin() devolvem um valor por posição, usando apenas o prefixo até essa posição. A ordem das linhas faz parte do cálculo.

Com skipna=True, uma posição ausente continua ausente, mas o acumulado seguinte pode continuar com os valores conhecidos. skipna=False propaga a ausência a partir desse ponto. Confere a política antes de apresentar um acumulado como total completo.

Contar linhas, valores e categorias

len(df) conta linhas. serie.count() conta valores não nulos. serie.nunique() conta valores distintos, normalmente excluindo valores em falta. serie.value_counts() conta ocorrências por valor; dropna=False inclui a ausência como categoria na contagem.

frequencias = df["cidade"].value_counts()
proporcoes = df["cidade"].value_counts(normalize=True)

normalize=True divide cada contagem pelo total de valores considerados. Se excluíres nulos, a soma das proporções é relativa apenas aos valores conhecidos.

Ordenar e escolher extremos

sort_values("quantidade") ordena pelos valores da coluna. sort_index() ordena pelos rótulos do índice. Para desempatar, passa mais de uma coluna, como sort_values(["cidade", "quantidade"]). ascending=[True, False] ordena a cidade por ordem crescente e a quantidade por ordem decrescente.

idxmax() devolve o rótulo de uma ocorrência máxima, não o próprio valor. Para devolver todas as vendas empatadas no máximo, usa uma máscara com df["quantidade"] == df["quantidade"].max().

Uma média ponderada

Vendemos duas unidades a 1,50 euros e três a 1,20 euros. A média simples dos dois preços é 1,35 euros. O preço médio por unidade é (2 × 1,50 + 3 × 1,20) / (2 + 3) = 1,32 euros. As quantidades são os pesos.

Confere a unidade do numerador e do denominador. Faturação dividida por unidades dá euros por unidade; faturação dividida por vendas dá euros por venda. Nenhuma das duas substitui a outra.