Além dos testes estatísticos

1) Intervalo de confiança

• Intervalo de confiança mostra a incerteza do valor da média da fonte de um conjunto de dado (Não há incerteza na média do conjunto/amostra)

• Qual é o intervalo de valores para a média da fonte de tal forma que haja no minimo 5% de probabilidade da amostra ter saído da fonte.

• É o dual de um teste estatístico de uma só amostra: qual o intervalo de valores para a média da fonte F que daria um p-valor maior que 0.05.

• Da mesma forma que testes de uma só amostra, o intervalo de confiança faz pressuposições sobre as outras características de fonte F (menos a média). Na verdade cada teste de uma só amostra pode gerar (e em R gera) um intervalo de confiança para a média (ou mediana) da fonte.

• Testes estatísticos podem gerar o intervalo de confiança, mas há uma outra técnica (bootstrap) que faz menos pressuposições sobre a fonte.

set.seed(1234)
a=rnorm(6,10)
t.test(a)
wilcox.test(a,conf.int=T)

Intervalos de confiança como testes estatísticos de 2 amostras

• Se o intervalo de confiança de dois conjunto de dados tem interceção então não há diferença significativa entre eles. (Ou melhor o p-valor do teste estatístico de 2 conjuntos dará um p-valor > 0.05)

• Se o intervalo de confiança de dois conjuntos não tem interceção, então a diferença entre os conjuntos é estatisticamente significativa.

set.seed(1234)
a=rnorm(6,10)
b=rnorm(8,10.3)
x=rnorm(8,14)
t.test(a,b)
t.test(a)$conf.int
t.test(b)$conf.int
t.test(a,x)
t.test(x)$conf.int

Por que intervalos de confiança?

• Intervalos de confiança indicam a incerteza que se tem sobre a média (ou mediana) da fonte que gerou os dados.

• Este artigo que argumenta a favor de intervalos de confiança em vez de testes estatísticos.

• Se voce é o primeiro a publicar sobre um resultado, não há como compara-lo com o estado da arte. Assim voce deve apenas publicar o intervalo de confiança para o seu resultado.

• Se voce não consegue reproduzir o programa ou metodo da “competição” para fazer um teste estatístico, voce pode comparar apenas os intervalos de confiança!

2) Tamanho do efeito

• Testes estatísticos medem a confiança que existe uma diferença entre os 2 conjuntos de dados.

• Infelizmente, o nome “significante” parece indicar que a diferença é grande, ou importante.

• Isso não é verdade: um p-valor baixo apenas indica que voce tem bastante certeza que a diferença existe, não que ela é importante ou significante no sentido tradicional da palavra.

• Tamanho do efeito é uma família de medidas que medem o tamanho da diferença entre os dois conjuntos.

• São medidas adimensionais (sem unidade de dimensão: metro, prontos, etc)

• Tamanho de efeito é comparável através de diferentes experimentos

Cohen D

• Tamanho de efeito para medidas numéricas.

• diferença das médias de A e B dividido por uma média ponderada dos desvios padrão (adimensional)

• mede quão separado são as distribuições de dados de A e B: animação e um figura

• um D=0.2 significa que a diferença das médias de A e B é 0.2 do desvio padrão “delas”.

Comparável através de experimentos

• Tamanho de efeito é comparável através de diferentes experimentos

• Combinar tamanho de efeito é o que meta-analises fazem!

• Cohen falou que um tamanho de efeito de 0.2 é pequeno. Na prática não é.

• Há algumas meta-meta-analises que mostram quais são valores razoáveis em diferentes áreas: Engenharia de Software e Educação

• 0.25 é a média de tamanhos de efeito para intervenções em educação básica.

Intervalos de confiança para tamanho de efeito

• Tamanho do efeito é apenas 1 número. Assim como a média de um conjunto é apenas 1 número.

• Mas é possível definir um intervalo de incerteza para a média de um conjunto (fazendo pressuposições sobre a fonte F dos dados do conjunto).

• Da mesma forma é possível calcular um intervalo de confiança para tamanho de efeito

• Talvez esse seja o futuro.

• Isso resume tudo que é importante: se o intervalo de confiança cruza o 0 então tradicionalmente a diferença não é significativa.

• os pacotes effsize e MBESS do R computam o intervalo de confiança para o tamanho de efeito.

3) Testes de equivalência

• Em farmacologia é muito importante mostrar que uma nova formulação de um remédio (genérico) é tão bom quanto a velha formulação.

• Mas testes estatísticos tradicionais não mostra que dois conjuntos são iguais. p>0.05 apenas mostra que você não conseguiu mostrar que eles são “diferentes”.

• Não dá para mostrar evidencias que 2 conjuntos são iguais. Dá apenas para mostrar que a diferença entre eles é menor que um limite, abaixo do qual você diz que não há “diferença importante”

• é preciso definir um tamanho de efeito para a diferenças irrelevantes (super dependente da área)

• há testes de equivalência que permitem calcular um p-valor para a hipótese nula que os dados tem um tamanho de efeito maior que o limite de irrelevância. Assim um p-valor baixo indica que é improvável que os dados tenham vindo de fontes mais separadas que o limite. Nesse caso se diz que nao ha diferença na prática ou não há diferença importante entre as duas amostras.

• Em principio em computação nós poderíamos querer mostrar que um programa é equivalente a outro (sob algum aspecto mais importante) mas é melhor num aspecto secundário (custo, tempo de execução, etc).

• Na prática eu nunca vi resultados deste tipo em computação.

• o pacote equivalence em R implementa varios testes de equivalencia.