Diana Mantra Vs Diana Chaves

Faz três semanas que cunhei o termo «efeito Diana Mantra» para designar o cálculo da margem de erro e/ou do intervalo de confiança de uma resposta com base num número de 'respondentes' superior ao que realmente respondeu.
A origem da designação do efeito foi uma troca de comentários com um internauta que assinava com aquele pseudónimo heterónimo neste post. No entanto, o verdadeiro 'pai' do efeito é o bloguista Carlos Santos, já que foi ele que, neste post, calculou de forma errada as margens de erro para as estimativas pontuais da intenção de voto no PS e no PSD, a partir dos resultados publicados de uma sondagem. O facto de o bloguista se apresentar como Doutor em Economia e professor universitário de Economia confere-lhe uma credibilidade relativa a conhecimentos de estatística, a qual poderá ter contribuído para que o referido post tenha sido citado por outros para opinar sobre algo tomado como certo, mas que, afinal, estava errado.

Depois de ter sito instado a esclarecer o efeito (neste comentário), resolvi fazê-lo agora, com recurso a gráficos, na expectativa de que a sua ilustração o torne mais compreensível.
Vou apresentar um exemplo fictício, mas fundado na taxa de não-opinião que deveria ter sido apresentada pelas boas sondagens de intenção de voto nas últimas eleições para o Parlamento Europeu.
Admitamos que foi feita uma sondagem numa amostra de 1000 portugueses, para saber qual das Dianas é mais bela. A resposta (gráfico ao lado) revela uma preferência por Diana Chaves (mais 30 'votos' do que Diana Mantra), mas o dado mais saliente é que quase 2/3 dos inquiridos não revelam opinião, seja porque não sabem qual das duas é mais bonita, qual das duas é mais feia, quem raio será a Diana Mantra... ou, simplesmente, estão-se nas tintas para a pergunta.

Podemos, a partir dos resultados desta 'sondagem', dizer que os portugueses consideram Chaves mais bela do que Mantra? Obviamente, a resposta é não, porque há uma 'maioria qualificada' de portugueses que não se pronuncia. Agora, admitamos que a pergunta não é sobre quem é a mais bela, mas sobre em quem votará num concurso de beleza (e que as respostas são as mesmas). Isto é, vai haver uma eleição e ganha quem tiver mais votos, independentemente de quantos portugueses votarem. Podemos, a partir dos resultados desta 'sondagem', dizer, com 'alguma segurança', que a Chaves é mais votada do que a Mantra?
A resposta consiste na avaliação do seguinte problema: a diferença de três pontos percentuais na amostra é suficientemente grande para se admitir como muito provável que a intenção de voto seja favorável a Chaves na população? Se a amostra for probabilística e se a sondagem cumprir as "boas práticas", poderemos calcular uma margem de erro para a diferença entre Chaves e Mantra e ver se a diferença obtida na amostra é "suficientemente grande", i.e. maior do que a margem de erro. É o que farei mais à frente, considerando que a amostra é aleatória. Antes, irei ilustrar no gráfico abaixo as margens de erro para as estimativas pontuais separadas de Chaves e Mantra, que foi a abordagem utilizada por Carlos Santos.

Os resultados de Chaves estão representados a azul e os de Mantra a rosa. Ao fundo, do lado esquerdo, temos os intervalos de estimação a partir dos resultados brutos. À estimativa pontual soma-se / subtrai-se a margem, que é obtida por 1,96*RAIZQ((p*(1-p)/(n-1))), sendo p a proporção de 'votos' e n o tamanho da amostra. Com p=0,16 e p=o,19, para Mantra e Chaves, respectivamente, e com n=1000, os intervalos de estimação sobrepõem-se, como é visível no gráfico, já que o ponto superior do intervalo de Mantra (18,3%) é maior do que o ponto inferior do intervalo de Chaves (16,6%).

O «efeito Diana Mantra» está assinalado pela seta. Considerando o método de cálculo de Carlos Santos, as proporções de 'votos' são calculadas a partir da amostra de inquiridos com opinião (no=350), mas as margens de erro são calculadas como se toda a amostra tivesse emitido opinião (n=1000). Se n for apenas ligeiramente superior a no, não há problemas de maior com esta forma de cálculo errónea. No entanto, em situações de elevada 'abstenção', como é o caso, utilizar 1000 'respondentes' para avaliar o erro de medida de 350 respostas, é uma barbaridade. Com este "passe de magia", os intervalos de estimação deixariam de estar sobrepostos e Diana Chaves teria razões para estar muito mais contente com estes "resultados" do que Vital Moreira com os resultados das sondagens de Maio.

Na parte superior do gráfico estão os intervalos de estimação dos 'votos' considerando os 'votantes' reais, i.e. n=no=350. As estimativas pontuais são as mesmas, mas as margens de erro são muito superiores, mantendo-se a sobreposição dos, agora larguíssimos, intervalos: Mantra poderia obter entre 40,5% e 50,9%, enquanto Chaves poderia ter entre 49,1% e 59,5%. Estamos em presença dos "intervalos de confiança" de 10% de que se queixava (?) Jorge de Sá.

Para finalizar, apresento o cálculo da margem de erro que é a adequada ao problema, i.e. a margem de erro da diferença entre duas categorias de resposta. Calculando 1,96*RAIZQ((((pM+pC)-(pM-pC)^2))/(n-1)), em que pM representa a proporção de Mantra e pC a proporção de Chaves, pode-se dizer que a diferença entre pC e pM (3%) na resposta à pergunta sobre qual delas é mais bela, é inferior à margem de erro dessa diferença (3,7%), calculada com n=1000. Portanto, no típico nível de confiança de 95%, não se pode garantir que a Chaves seja mais bela.
Também a diferença de 'intenções de voto' nas duas beldades ("esticada" para 8,6% quando se considera apenas respondentes com opinião), é inferior à respectiva margem de erro, calculada com n=350 (10,5%). Portanto, no típico nível de confiança de 95%, não se pode garantir que a população portuguesa tenha maior intenção de votar em Diana Chaves do que em Diana Mantra.