Ainda as (Euro)sondagens

No post anterior, cunhei a expressão "efeito Diana Mantra" para designar a inferência estatística baseada numa amostra de p inquiridos que declaram o voto num dos candidatos, assumindo que p=n (n representa o n.º de inquiridos), quando, na realidade, p<n (no exemplo que apresentei, p é mesmo muito inferior a n). O post terminava com a suposição de que os media poderiam estar a "comprar gato por lebre", com a expectativa de adquirir, p. ex. uma amostra de 1200 inquiridos, para acabarem por obter estimativas a partir de 400 "votantes". Efectivamente, estamos em Portugal bem longe de poder presenciar uma situação como esta, em que o director da Unidade de Sondagens da ABC recusa divulgar um estudo de um centro universitário, alegando que o inquérito e o tratamento das respostas não são válidos!

O principal problema apontado por Gary Langer é precisamente o "efeito Diana Mantra", i.e. o facto dos autores do estudo estarem-se nas tintas para as elevadas percentagens de inquiridos que não têm opinião e divulgarem as percentagens de concordância / discordância com determidadas afirmações como se todos tivessem opinião. Por cá, os clientes das sondagens eleitorais não estão atentos ao problema do «tratamento dos dados, nomeadamente das "não respostas" e dos "indecisos"».

Mas Langer fala também de outros problemas do inquérito, os quais têm equivalência nas "opções de amostragem" e na "construção dos questionários", para usar as expressões que Pedro Magalhães emprega no seu artigo, das quais já falei num post anterior, mas que prometi abordar de novo neste post. O contexto do problema é que, à excepção de uma sondagem da Marktest, todas "falharam" na estimativa da percentagem de votos do PS. E todas, sem excepção, subestimaram o CDS. Os responsáveis pelos institutos de sondagens "culpam" a abstenção. Eu diria que a "culpa" é de eles próprios não saberem ou não poderem lidar com a abstenção e de não o terem demonstrado de forma inequívoca quando venderam os seus serviços. Vejamos em que medida as "opções de amostragem" e a "construção dos questionários" poderão estar relacionadas com este problema.

«"As pessoas dizem que vão votar e depois não vão. Se houver mecanismos que resolvam, estou disposto a estudar e a aplicar", disse Oliveira e Costa». Eu não conheço em pormenor as metodologias da Eurosondagem, porque elas não são reveladas. No entanto, no tal post de 30 de Maio, eu já tinha "avisado" que algo não batia certo na Eurosondagem, que nunca seria possível ter tantas intenções de voto com aquele número de tentativas de entrevista e disse mesmo que, se os números apresentados estivessem correctos, «metade dos inquiridos que manifestaram intenção de votar não o irão fazer». Portanto: ou Oliveira e Costa está a vender gato por lebre (já sei que o leitor vai fazer uma associação de apelidos, mas quero deixar bem claro que não tenho a mínima intenção de pôr em causa a legalidade da actuação da Eurosondagem!), apresentado apenas o número total de inquiridos, mas não o número (muito inferior) dos que manifestaram uma real intenção de voto; ou não usou um evidente "mecanismo" na "construção do questionário" de modo a identificar os abstencionistas.

Já o "mecanismo" das "opções de amostragem" é bastante mais complexo.
No caso de sondagens telefónicas, não se sabe como são construídas as listas e o meu palpite, que expus no mesmo post de 30 de Maio, é que o "sistema" favorece a taxa de resposta e não apanha de forma eficaz os abstencionistas.
As sondagens presenciais por random route, com o trabalho de campo concentrado num período muito curto, têm também muitos problemas em lidar com a ausência do elemento seleccionado para a entrevista (uma das sondagens CESOP foi efectuada no fim-de-semana do 25 de Abril - terá algo que ver com a dificuldade dessa sondagem encontrar "votantes" CDS?).
Alguns institutos incluem histórico de voto ou resultados de anteriores eleições na estratificação e na ponderação de resultados. Não sou politólogo e arrisco-me a pôr o pé em ramo verde, mas parece-me bastante razoável o entendimento de que uma parte significativa (até 25%) dos inquiridos que manifestaram intenção de votar PS não compareceram ou foram lá votar em branco. Em 2004 terá acontecido algo semelhante com a coligação PSD/CDS, embora de magnitude muito inferior. Isso significa que houve uma franja de abstencionistas específicos destas eleições e a utlização de resultados anteriores para definir a amostra pode ter sido mais um factor de distorção.

Voltando à forma como comecei o post anterior, é bem vinda uma auditoria às sondagens. Mas, melhor ainda, será a obrigatoriedade de publicação (quero dizer, disponibilidade para consulta, com um hiato temporal que não afecte o interesse comercial do cliente) exaustiva das metodologias usadas e dos dados brutos. A actual ficha técnica, com uma margem de erro à la Mantra, só serve para confundir.