Discutindo sondagens

«A diferença entre os valores das sondagens e os resultados das recentes eleições europeias foi desvalorizado hoje pelas empresas do sector, que apontam a elevada abstenção como principal causa para a divergência de números.» É esta a interpretação da Lusa, mas, para maior precisão, será melhor consultar o comunicado da ERC.

Destaco o seguinte:

1. «O grande valor da abstenção verificada foi consensualmente apontado como um dos factores para os resultados verificados».
   Aparentemente, o comunicado defende que as sondagens estavam certas e os votos é que se desviaram das sondagens devido à abstenção! ROFL
   Mas, fazendo o favor de interpretar que as sondagens se desviaram dos resultados, devido ao grande valor da abstenção, não há desculpa. Já disse (em 30 de Maio e em 16 de Junho) que o valor da abstenção foi idêntico ao que "toda a gente" esperava. Por isso, quando venderam os seus serviços, as empresas de sondagens deviam ter informado os clientes e respectivos leitores/ espectadores dos problemas inerentes à inferência dos resultados nas condições da abstenção prevista.
2. «... notado que a esmagadora maioria dos resultados se verificaram dentro do intervalo de confiança, ou seja, não se registaram, de facto, os erros clamorosos que foram apontados às sondagens».
   Em primeiro lugar, houve desvios significativos - bem fora do "intervalo de confiança"(*) - em quase todas as sondagens, para o partido que elas previam ser o vencedor - e que não foi!
   Em segundo lugar, os leitores/ espectadores não tinham conhecimento dos "intervalos de confiança", a não ser que lessem o blogue Margens de Erro, onde o responsável do CESOP os estimou com base na informação incompleta disponível. Só tenho conhecimento de um caso em que um órgão de comunicação social publicou, juntamente com a sondagem, uma advertência sobre a grande magnitude dos "intervalos de confiança".

Não pretendo pôr em causa o rigor do trabalho efectuado, nem alimentar suspeitas de manipulação dos resultados, de perseguição a um partido, de benefício a outro, ou qualquer acusação do género. Isso está completamente fora do âmbito do título deste post. Agora, depois da expectativa criada por Pedro Magalhães num texto muito citado, admitindo o «fracasso das sondagens para as eleições europeias», o comunicado da ERC é despropositadamente desculpabilizante e revela falta de aderência à realidade. Mau sinal.

(*) A não ser que esses "intervalos de confiança" fossem, na realidade, muito mais largos do que os estimados por Pedro Magalhães.

A mosca morta

Há desenvolvimentos no caso da mosca morta.
No Brasil circulam rumores segundo os quais a mosca morta por Obama era uma jornalista sem diploma "de faculdade".
Por cá, Sócrates não bate nos jornalistas, apenas faz queixas judiciais contra eles. Já com as moscas mortas, dá-se muito bem :)

TVisto

Não vi a entrevista do "novo Sócrates", mas, fazendo fé nos excertos que vi no "rescaldo", creio que a SIC foi amiga. Ao velho Sócrates daria jeito uma mosca viva em estúdio para que demonstrasse que era o único líder europeu capaz de rivalizar em artes cénicas com o Presidente dos EUA. Ao novo Sócrates deu imenso jeito a mosca morta que a SIC lhe arranjou como entrevistadora.

Para mim, a TV é um meio bastante económico de "recarregar baterias". Tirando um ou outro momento excepcional, entro num estado de apatia extremamente reconfortante. Quando estou mais cansado, rapidamente passo da apatia a letargia e é nesse estado semi-consciente que sou capaz de passar horas a "ver" a SICN ou a RTPN. Foi o que aconteceu ontem durante 100' seguidos e o efeito foi tão benéfico que hoje não só me sinto satisfeito comigo como me sinto um Eduardo Cintra Torres.

Boa parte desses 100' foram passados em frente ao Directo ao Assunto, tendo eu ficado com uma percepção diferente da que tive na primeira visualização. Rangel é tão seguidista de Sócrates que também ele apareceu num tom de cordeiro manso, com várias operações de diminuição do volume. Tavares também beneficiou do efeito contagiante da entrevista do PM, tendo-se mostrado muito satisfeito consigo. A legítima satisfação com a eleição para o PE está a torná-lo ainda mais míope na leitura dos resultados eleitorais - à excepção de Portugal, os eleitores europeus não querem ultrapassar a crise pela esquerda, mas pela direita. Vá devagar ou ainda tem um acidente em contra-mão. Mais sóbrio pareceu-me Amorim, sobre o PSD e sobre o Irão, mas ter-lhe-á faltado firmeza no TGV.

Antes, num programa em que Crespo substituiu Lourenço, que havia substituído Crespo, Ricardo Costa arrumou de vez a disputa com Rui Santos sobre quem é o jornalista de TV mais satisfeito consigo (digo de TV, porque tenho dúvidas sobre a posição de Marcelino no ranking global). Sem falinhas mansas.

A inovação nos números

O problema de Gary Langer com os dados tóxicos, que eu associei ao "efeito Diana Mantra" no post anterior, é quase omnipresente nos relatórios de divulgação de inquéritos. Aqui fica um exemplo:

O site Criar2009 divulga hoje uma notícia a partir de «um relatório do Eurostat publicado em Maio com os dados da Community Innovation Survey 2006». Sobre o primeiro parágrafo da notícia, não há nada que contestar, a não ser que não se devia usar a designação UE27, uma vez que os rankings não foram calculados a partir de todos os países da UE27. O problema está no segundo parágrafo e resulta do tal equívoco muito frequente na divulgação de estatísticas. Antes de citá-lo e contestá-lo, um exemplo fictício ajudará à compreensão do fenómeno.

Vamos imaginar que os países A e B têm 100 empresas cada. No país A, 80 são "inovadoras" enquanto no país B apenas 40 o são. Das inovadoras, 40 do país A e 30 do B apresentam inovação de marketing. Qual a "taxa de inovação" de marketing? 40% no país A e 30% no B. Ou seja, no sector do marketing, o país A é mais inovador do que o B. No entanto, se eu calcular qual a % de empresas inovadoras que têm inovação de marketing, o resultado é 50% em A e 75% em B. Erradamente, estaria a dizer que, no sector do marketing, o país B é mais inovador do que o A.

Foi isto que foi feito no relatório e é transposto para a citada notícia: «Ainda de acordo com o mesmo relatório, Portugal ocupa a 8ª posição em percentagem de volume de vendas destinada a produtos novos ou melhorados. Por outro lado, Portugal é o 4º país da UE27 em inovação de marketing e organizacional.»
Em primeiro lugar, se os cálculos fossem os correctos, não seria de todo lícito dizer «o 4º país da UE27», já que: i) só estão disponíveis dados para 21 dos 27; ii) destes 21, em dois deles foi apenas considerada inovação organizacional, a inovação de marketing não "contou"; iii) só foram consideradas empresas com mais de 10 trabalhadores.
Mas o que realmente interessa para o meu post, é que os dados não sustentam a afirmação, por causa de se ter excluído as empresas sem inovação. Portugal ocupa o 4º lugar na taxa "errada", i.e. na divisão das empresas com inovação de marketing ou organizacional (7226) sobre o total de empresas inovadoras (8774), o que dá 82%, mas este é um índice sem valor substantivo. O que interessaria seria a divisão pelo total de empresas (21254), o que resultaria numa taxa de 34%. A afirmação correcta seria: "Portugal é o 8.º país, num total de 19, em inovação de marketing e organizacional".

Ainda as (Euro)sondagens

No post anterior, cunhei a expressão "efeito Diana Mantra" para designar a inferência estatística baseada numa amostra de p inquiridos que declaram o voto num dos candidatos, assumindo que p=n (n representa o n.º de inquiridos), quando, na realidade, p<n (no exemplo que apresentei, p é mesmo muito inferior a n). O post terminava com a suposição de que os media poderiam estar a "comprar gato por lebre", com a expectativa de adquirir, p. ex. uma amostra de 1200 inquiridos, para acabarem por obter estimativas a partir de 400 "votantes". Efectivamente, estamos em Portugal bem longe de poder presenciar uma situação como esta, em que o director da Unidade de Sondagens da ABC recusa divulgar um estudo de um centro universitário, alegando que o inquérito e o tratamento das respostas não são válidos!

O principal problema apontado por Gary Langer é precisamente o "efeito Diana Mantra", i.e. o facto dos autores do estudo estarem-se nas tintas para as elevadas percentagens de inquiridos que não têm opinião e divulgarem as percentagens de concordância / discordância com determidadas afirmações como se todos tivessem opinião. Por cá, os clientes das sondagens eleitorais não estão atentos ao problema do «tratamento dos dados, nomeadamente das "não respostas" e dos "indecisos"».

Mas Langer fala também de outros problemas do inquérito, os quais têm equivalência nas "opções de amostragem" e na "construção dos questionários", para usar as expressões que Pedro Magalhães emprega no seu artigo, das quais já falei num post anterior, mas que prometi abordar de novo neste post. O contexto do problema é que, à excepção de uma sondagem da Marktest, todas "falharam" na estimativa da percentagem de votos do PS. E todas, sem excepção, subestimaram o CDS. Os responsáveis pelos institutos de sondagens "culpam" a abstenção. Eu diria que a "culpa" é de eles próprios não saberem ou não poderem lidar com a abstenção e de não o terem demonstrado de forma inequívoca quando venderam os seus serviços. Vejamos em que medida as "opções de amostragem" e a "construção dos questionários" poderão estar relacionadas com este problema.

«"As pessoas dizem que vão votar e depois não vão. Se houver mecanismos que resolvam, estou disposto a estudar e a aplicar", disse Oliveira e Costa». Eu não conheço em pormenor as metodologias da Eurosondagem, porque elas não são reveladas. No entanto, no tal post de 30 de Maio, eu já tinha "avisado" que algo não batia certo na Eurosondagem, que nunca seria possível ter tantas intenções de voto com aquele número de tentativas de entrevista e disse mesmo que, se os números apresentados estivessem correctos, «metade dos inquiridos que manifestaram intenção de votar não o irão fazer». Portanto: ou Oliveira e Costa está a vender gato por lebre (já sei que o leitor vai fazer uma associação de apelidos, mas quero deixar bem claro que não tenho a mínima intenção de pôr em causa a legalidade da actuação da Eurosondagem!), apresentado apenas o número total de inquiridos, mas não o número (muito inferior) dos que manifestaram uma real intenção de voto; ou não usou um evidente "mecanismo" na "construção do questionário" de modo a identificar os abstencionistas.

Já o "mecanismo" das "opções de amostragem" é bastante mais complexo.
No caso de sondagens telefónicas, não se sabe como são construídas as listas e o meu palpite, que expus no mesmo post de 30 de Maio, é que o "sistema" favorece a taxa de resposta e não apanha de forma eficaz os abstencionistas.
As sondagens presenciais por random route, com o trabalho de campo concentrado num período muito curto, têm também muitos problemas em lidar com a ausência do elemento seleccionado para a entrevista (uma das sondagens CESOP foi efectuada no fim-de-semana do 25 de Abril - terá algo que ver com a dificuldade dessa sondagem encontrar "votantes" CDS?).
Alguns institutos incluem histórico de voto ou resultados de anteriores eleições na estratificação e na ponderação de resultados. Não sou politólogo e arrisco-me a pôr o pé em ramo verde, mas parece-me bastante razoável o entendimento de que uma parte significativa (até 25%) dos inquiridos que manifestaram intenção de votar PS não compareceram ou foram lá votar em branco. Em 2004 terá acontecido algo semelhante com a coligação PSD/CDS, embora de magnitude muito inferior. Isso significa que houve uma franja de abstencionistas específicos destas eleições e a utlização de resultados anteriores para definir a amostra pode ter sido mais um factor de distorção.

Voltando à forma como comecei o post anterior, é bem vinda uma auditoria às sondagens. Mas, melhor ainda, será a obrigatoriedade de publicação (quero dizer, disponibilidade para consulta, com um hiato temporal que não afecte o interesse comercial do cliente) exaustiva das metodologias usadas e dos dados brutos. A actual ficha técnica, com uma margem de erro à la Mantra, só serve para confundir.

O efeito Diana Mantra

Na sua crónica quinzenal no Público, Pedro Magalhães sugere uma auditoria às sondagens eleitorais, para avaliar «por exemplo, as opções de amostragem, a construção dos questionários, a formação dos inquiridores ou o trabalho de campo», podendo também «apreciar as consequências de opções alternativas no tratamento dos dados, nomeadamente das "não respostas" e dos "indecisos", assim como os desvios das amostras em relação a características conhecidas da população e as maneiras de os corrigir».
Num comentário no blogue Margens de Erro, eu defendi a publicação dos dados brutos das sondagens e estou completamente de acordo com o Pedro Magalhães quanto ao escrutínio público dos métodos de sondagem. As "opções de amostragem" e a "construção dos questionários" são os dois factores de erro a que atribuí maior importância no meu primeiro post sobre a validade das sondagens, no passado 30 de Maio. Voltarei, de forma breve, ao assunto, num próximo post. Para já, quero salientar que a informação da ficha técnica que os media publicam por obrigação legal é enganadora quanto à suposta precisão das sondagens. Padece daquilo a que passarei a designar o "efeito Diana Mantra". Exemplifico com esta ficha técnica da última sondagem da Aximage para o CM, publicada poucos dias antes das "Europeias":
«Erro probabilístico: Para o total de uma amostra aleatória simples com 1274 entrevistas, o desvio padrão máximo de uma proporção é 0,014 (ou seja, uma “margem de erro” - a 95% - de 2,75%).» Um impressionante bla bla que não tem nada que ver com a sondagem em causa :). Vejamos:
«Para o total de uma amostra aleatória simples com 1274 entrevistas». A mesma ficha diz que a amostra é «estratificada (região, habitat, sexo, idade, escolaridade, actividade e voto legislativo)» e não «aleatória simples». Daí poderá não vir grande nenhum mal ao mundo, já que o objectivo da estratificação (se for bem feita!) é aumentar a precisão. Mas há outro problema sobre o qual a ficha técnica não se pronuncia. No caso desta sondagem, ficamos a conhecê-lo ao ler a notícia do CM, mas noutros casos, nomeadamente as Eurosondagens que abordei no post já referido, nada se sabe! Voltando à notícia do CM, ficamos a saber que apenas 442 dos 1274 entrevistados mostra intenção de votar, ou seja, a amostra efectiva reduz-se a um terço dos anunciados 1274. Utilizando o mesmo método de cálculo da ficha técnica, a "margem de erro" desta sondagem não é 2,75%, mas sim 4,65%.
O responsável pela sondagem reconhece o problema: «as intenções de voto nos partidos registadas nas sondagens ficam dependentes dum número muito reduzido de eleitores, o que aumenta sensivelmente as designadas 'margens de erro' das percentagens previstas para cada concorrente. Para as eleições do próximo domingo, mesmo com mais de 1200 entrevistas, os intervalos de confiança das percentagens apuradas estendem-se em cerca de 10% para o PS e o PSD e 5 a 6% para os restantes principais concorrentes.» Perante isto, há uma questão óbvia: quem está disposto a comprar sondagens com "intervalos de confiança" de 10%? Não está em causa a sondagem "acertar" ou "falhar" a percentagem de votos de um partido que vier a verificar-se na eleição. O problema é que, dum ponto de vista jornalístico, estas amostras de reduzida dimensão, com enormes intervalos de "previsão", não têm qualquer valor, pelo que não consigo compreender o interesse dos media na sua aquisição - terão comprado gato por lebre? Ou foram aconselhados pela Diana Mantra?

Qualidade do jornalismo tem baixado de forma acentuada

A primeira frase de uma notícia da Lusa chamou a minha atenção no Público online: «As temperaturas máximas vão descer quase para metade até terça-feira...»
Fiquei de tal modo espantado que resolvi googlá-la para ver em que medida os órgãos de informação repetem as barbaridades da Lusa sem o mínimo espírito crítico. Os resultados são muito interessantes: como o Público, também RR, Expresso, SIC, TSF e Sol, além de outros sítios noticiosos e blogues, afirmam que as temperaturas vão "descer quase para metade".

É verdade que já tenho chamado a atenção aqui no blogue para A difícil relação de alguns jornalistas com os números, o que terá levado a este comentário anónimo, mas a iliteracia de alguns jornalistas ainda me consegue surpreender, dada a crença que eu possuía sobre o nível cultural da profissão, que pensava ser acima da média...

A escala Celsius é uma escala relativa, i.e. o valor zero da escala não é absoluto, o que implica que não se possa estabelecer uma comparação pelo rácio de duas temperaturas, mas apenas pela diferença entre temperaturas. Reportando à notícia do Público, é lícito dizer que as temperaturas vão descer mais em Beja (-17º) do que no Porto (-2º), mas nunca se poderá dizer que a temperatura prevista para Beja na terça-feira (17º) é metade da prevista para hoje (35º).

Vejamos um exemplo. Admitamos que a temperatura em Beijós é hoje de 20 ºC, prevendo-se 15 ºC para amanhã e 10 ºC para terça-feira, i.e. haverá uma descida constante de 5 ºC em cada um dos próximos dois dias. Se convertermos a temperatura em ºF, a descida em cada dia será também constante (-9 ºF), passando de 68 ºF para 59 ºF e 50 ºF. A variação de 1 ºC corresponde à variação de 1,8 ºF. Mas, como existe uma 'ordenada na origem' desta função de conversão (a 0 ºC correspondem 32 ºF), o rácio das temperaturas não é o mesmo nestas duas escalas. A temperatura de terça-feira seria "metade" da de hoje na escala Celsius, mas seria quase "três quartos" da de hoje na escala Fahrenheit. Voltando ao exemplo do Público, se um jornalista americano tivesse o mesmo nível de literacia dos jornalistas portugueses que criaram e reproduziram a notícia, diria que a temperatura de Beja vai descer um terço até terça-feira! :)

P.S. O facto de a redução de temperaturas "prometida" por esta notícia não corresponder, nem de perto nem de longe, à previsão do Instituto de Meteorologia, também é um indício do nível a que chegou o jornalismo, particularmente na vertente online, mas não é o objecto deste post.

Adenda 14-6-2009 23:30
Fui acusado de "atitude anti-jornalista" por causa deste post. Com o argumento de que o objectivo da notícia era alertar para a descida de temperaturas e a notícia cumpria essa função. Eu não sei se as temperaturas vão descer significativamente ou não, limito-me a comparar as variações reportadas na notícia com as que são apresentadas no sítio do IM, declarada fonte da mesma.
Previsões no sítio do IM para as cidades referidas na notícia do Público (cidade: previsão hoje; previsão terça-feira)
Beja: 35; 33
Faro: 31; 31
Lisboa: 29; 29
C. Branco: 34; 30
Porto: 21; 25

Em resumo, a temperatura mantém-se em duas cidades, desce 4º numa e 2º noutra e sobe 4º noutra. Esta previsão justifica o alerta «Temperaturas vão baixar de forma acentuada», «quase para metade», o qual é reproduzido, eu diria, automaticamente, pelos principais media nacionais. Quando isto acontece em algo tão facilmente verificável como a previsão escarrapachada no sítio do IM, não é de admirar que aconteça, por exemplo, com o estudo de utilização da internet encomendado pela Microsoft, e muito menos com o spin que alimentou a lua-de-mel do Governo com os media durante a primeira metade da presente legislatura.