Sócrates segundo as sondagens

Segundo o líder parlamentar do BE, as as sondagens “estão no banco dos réus da opinião pública”. Já escrevi bastante sobre este assunto aqui no blogue, os leitores que chegam pela primeira vez poderão ler dois posts recentes sobre duas atitudes diferentes face ao problema: 1) um comunicado da ERC a varrer o lixo para debaixo do tapete; 2) aquilo a que chamei glasnost da Marktest.

Hoje resolvi escrever sobre a abissal diferença de resultados entre duas sondagens publicadas esta semana. Se a indústria não souber esclarecer a opinião pública e, particularmente, a opinião publicada sobre esta diferença, então é fácil concluir que é muito curta a distância entre o banco dos réus e o cadafalso.

Falo da diferença relativa à avaliação daquilo que os órgãos de comunicação social costumam designar "popularidade" dos líderes políticos. Há uma pergunta sobre a actuação, neste caso, do Primeiro Ministro, os inquiridos podem avaliá-la de forma positiva ou negativa e os media costumam calcular a diferença, construindo um índice de popularidade. Eu não vou analisar este índice, mas apenas as respostas "Positiva" e "Negativa", nas sondagens da Marktest (resultados aqui) e da Eurosondagem (resultados aqui).

O quadro seguinte apresenta os resultados. No caso da Marktest são as tabulações reais, no caso da Eurosondagem são imputadas de acordo com os resultados divulgados pelo Expresso. A Marktest utilizou a pergunta «Em sua opinião diria que a actuação do 1º Ministro e actual líder do PS - JOSÉ SÓCRATES, tem sido POSITIVA ou NEGATIVA?». Desconhecemos a pergunta da Eurosondagem, mas vê-se que o Expresso apresenta uma categoria de resposta, "Nem boa, nem má", não prevista no questionário da Marktest. Neste primeiro quadro, esta categoria de resposta foi adicionada aos inquiridos que não manifestaram opinião.
Além da frequência das respostas (linha Count), o quadro apresenta os desvios ajustados, i.e. uma medida de desvio de cada célula relativamente à hipótese segundo a qual os resultados de ambas sondagens são idênticos. Com o habitual intervalo de confiança de 95%, um valor de desvio ajustado superior a +/- 2 indica que o desvio é significativo. É fácil constatar que a opinião dos inquiridos Marktest é incomparavelmente muito mais negativa e que a Eurosondagem apresenta resultados de "indecisos" superiores (o que é natural, dado que acrescentámos a categoria de resposta da imagem nem boa nem má), mas também de imagem positiva consideravelmente superior.
A estatística (qui-quadrado) diz-nos que é 2 triliões de vezes mais provável acertar no Euromilhões do que estas sondagens estarem a medir o mesmo conceito (opinião sobre actuação de Sócrates) na mesma população (eleitores residentes no continente em lares com telefone fixo).



Admitindo que a diferença se pudesse dever ao facto de haver uma categoria adicional de resposta no questionário da Eurosondagem, vamos, por absurdo, transferir todas as respostas "Nem boa, nem má" para a categoria "Negativa" e comparar os resultados, da mesma forma. A Marktest continua a apresentar maior proporção de resposta "Negativa", embora o desvio não seja significativo. Naturalmente, a sobrerrepresentação da resposta "Positiva" na Eurosondagem mantém-se. Os desvios seriam menores neste caso, mas, ainda assim, a probabilidade de se tratar da mesma medida na mesma população é de 1 sobre 6 milhões.


Perante o mesmo problema, as duas sondagens apresentam, pelo menos na divulgação pública, duas respostas antagónicas. Segundo os resultados da Marktest, os eleitores portugueses fazem uma avaliação negativa da actuação de Sócrates. Segundo os resultados da Eurosondagem, há mais portugueses a considerar essa actuação positiva do que negativa. Pelo menos uma das medidas está errada. Atendendo ao que se ouve e se lê por aí, é muito provável que seja a da Eurosondagem.

Nota: não é de excluir que o método de selecção dos inquiridos também possa afectar a medida. A Marktest usa o método de quotas e a Eurosondagem um método supostamente probabilístico. No entanto, o principal factor deve ser a formulação da pergunta e as alternativas de resposta. Infelizmente, não conheço o questionário da Eurosondagem, mas é de louvar a iniciativa da Marktest de ter divulgado o questionário e as tabulações.

Foto da semana

Ora aqui estão uns verdadeiros cornos, não umas «antenas da Abelha Maia»!

A ciência do futebol

Neste post, Micas10 defende que é preciso pôr "bandeiras nas janelas" para fazer Portugal subir nos rankings PISA. A escrita de Micas10 levou-me a construir o gráfico abaixo, relacionando a posição dos países da OCDE nos testes PISA relativos a ciências com a ordem que ocupa(va)m na lista global da FIFA em 2006 (data do rank PISA) e em 2009.
Há um grupo de países (Coreia, Finlândia, Canadá e N. Zelândia) que são bons na educação científica, mas jogam mal à bola - quem é que quer isso???
Há outro grupo de países, a que Portugal pertencia por direito, juntamente com Espanha e Itália, onde os "miúdos" exercitam melhor os pés do que a cabeça. Os Estados Unidos estão a fazer o possível para intregar este grupo, ao contrário de Portugal, que se está a esforçar por sair.
Há dois grandes professores empenhados neste desígnio nacional. O Prof. Queiroz está cumprindo a sua parte, conseguindo com sucesso fugir a Espanha e Itália. Agora só falta o Prof. Rui Santos transmitir as suas capacidades científicas aos jovens, e poderemos ombrear com novos adversários 'naturais', como Suécia, Dinamarca e Suiça, contra os quais temos tido "azar"... só o Prof. Rui Santos poderá evitar a mexicanização do nosso futebol da nossa ciência!

Um problema de credibilidade

Um comentário neste post diz o essencial: «Empresas que estudam a opinião pública não percebem que têm uma má imagem na opinião pública?»

É tempo de quem está no back office (estudos de mercado) salte para o front office, recorrendo a uma política de comunicação que informe os eleitores sobre o que são sondagens, como se fazem, como se interpretam e como são utilizadas por quem as compra. Ter alguém com grande visibilidade mediática a comentar sondagens da mesma forma que comenta(va) os penalties contra o Sporting não ajuda mesmo nada...

Perante uma decisão tão estúpida como proibir a sua divulgação, a "opinião pública" está a reagir mais contra as sondagens do que contra os censores! Por outro lado, como diz António Salvador, «Quanto mais criticarem as sondagens, mais subvalorizadas estas serão e menos os eleitores responderão de forma séria e fidedigna». A glasnost de que falei no post anterior deveria servir para elucidar os políticos, jornalistas e comentadores, mas não tem impacto no público, a não ser por intermédio dos líderes de opinião.

Novidades nas fichas técnicas

A divulgação de duas sondagens eleitorais recentes trouxe novidades - pelo menos no que respeita à ficha técnica!
A sondagem do CESOP que "dá" uma esmagadora vitória a Rui Rio, foi divulgada na comunicação social com uma inovação nas margens de erro: em vez de uma margem única que corresponderia ao total da amostra, diz-se que «as margens de erro máximas estão situadas entre 3,7 e 4,2 por cento, com um nível de confiança de 95 por cento». Num post de 15 de Junho, eu salientava que «a informação da ficha técnica que os media publicam por obrigação legal é enganadora». Esta abordagem do CESOP é um progresso, ao apresentar uma margem de erro para o total da amostra (3,7) e outra para a parte da amostra que revelou intenção de voto (4,2). No entanto, como já por várias vezes o escrevi, não são estas as margens de erro que verdadeiramente interessam!

Já a divulgação do barómetro de Junho da Marktest, que inclui uma sondagem sobre intenção de voto nas legislativas, inaugura uma glasnost na indústria das sondagens! Para contrariar o problema de difícil interpretação jornalística das sondagens, a ficha técnica do barómetro insta os órgãos de comunicação a remeter os leitores para o site da Marktest e os jornalistas a lerem a ficha detalhata, disponibilizando o contacto de email de um técnico para esclarecer dúvidas. Aplausos para a iniciativa! Sem ter consultado Bárbara Gomes, deixo aqui a minha visão sobre o que de mais interessante achei nesta ficha técnica detalhada.

Em primeiro lugar, a divulgação do número de contactos estabelecidos e a ventilação de quantas entrevistas foram feitas à kª tentativa. É muito importante verificar que foram chamados 21560 números de telefone para obter 800 entrevistas válidas. Foi para esta realidade que procurei chamar a atenção dos leitores no meu primeiro post sobre sondagens e, sobretudo, para a forma como ela não é reflectida nas fichas técnicas.

Em segundo lugar, um indicador de qualidade é a insistência no número de tentativas para obter a entrevista. A sondagem demorou cinco dias porque houve um esforço para conseguir entrevistar o elemento do lar seleccionado. Tal não é possível quando se fazem sondagens de dois dias, como eu disse aqui, criticando particularmente o CESOP por ter realizado uma sondagem em apenas dois dias, no fim-de-semana do 25 de Abril, mas pensando também nas sondagens telefónicas da Eurosondagem. Note-se que esta "obrigação" de "esperar" pelo elemento seleccionado nem sequer é determinante no método de quotas, utilizado pela Marktest, é-o muito mais no caso dos concorrentes que utilizam uma selecção (dita) aleatória.

Em terceiro lugar, a divulgação das perguntas utilizadas. Algo que teria sido muito últil para compreender as discrepâncias entre os valores de "abstencionistas" apresentados por diferentes sondagens para as eleições europeias.

Em quarto lugar, a apresentação do "erro estatístico máximo" de cada ventilação. Neste caso, o ideal seria apresentar os erros das percentagens obtidas, em vez dos erros máximos para as sub-populações.

Em quinto lugar, a disponibilização das tabulações. Infelizmente, não foi apresentada para a intenção de voto nas legislativas, mas apenas para as habituais perguntas do barómetro (ou está nalgum sítio que não atingi?) Com estes dados e um conhecimento básico de estatística, é possível calcular intervalos de confiança, margens de erro, diferenças entre respostas, entre sub-populações, etc.

Finalmente, uma exposição clara do método de projecção de voto nas legislativas, apresentando, para além da projecção, as percentagens brutas e as percentagens relativas dentro dos respondentes que manifestaram intenção de voto. Sabe-se, assim, que dos 800 inquiridos, apenas 452 revelaram intenção de voto - uma informação muito importante para a Diana Mantra ;)

Sousa, 0 - Opinião, 2

Boas notícias no campeonato jurídico José Pinto de Sousa Vs. The World.
Depois de perder por KO no combate contra António Balbino Caldeira, cuja escrita bloguística foi considerada pelo Ministério Público como «exercício do direito de crítica» e «insusceptível de causar ofensa jurídico-penalmente relevante», o queixoso volta a ser derrotado por KO, graças à mesmíssima justificação jurídica: «As expressões utilizadas pelo arguido João Miguel Tavares dirigidas ao primeiro-ministro, figura pública, ainda que acintosas e indelicadas, devem ser apreciadas no contexto e conjuntura em que foram publicadas, e inserem-se no direito à crítica, insusceptíveis de causar ofensa jurídica penalmente relevante».

Com a devida vénia à prevalência do valor do direito à crítica, retiro o selo que mantive na barra lateral do blogue durante três meses e que acima repoduzo, para a posteridade.

Aguarda-se o desfecho das próximas partidas deste triste campeonato.

O bom aluno

O Prof. Pavão está para Cavaco Silva como o Prof. Morais está para José Sócrates.