24/06/2009

Sousa, 0 - Opinião, 2

Boas notícias no campeonato jurídico José Pinto de Sousa Vs. The World.
Depois de perder por KO no combate contra António Balbino Caldeira, cuja escrita bloguística foi considerada pelo Ministério Público como «exercício do direito de crítica» e «insusceptível de causar ofensa jurídico-penalmente relevante», o queixoso volta a ser derrotado por KO, graças à mesmíssima justificação jurídica: «As expressões utilizadas pelo arguido João Miguel Tavares dirigidas ao primeiro-ministro, figura pública, ainda que acintosas e indelicadas, devem ser apreciadas no contexto e conjuntura em que foram publicadas, e inserem-se no direito à crítica, insusceptíveis de causar ofensa jurídica penalmente relevante».

Com a devida vénia à prevalência do valor do direito à crítica, retiro o selo que mantive na barra lateral do blogue durante três meses e que acima repoduzo, para a posteridade.

Aguarda-se o desfecho das próximas partidas deste triste campeonato.

19/06/2009

Discutindo sondagens

«A diferença entre os valores das sondagens e os resultados das recentes eleições europeias foi desvalorizado hoje pelas empresas do sector, que apontam a elevada abstenção como principal causa para a divergência de números.» É esta a interpretação da Lusa, mas, para maior precisão, será melhor consultar o comunicado da ERC.

Destaco o seguinte:
  1. «O grande valor da abstenção verificada foi consensualmente apontado como um dos factores para os resultados verificados».
    Aparentemente, o comunicado defende que as sondagens estavam certas e os votos é que se desviaram das sondagens devido à abstenção! ROFL
    Mas, fazendo o favor de interpretar que as sondagens se desviaram dos resultados, devido ao grande valor da abstenção, não há desculpa. Já disse (em 30 de Maio e em 16 de Junho) que o valor da abstenção foi idêntico ao que "toda a gente" esperava. Por isso, quando venderam os seus serviços, as empresas de sondagens deviam ter informado os clientes e respectivos leitores/ espectadores dos problemas inerentes à inferência dos resultados nas condições da abstenção prevista.
  2. «... notado que a esmagadora maioria dos resultados se verificaram dentro do intervalo de confiança, ou seja, não se registaram, de facto, os erros clamorosos que foram apontados às sondagens».
    Em primeiro lugar, houve desvios significativos - bem fora do "intervalo de confiança"(*) - em quase todas as sondagens, para o partido que elas previam ser o vencedor - e que não foi!
    Em segundo lugar, os leitores/ espectadores não tinham conhecimento dos "intervalos de confiança", a não ser que lessem o blogue Margens de Erro, onde o responsável do CESOP os estimou com base na informação incompleta disponível. Só tenho conhecimento de um caso em que um órgão de comunicação social publicou, juntamente com a sondagem, uma advertência sobre a grande magnitude dos "intervalos de confiança".

Não pretendo pôr em causa o rigor do trabalho efectuado, nem alimentar suspeitas de manipulação dos resultados, de perseguição a um partido, de benefício a outro, ou qualquer acusação do género. Isso está completamente fora do âmbito do título deste post. Agora, depois da expectativa criada por Pedro Magalhães num texto muito citado, admitindo o «fracasso das sondagens para as eleições europeias», o comunicado da ERC é despropositadamente desculpabilizante e revela falta de aderência à realidade. Mau sinal.

(*) A não ser que esses "intervalos de confiança" fossem, na realidade, muito mais largos do que os estimados por Pedro Magalhães.

18/06/2009

A mosca morta

Há desenvolvimentos no caso da mosca morta.
No Brasil circulam rumores segundo os quais a mosca morta por Obama era uma jornalista sem diploma "de faculdade".
Por cá, Sócrates não bate nos jornalistas, apenas faz queixas judiciais contra eles. Já com as moscas mortas, dá-se muito bem :)

TVisto

Não vi a entrevista do "novo Sócrates", mas, fazendo fé nos excertos que vi no "rescaldo", creio que a SIC foi amiga. Ao velho Sócrates daria jeito uma mosca viva em estúdio para que demonstrasse que era o único líder europeu capaz de rivalizar em artes cénicas com o Presidente dos EUA. Ao novo Sócrates deu imenso jeito a mosca morta que a SIC lhe arranjou como entrevistadora.

Para mim, a TV é um meio bastante económico de "recarregar baterias". Tirando um ou outro momento excepcional, entro num estado de apatia extremamente reconfortante. Quando estou mais cansado, rapidamente passo da apatia a letargia e é nesse estado semi-consciente que sou capaz de passar horas a "ver" a SICN ou a RTPN. Foi o que aconteceu ontem durante 100' seguidos e o efeito foi tão benéfico que hoje não só me sinto satisfeito comigo como me sinto um Eduardo Cintra Torres.

Boa parte desses 100' foram passados em frente ao Directo ao Assunto, tendo eu ficado com uma percepção diferente da que tive na primeira visualização. Rangel é tão seguidista de Sócrates que também ele apareceu num tom de cordeiro manso, com várias operações de diminuição do volume. Tavares também beneficiou do efeito contagiante da entrevista do PM, tendo-se mostrado muito satisfeito consigo. A legítima satisfação com a eleição para o PE está a torná-lo ainda mais míope na leitura dos resultados eleitorais - à excepção de Portugal, os eleitores europeus não querem ultrapassar a crise pela esquerda, mas pela direita. Vá devagar ou ainda tem um acidente em contra-mão. Mais sóbrio pareceu-me Amorim, sobre o PSD e sobre o Irão, mas ter-lhe-á faltado firmeza no TGV.

Antes, num programa em que Crespo substituiu Lourenço, que havia substituído Crespo, Ricardo Costa arrumou de vez a disputa com Rui Santos sobre quem é o jornalista de TV mais satisfeito consigo (digo de TV, porque tenho dúvidas sobre a posição de Marcelino no ranking global). Sem falinhas mansas.

16/06/2009

A inovação nos números

O problema de Gary Langer com os dados tóxicos, que eu associei ao "efeito Diana Mantra" no post anterior, é quase omnipresente nos relatórios de divulgação de inquéritos. Aqui fica um exemplo:

O site Criar2009 divulga hoje uma notícia a partir de «um relatório do Eurostat publicado em Maio com os dados da Community Innovation Survey 2006». Sobre o primeiro parágrafo da notícia, não há nada que contestar, a não ser que não se devia usar a designação UE27, uma vez que os rankings não foram calculados a partir de todos os países da UE27. O problema está no segundo parágrafo e resulta do tal equívoco muito frequente na divulgação de estatísticas. Antes de citá-lo e contestá-lo, um exemplo fictício ajudará à compreensão do fenómeno.

Vamos imaginar que os países A e B têm 100 empresas cada. No país A, 80 são "inovadoras" enquanto no país B apenas 40 o são. Das inovadoras, 40 do país A e 30 do B apresentam inovação de marketing. Qual a "taxa de inovação" de marketing? 40% no país A e 30% no B. Ou seja, no sector do marketing, o país A é mais inovador do que o B. No entanto, se eu calcular qual a % de empresas inovadoras que têm inovação de marketing, o resultado é 50% em A e 75% em B. Erradamente, estaria a dizer que, no sector do marketing, o país B é mais inovador do que o A.

Foi isto que foi feito no relatório e é transposto para a citada notícia: «Ainda de acordo com o mesmo relatório, Portugal ocupa a 8ª posição em percentagem de volume de vendas destinada a produtos novos ou melhorados. Por outro lado, Portugal é o 4º país da UE27 em inovação de marketing e organizacional
Em primeiro lugar, se os cálculos fossem os correctos, não seria de todo lícito dizer «o 4º país da UE27», já que: i) só estão disponíveis dados para 21 dos 27; ii) destes 21, em dois deles foi apenas considerada inovação organizacional, a inovação de marketing não "contou"; iii) só foram consideradas empresas com mais de 10 trabalhadores.
Mas o que realmente interessa para o meu post, é que os dados não sustentam a afirmação, por causa de se ter excluído as empresas sem inovação. Portugal ocupa o 4º lugar na taxa "errada", i.e. na divisão das empresas com inovação de marketing ou organizacional (7226) sobre o total de empresas inovadoras (8774), o que dá 82%, mas este é um índice sem valor substantivo. O que interessaria seria a divisão pelo total de empresas (21254), o que resultaria numa taxa de 34%. A afirmação correcta seria: "Portugal é o 8.º país, num total de 19, em inovação de marketing e organizacional".

Ainda as (Euro)sondagens

No post anterior, cunhei a expressão "efeito Diana Mantra" para designar a inferência estatística baseada numa amostra de p inquiridos que declaram o voto num dos candidatos, assumindo que p=n (n representa o n.º de inquiridos), quando, na realidade, p<n (no exemplo que apresentei, p é mesmo muito inferior a n). O post terminava com a suposição de que os media poderiam estar a "comprar gato por lebre", com a expectativa de adquirir, p. ex. uma amostra de 1200 inquiridos, para acabarem por obter estimativas a partir de 400 "votantes". Efectivamente, estamos em Portugal bem longe de poder presenciar uma situação como esta, em que o director da Unidade de Sondagens da ABC recusa divulgar um estudo de um centro universitário, alegando que o inquérito e o tratamento das respostas não são válidos!

O principal problema apontado por Gary Langer é precisamente o "efeito Diana Mantra", i.e. o facto dos autores do estudo estarem-se nas tintas para as elevadas percentagens de inquiridos que não têm opinião e divulgarem as percentagens de concordância / discordância com determidadas afirmações como se todos tivessem opinião. Por cá, os clientes das sondagens eleitorais não estão atentos ao problema do «tratamento dos dados, nomeadamente das "não respostas" e dos "indecisos"».

Mas Langer fala também de outros problemas do inquérito, os quais têm equivalência nas "opções de amostragem" e na "construção dos questionários", para usar as expressões que Pedro Magalhães emprega no seu artigo, das quais já falei num post anterior, mas que prometi abordar de novo neste post. O contexto do problema é que, à excepção de uma sondagem da Marktest, todas "falharam" na estimativa da percentagem de votos do PS. E todas, sem excepção, subestimaram o CDS. Os responsáveis pelos institutos de sondagens "culpam" a abstenção. Eu diria que a "culpa" é de eles próprios não saberem ou não poderem lidar com a abstenção e de não o terem demonstrado de forma inequívoca quando venderam os seus serviços. Vejamos em que medida as "opções de amostragem" e a "construção dos questionários" poderão estar relacionadas com este problema.

«"As pessoas dizem que vão votar e depois não vão. Se houver mecanismos que resolvam, estou disposto a estudar e a aplicar", disse Oliveira e Costa». Eu não conheço em pormenor as metodologias da Eurosondagem, porque elas não são reveladas. No entanto, no tal post de 30 de Maio, eu já tinha "avisado" que algo não batia certo na Eurosondagem, que nunca seria possível ter tantas intenções de voto com aquele número de tentativas de entrevista e disse mesmo que, se os números apresentados estivessem correctos, «metade dos inquiridos que manifestaram intenção de votar não o irão fazer». Portanto: ou Oliveira e Costa está a vender gato por lebre (já sei que o leitor vai fazer uma associação de apelidos, mas quero deixar bem claro que não tenho a mínima intenção de pôr em causa a legalidade da actuação da Eurosondagem!), apresentado apenas o número total de inquiridos, mas não o número (muito inferior) dos que manifestaram uma real intenção de voto; ou não usou um evidente "mecanismo" na "construção do questionário" de modo a identificar os abstencionistas.

Já o "mecanismo" das "opções de amostragem" é bastante mais complexo.
No caso de sondagens telefónicas, não se sabe como são construídas as listas e o meu palpite, que expus no mesmo post de 30 de Maio, é que o "sistema" favorece a taxa de resposta e não apanha de forma eficaz os abstencionistas.
As sondagens presenciais por random route, com o trabalho de campo concentrado num período muito curto, têm também muitos problemas em lidar com a ausência do elemento seleccionado para a entrevista (uma das sondagens CESOP foi efectuada no fim-de-semana do 25 de Abril - terá algo que ver com a dificuldade dessa sondagem encontrar "votantes" CDS?).
Alguns institutos incluem histórico de voto ou resultados de anteriores eleições na estratificação e na ponderação de resultados. Não sou politólogo e arrisco-me a pôr o pé em ramo verde, mas parece-me bastante razoável o entendimento de que uma parte significativa (até 25%) dos inquiridos que manifestaram intenção de votar PS não compareceram ou foram lá votar em branco. Em 2004 terá acontecido algo semelhante com a coligação PSD/CDS, embora de magnitude muito inferior. Isso significa que houve uma franja de abstencionistas específicos destas eleições e a utlização de resultados anteriores para definir a amostra pode ter sido mais um factor de distorção.

Voltando à forma como comecei o post anterior, é bem vinda uma auditoria às sondagens. Mas, melhor ainda, será a obrigatoriedade de publicação (quero dizer, disponibilidade para consulta, com um hiato temporal que não afecte o interesse comercial do cliente) exaustiva das metodologias usadas e dos dados brutos. A actual ficha técnica, com uma margem de erro à la Mantra, só serve para confundir.