Mostrar mensagens com a etiqueta Números. Mostrar todas as mensagens
Mostrar mensagens com a etiqueta Números. Mostrar todas as mensagens

01/07/2009

Novidades nas fichas técnicas

A divulgação de duas sondagens eleitorais recentes trouxe novidades - pelo menos no que respeita à ficha técnica!
A sondagem do CESOP que "dá" uma esmagadora vitória a Rui Rio, foi divulgada na comunicação social com uma inovação nas margens de erro: em vez de uma margem única que corresponderia ao total da amostra, diz-se que «as margens de erro máximas estão situadas entre 3,7 e 4,2 por cento, com um nível de confiança de 95 por cento». Num post de 15 de Junho, eu salientava que «a informação da ficha técnica que os media publicam por obrigação legal é enganadora». Esta abordagem do CESOP é um progresso, ao apresentar uma margem de erro para o total da amostra (3,7) e outra para a parte da amostra que revelou intenção de voto (4,2). No entanto, como já por várias vezes o escrevi, não são estas as margens de erro que verdadeiramente interessam!

Já a divulgação do barómetro de Junho da Marktest, que inclui uma sondagem sobre intenção de voto nas legislativas, inaugura uma glasnost na indústria das sondagens! Para contrariar o problema de difícil interpretação jornalística das sondagens, a ficha técnica do barómetro insta os órgãos de comunicação a remeter os leitores para o site da Marktest e os jornalistas a lerem a ficha detalhata, disponibilizando o contacto de email de um técnico para esclarecer dúvidas. Aplausos para a iniciativa! Sem ter consultado Bárbara Gomes, deixo aqui a minha visão sobre o que de mais interessante achei nesta ficha técnica detalhada.

Em primeiro lugar, a divulgação do número de contactos estabelecidos e a ventilação de quantas entrevistas foram feitas à kª tentativa. É muito importante verificar que foram chamados 21560 números de telefone para obter 800 entrevistas válidas. Foi para esta realidade que procurei chamar a atenção dos leitores no meu primeiro post sobre sondagens e, sobretudo, para a forma como ela não é reflectida nas fichas técnicas.

Em segundo lugar, um indicador de qualidade é a insistência no número de tentativas para obter a entrevista. A sondagem demorou cinco dias porque houve um esforço para conseguir entrevistar o elemento do lar seleccionado. Tal não é possível quando se fazem sondagens de dois dias, como eu disse aqui, criticando particularmente o CESOP por ter realizado uma sondagem em apenas dois dias, no fim-de-semana do 25 de Abril, mas pensando também nas sondagens telefónicas da Eurosondagem. Note-se que esta "obrigação" de "esperar" pelo elemento seleccionado nem sequer é determinante no método de quotas, utilizado pela Marktest, é-o muito mais no caso dos concorrentes que utilizam uma selecção (dita) aleatória.

Em terceiro lugar, a divulgação das perguntas utilizadas. Algo que teria sido muito últil para compreender as discrepâncias entre os valores de "abstencionistas" apresentados por diferentes sondagens para as eleições europeias.

Em quarto lugar, a apresentação do "erro estatístico máximo" de cada ventilação. Neste caso, o ideal seria apresentar os erros das percentagens obtidas, em vez dos erros máximos para as sub-populações.

Em quinto lugar, a disponibilização das tabulações. Infelizmente, não foi apresentada para a intenção de voto nas legislativas, mas apenas para as habituais perguntas do barómetro (ou está nalgum sítio que não atingi?) Com estes dados e um conhecimento básico de estatística, é possível calcular intervalos de confiança, margens de erro, diferenças entre respostas, entre sub-populações, etc.

Finalmente, uma exposição clara do método de projecção de voto nas legislativas, apresentando, para além da projecção, as percentagens brutas e as percentagens relativas dentro dos respondentes que manifestaram intenção de voto. Sabe-se, assim, que dos 800 inquiridos, apenas 452 revelaram intenção de voto - uma informação muito importante para a Diana Mantra ;)

16/06/2009

A inovação nos números

O problema de Gary Langer com os dados tóxicos, que eu associei ao "efeito Diana Mantra" no post anterior, é quase omnipresente nos relatórios de divulgação de inquéritos. Aqui fica um exemplo:

O site Criar2009 divulga hoje uma notícia a partir de «um relatório do Eurostat publicado em Maio com os dados da Community Innovation Survey 2006». Sobre o primeiro parágrafo da notícia, não há nada que contestar, a não ser que não se devia usar a designação UE27, uma vez que os rankings não foram calculados a partir de todos os países da UE27. O problema está no segundo parágrafo e resulta do tal equívoco muito frequente na divulgação de estatísticas. Antes de citá-lo e contestá-lo, um exemplo fictício ajudará à compreensão do fenómeno.

Vamos imaginar que os países A e B têm 100 empresas cada. No país A, 80 são "inovadoras" enquanto no país B apenas 40 o são. Das inovadoras, 40 do país A e 30 do B apresentam inovação de marketing. Qual a "taxa de inovação" de marketing? 40% no país A e 30% no B. Ou seja, no sector do marketing, o país A é mais inovador do que o B. No entanto, se eu calcular qual a % de empresas inovadoras que têm inovação de marketing, o resultado é 50% em A e 75% em B. Erradamente, estaria a dizer que, no sector do marketing, o país B é mais inovador do que o A.

Foi isto que foi feito no relatório e é transposto para a citada notícia: «Ainda de acordo com o mesmo relatório, Portugal ocupa a 8ª posição em percentagem de volume de vendas destinada a produtos novos ou melhorados. Por outro lado, Portugal é o 4º país da UE27 em inovação de marketing e organizacional
Em primeiro lugar, se os cálculos fossem os correctos, não seria de todo lícito dizer «o 4º país da UE27», já que: i) só estão disponíveis dados para 21 dos 27; ii) destes 21, em dois deles foi apenas considerada inovação organizacional, a inovação de marketing não "contou"; iii) só foram consideradas empresas com mais de 10 trabalhadores.
Mas o que realmente interessa para o meu post, é que os dados não sustentam a afirmação, por causa de se ter excluído as empresas sem inovação. Portugal ocupa o 4º lugar na taxa "errada", i.e. na divisão das empresas com inovação de marketing ou organizacional (7226) sobre o total de empresas inovadoras (8774), o que dá 82%, mas este é um índice sem valor substantivo. O que interessaria seria a divisão pelo total de empresas (21254), o que resultaria numa taxa de 34%. A afirmação correcta seria: "Portugal é o 8.º país, num total de 19, em inovação de marketing e organizacional".

Ainda as (Euro)sondagens

No post anterior, cunhei a expressão "efeito Diana Mantra" para designar a inferência estatística baseada numa amostra de p inquiridos que declaram o voto num dos candidatos, assumindo que p=n (n representa o n.º de inquiridos), quando, na realidade, p<n (no exemplo que apresentei, p é mesmo muito inferior a n). O post terminava com a suposição de que os media poderiam estar a "comprar gato por lebre", com a expectativa de adquirir, p. ex. uma amostra de 1200 inquiridos, para acabarem por obter estimativas a partir de 400 "votantes". Efectivamente, estamos em Portugal bem longe de poder presenciar uma situação como esta, em que o director da Unidade de Sondagens da ABC recusa divulgar um estudo de um centro universitário, alegando que o inquérito e o tratamento das respostas não são válidos!

O principal problema apontado por Gary Langer é precisamente o "efeito Diana Mantra", i.e. o facto dos autores do estudo estarem-se nas tintas para as elevadas percentagens de inquiridos que não têm opinião e divulgarem as percentagens de concordância / discordância com determidadas afirmações como se todos tivessem opinião. Por cá, os clientes das sondagens eleitorais não estão atentos ao problema do «tratamento dos dados, nomeadamente das "não respostas" e dos "indecisos"».

Mas Langer fala também de outros problemas do inquérito, os quais têm equivalência nas "opções de amostragem" e na "construção dos questionários", para usar as expressões que Pedro Magalhães emprega no seu artigo, das quais já falei num post anterior, mas que prometi abordar de novo neste post. O contexto do problema é que, à excepção de uma sondagem da Marktest, todas "falharam" na estimativa da percentagem de votos do PS. E todas, sem excepção, subestimaram o CDS. Os responsáveis pelos institutos de sondagens "culpam" a abstenção. Eu diria que a "culpa" é de eles próprios não saberem ou não poderem lidar com a abstenção e de não o terem demonstrado de forma inequívoca quando venderam os seus serviços. Vejamos em que medida as "opções de amostragem" e a "construção dos questionários" poderão estar relacionadas com este problema.

«"As pessoas dizem que vão votar e depois não vão. Se houver mecanismos que resolvam, estou disposto a estudar e a aplicar", disse Oliveira e Costa». Eu não conheço em pormenor as metodologias da Eurosondagem, porque elas não são reveladas. No entanto, no tal post de 30 de Maio, eu já tinha "avisado" que algo não batia certo na Eurosondagem, que nunca seria possível ter tantas intenções de voto com aquele número de tentativas de entrevista e disse mesmo que, se os números apresentados estivessem correctos, «metade dos inquiridos que manifestaram intenção de votar não o irão fazer». Portanto: ou Oliveira e Costa está a vender gato por lebre (já sei que o leitor vai fazer uma associação de apelidos, mas quero deixar bem claro que não tenho a mínima intenção de pôr em causa a legalidade da actuação da Eurosondagem!), apresentado apenas o número total de inquiridos, mas não o número (muito inferior) dos que manifestaram uma real intenção de voto; ou não usou um evidente "mecanismo" na "construção do questionário" de modo a identificar os abstencionistas.

Já o "mecanismo" das "opções de amostragem" é bastante mais complexo.
No caso de sondagens telefónicas, não se sabe como são construídas as listas e o meu palpite, que expus no mesmo post de 30 de Maio, é que o "sistema" favorece a taxa de resposta e não apanha de forma eficaz os abstencionistas.
As sondagens presenciais por random route, com o trabalho de campo concentrado num período muito curto, têm também muitos problemas em lidar com a ausência do elemento seleccionado para a entrevista (uma das sondagens CESOP foi efectuada no fim-de-semana do 25 de Abril - terá algo que ver com a dificuldade dessa sondagem encontrar "votantes" CDS?).
Alguns institutos incluem histórico de voto ou resultados de anteriores eleições na estratificação e na ponderação de resultados. Não sou politólogo e arrisco-me a pôr o pé em ramo verde, mas parece-me bastante razoável o entendimento de que uma parte significativa (até 25%) dos inquiridos que manifestaram intenção de votar PS não compareceram ou foram lá votar em branco. Em 2004 terá acontecido algo semelhante com a coligação PSD/CDS, embora de magnitude muito inferior. Isso significa que houve uma franja de abstencionistas específicos destas eleições e a utlização de resultados anteriores para definir a amostra pode ter sido mais um factor de distorção.

Voltando à forma como comecei o post anterior, é bem vinda uma auditoria às sondagens. Mas, melhor ainda, será a obrigatoriedade de publicação (quero dizer, disponibilidade para consulta, com um hiato temporal que não afecte o interesse comercial do cliente) exaustiva das metodologias usadas e dos dados brutos. A actual ficha técnica, com uma margem de erro à la Mantra, só serve para confundir.

15/06/2009

O efeito Diana Mantra

Na sua crónica quinzenal no Público, Pedro Magalhães sugere uma auditoria às sondagens eleitorais, para avaliar «por exemplo, as opções de amostragem, a construção dos questionários, a formação dos inquiridores ou o trabalho de campo», podendo também «apreciar as consequências de opções alternativas no tratamento dos dados, nomeadamente das "não respostas" e dos "indecisos", assim como os desvios das amostras em relação a características conhecidas da população e as maneiras de os corrigir».
Num comentário no blogue Margens de Erro, eu defendi a publicação dos dados brutos das sondagens e estou completamente de acordo com o Pedro Magalhães quanto ao escrutínio público dos métodos de sondagem. As "opções de amostragem" e a "construção dos questionários" são os dois factores de erro a que atribuí maior importância no meu primeiro post sobre a validade das sondagens, no passado 30 de Maio. Voltarei, de forma breve, ao assunto, num próximo post. Para já, quero salientar que a informação da ficha técnica que os media publicam por obrigação legal é enganadora quanto à suposta precisão das sondagens. Padece daquilo a que passarei a designar o "efeito Diana Mantra". Exemplifico com esta ficha técnica da última sondagem da Aximage para o CM, publicada poucos dias antes das "Europeias":
«Erro probabilístico: Para o total de uma amostra aleatória simples com 1274 entrevistas, o desvio padrão máximo de uma proporção é 0,014 (ou seja, uma “margem de erro” - a 95% - de 2,75%).» Um impressionante bla bla que não tem nada que ver com a sondagem em causa :). Vejamos:
«Para o total de uma amostra aleatória simples com 1274 entrevistas». A mesma ficha diz que a amostra é «estratificada (região, habitat, sexo, idade, escolaridade, actividade e voto legislativo)» e não «aleatória simples». Daí poderá não vir grande nenhum mal ao mundo, já que o objectivo da estratificação (se for bem feita!) é aumentar a precisão. Mas há outro problema sobre o qual a ficha técnica não se pronuncia. No caso desta sondagem, ficamos a conhecê-lo ao ler a notícia do CM, mas noutros casos, nomeadamente as Eurosondagens que abordei no post já referido, nada se sabe! Voltando à notícia do CM, ficamos a saber que apenas 442 dos 1274 entrevistados mostra intenção de votar, ou seja, a amostra efectiva reduz-se a um terço dos anunciados 1274. Utilizando o mesmo método de cálculo da ficha técnica, a "margem de erro" desta sondagem não é 2,75%, mas sim 4,65%.
O responsável pela sondagem reconhece o problema: «as intenções de voto nos partidos registadas nas sondagens ficam dependentes dum número muito reduzido de eleitores, o que aumenta sensivelmente as designadas 'margens de erro' das percentagens previstas para cada concorrente. Para as eleições do próximo domingo, mesmo com mais de 1200 entrevistas, os intervalos de confiança das percentagens apuradas estendem-se em cerca de 10% para o PS e o PSD e 5 a 6% para os restantes principais concorrentes.» Perante isto, há uma questão óbvia: quem está disposto a comprar sondagens com "intervalos de confiança" de 10%? Não está em causa a sondagem "acertar" ou "falhar" a percentagem de votos de um partido que vier a verificar-se na eleição. O problema é que, dum ponto de vista jornalístico, estas amostras de reduzida dimensão, com enormes intervalos de "previsão", não têm qualquer valor, pelo que não consigo compreender o interesse dos media na sua aquisição - terão comprado gato por lebre? Ou foram aconselhados pela Diana Mantra?

14/06/2009

Qualidade do jornalismo tem baixado de forma acentuada

A primeira frase de uma notícia da Lusa chamou a minha atenção no Público online: «As temperaturas máximas vão descer quase para metade até terça-feira...»
Fiquei de tal modo espantado que resolvi googlá-la para ver em que medida os órgãos de informação repetem as barbaridades da Lusa sem o mínimo espírito crítico. Os resultados são muito interessantes: como o Público, também RR, Expresso, SIC, TSF e Sol, além de outros sítios noticiosos e blogues, afirmam que as temperaturas vão "descer quase para metade".

É verdade que já tenho chamado a atenção aqui no blogue para A difícil relação de alguns jornalistas com os números, o que terá levado a este comentário anónimo, mas a iliteracia de alguns jornalistas ainda me consegue surpreender, dada a crença que eu possuía sobre o nível cultural da profissão, que pensava ser acima da média...

A escala Celsius é uma escala relativa, i.e. o valor zero da escala não é absoluto, o que implica que não se possa estabelecer uma comparação pelo rácio de duas temperaturas, mas apenas pela diferença entre temperaturas. Reportando à notícia do Público, é lícito dizer que as temperaturas vão descer mais em Beja (-17º) do que no Porto (-2º), mas nunca se poderá dizer que a temperatura prevista para Beja na terça-feira (17º) é metade da prevista para hoje (35º).

Vejamos um exemplo. Admitamos que a temperatura em Beijós é hoje de 20 ºC, prevendo-se 15 ºC para amanhã e 10 ºC para terça-feira, i.e. haverá uma descida constante de 5 ºC em cada um dos próximos dois dias. Se convertermos a temperatura em ºF, a descida em cada dia será também constante (-9 ºF), passando de 68 ºF para 59 ºF e 50 ºF. A variação de 1 ºC corresponde à variação de 1,8 ºF. Mas, como existe uma 'ordenada na origem' desta função de conversão (a 0 ºC correspondem 32 ºF), o rácio das temperaturas não é o mesmo nestas duas escalas. A temperatura de terça-feira seria "metade" da de hoje na escala Celsius, mas seria quase "três quartos" da de hoje na escala Fahrenheit. Voltando ao exemplo do Público, se um jornalista americano tivesse o mesmo nível de literacia dos jornalistas portugueses que criaram e reproduziram a notícia, diria que a temperatura de Beja vai descer um terço até terça-feira! :)

P.S. O facto de a redução de temperaturas "prometida" por esta notícia não corresponder, nem de perto nem de longe, à previsão do Instituto de Meteorologia, também é um indício do nível a que chegou o jornalismo, particularmente na vertente online, mas não é o objecto deste post.

Adenda 14-6-2009 23:30
Fui acusado de "atitude anti-jornalista" por causa deste post. Com o argumento de que o objectivo da notícia era alertar para a descida de temperaturas e a notícia cumpria essa função. Eu não sei se as temperaturas vão descer significativamente ou não, limito-me a comparar as variações reportadas na notícia com as que são apresentadas no sítio do IM, declarada fonte da mesma.
Previsões no sítio do IM para as cidades referidas na notícia do Público (cidade: previsão hoje; previsão terça-feira)
Beja: 35; 33
Faro: 31; 31
Lisboa: 29; 29
C. Branco: 34; 30
Porto: 21; 25

Em resumo, a temperatura mantém-se em duas cidades, desce 4º numa e 2º noutra e sobe 4º noutra. Esta previsão justifica o alerta «Temperaturas vão baixar de forma acentuada», «quase para metade», o qual é reproduzido, eu diria, automaticamente, pelos principais media nacionais. Quando isto acontece em algo tão facilmente verificável como a previsão escarrapachada no sítio do IM, não é de admirar que aconteça, por exemplo, com o estudo de utilização da internet encomendado pela Microsoft, e muito menos com o spin que alimentou a lua-de-mel do Governo com os media durante a primeira metade da presente legislatura.

05/06/2009

É só rir :)

Público 05.06.2009 - 11h25 José Bento Amaro

«O PS lidera todas as sondagens desde que se iniciou a campanha eleitoral». O que contraria outra notícia do mesmo jornal: «Sondagem dá vitória ao PSD nas europeias, mas em situação de empate técnico». Uma vitória em situação de empate já é um fenómeno difícil de explicar, mas há melhor...

Continuando na notícia de hoje:
«As vantagens obtidas em relação ao PSD não são, no entanto, significativas e, tendo em conta as margens de erro, o empate técnico é um dos resultados mais previsíveis». Sobre isto é melhor ler Pedro Adão e Silva no Léxico Familiar!

A propósito de léxico, depois do Inglês Técnico, o léxico jornalístico anda agora muito empatado com o empate técnico.

04/06/2009

Post que diz que sondagem não tem validade não tem validade

Esta manhã foram difundidos na blogosfera e redes sociais dois posts de Cláudio Carvalho, afirmando que a sondagem da Marktest divulgada a noite passada "não tem validade" porque "não foi feita de forma rigorosa e profissional", nomeadamente a "amostra muito mal efectuada".
Eu não sei se a sondagem é "rigorosa e profissional", mas parece-me tão profissional como as outras que têm sido divulgadas (já chamei a atenção para eventuais problemas de validade exemplificando com uma delas).
Quanto a "amostra muito mal efectuada", alega o Cláudio Carvalho que a distribuição da amostra por regiões não corresponde à distribuição da população portuguesa por regiões. Há, pelo menos, duas conclusões a retirar deste argumento:
  1. Cláudio Carvalho não percebe nada de sondagens e não faz ideia de como "se efectua" uma amostra;
  2. Não é um "cidadão atento… muito atento".

Sobre 1. falo mais abaixo. Para já, demonstro 2. A distribuição da amostra difundida na ficha técnica e nos media é por Regiões Marktest (pode consultar aqui). É completamente errado somar as regiões da forma que o Cláudio fez, para chegar à brilhante "conclusão é que a amostragem foi mal elaborada". É brilhante, mas é inválida. Tem aqui a distribuição da pop. com mais de 15 anos, segundo os dados do INE, pelas Regiões Marktest. Comparando com a distribuição amostral, verifica-se que a amostra é proporcional à população, com desvios pouco significativos.

Quanto à conclusão 1. posso assegurar-lhe que é muito frequente a amostra por regiões não ser proporcional à população por regiões. Costuma-se chamar-se alocação optimizada ao método que distribui as unidades de sondagem de forma não proporcional pelos estratos (e.g. regiões), com base na variabilidade dos estratos e nos custos de entrevista. Se lhe chamam "optimizada" é porque não será assim tão "mal efectuada" :) Se quer comentar sobre amostras bem e mal efectuadas, é melhor comprar um livro sobre inquéritos por sondagem e estudar os diversos tipos de amostragem. Pode começar por ler uma introdução na wikipedia. Se não tem grande curiosidade sobre o assunto, pode, pelo menos, entender o que é uma amostra não proporcional no próprio sítio da Marktest.

02/06/2009

A difícil relação de alguns jornalistas com os números

Admito que não seja extremamente fácil saber se as diferenças entre os resultados de duas sondagens são ou não significativas. Agora, copiar números e fazer operações aritméticas simples deveria ser um pré-requisito para o acesso à profissão de jornalista! :) Também penso que saber calcular a taxa de mortalidade infantil devesse ser uma preocupação do Director de um dos mais conceituados diários portugueses quando se propõe usar essa posição para escrever sobre mortalidade infantil no dito diário.
Através deste post de Pedro Almeida Vieira, cheguei a esta afirmação no DN de hoje: «em 1979, com uma população bem menor do que a actual, morriam neste país 8000 crianças antes de cumprirem um ano de vida; hoje, morrem 320».
Em primeiro lugar, estranho os números. O INE diz que em 1979 morreram pouco mais de metade dos propalados 8000. Em segundo lugar, e isso é realmente o importante, pior do que comparar a evolução em números absolutos (8000 vs. 320), só mesmo compará-los com a população ("população bem menor do que a actual"). Ó sr. Director, se a natalidade for baixa, esse rácio é necessariamente baixo, já que, se não nascer ninguém, também não será fácil que morra alguém com menos de um ano de idade.
Está-se mesmo a ver que a taxa de mortalidade infantil se calcula dividindo óbitos de pessoas com menos de um ano por nados-vivos. É isso que apresento no quadro abaixo, na forma usual de permilagem. Não vale de nada o facto de a população ser agora "bem maior" do que em 1979. Se a taxa de mortalidade não se tivesse alterado de 1979 para cá, teríamos agora 2667 mortos com menos de um ano (última coluna), muito menos do que os 8000 que o sr. jornalista imaginou e bastante menos do que os 4172 que foram registados.


Obviamente, isto em nada diminui o mérito da redução deste indicador. A taxa de 2007 é 7,5 vezes menor do que a de 1979. É apenas a constatação de que o jornalista utiliza uma desinformação numérica para fazer valer a sua opinião - sem necessidade, porque os números correctos seriam suficientes.

Ainda a Eurosondagem

O meu regresso à Eurosondagem, depois do post de Sábado, deve-se à notícia do Público de sexta-feira antecipando os resultados da sondagem encomendada pela RR, pela SIC e pelo Expresso. Mas deve-se, essencialmente, aos ecos que a mesma notícia teve na blogosfera, nomeadamente o meu diálogo com Helder Robalo nos comentários deste post.

O aspecto saliente da notícia, bem como do tratamento que o Expresso daria à publicação da sondagem, é a "evolução" ou a "tendência" entre duas sondagens realizadas pela mesma empresa, com uma semana de intervalo. Com base na informação divulgada no sítio da RR, o Público fez o título "PS e PCP sobem nas intenções de voto para as europeias". Helder Robalo defende (de um ponto de vista jornalístico, presumo) que o título é legítimo, já que «O PS estava em ligeira queda, se bem me recordo, e a CDU era a quarta força política». Ora, era precisamente pela falta de fundamento para se falar em "ligeira queda", subidas e ultrapassagens que eu tinha comentado o post do Helder :)

Vejamos então os resultados das sondagens em causa (Fonte: Margens de erro). Assumindo que as duas amostras são independentes, podemos fazer um teste de qui-quadrado para ver em que medida os "votos" se distribuem de igual modo nas duas sondagens diferentes. Este tipo de teste diz-nos que, globalmente, a probabilidade de a distribuição de "votos" pelos partidos ser "igual" em ambos os momentos de sondagem é 0,7. Ou seja, na prática, não há diferença entre as duas sondagens.

O quadro abaixo apresenta duas linhas para cada partido. A 1.ª mostra o n.º de "votos" na sondagem. A 2.ª o chamado "resíduo ajustado". O "resíduo" é o número de casos que uma célula tem a mais (ou a menos) relativamente ao que seria esperado se a distribuição (%) dos votos fosse absolutamente igual nas duas sondagens. O "resíduo ajustado" é esse mesmo número dividido por uma estimativa do respectivo erro-padrão. Só nos casos em que esse "resíduo ajustado" fosse >2 (ou <-2) é que estaríamos em presença de uma subida (descida) significativa.


Se a preocupação fosse avaliar a variação de cada partido isoladamente, poder-se-ia testar a diferença de proporções entre duas amostras independentes. Pedro Magalhães já o fez (aqui) e não encontrou nenhuma diferença entre as duas sondagens em causa. (Eu também o tinha feito antes de assegurar no post anterior que nenhuma das variações reportadas no Expresso era significativa).
A aproximação que aqui faço com a publicação dos "resíduos ajustados" é uma maneira simples de ordenar as variações para os jornalistas e comentadores que querem a toda a força que haja subidas e descidas: BE-, PS+, PP-, CDU+, PSD+. Pronto, já está! :) Agora a sério: ninguém com os mínimos conhecimentos de estatística pode deixar de admitir que os resultados destas duas sondagens são iguais (não são significativamente diferentes).

Este caso mostra como as notícias sobre sondagens podem ser desinformação. O jornalista interpreta erradamente os resultados. Faz um título não suportado na realidade, o qual é rapidamente reproduzido por dezenas de posts e tweets e, em seguida, por outros meios de comunicação social - sendo até comentado pelos visados na 'falsa' notícia, i.e. os candidatos eleitorais (é um pouco como isto). Ora, quando temos uma ERC que até já estuda os trejeitos dos pivots; sendo obrigatório o depósito da sondagem na mesma ERC; não se compreende como (pelo menos do meu conhecimento), esta não se tenha ainda pronunciado sobre a maneira como os jornalistas interpretam as sondagens.

A este respeito, eu tinha comentado (31-5) no blog do Helder: «talvez fosse boa ideia, quando se "noticia" resultados de sondagens à milésima, perguntar à empresa responsável pela sondagem se a leitura que o jornalista propõe para os resultados é correcta». No dia seguinte (aqui) Pedro Magalhães, player de sondagens, escreveu: «O que acho que os jornalistas deveriam fazer é serem mais exigentes com as empresas que lhes fazem os estudos e pedir-lhes que lhes expliquem estas questões. E sempre que queiram escrever que o partido A está à frente do partido B, ou que o partido A subiu da sondagem anterior para a actual, perguntem a quem faz as sondagens se é mesmo assim. Por que não pedir uma opinião prévia sobre as peças, só para ter a certeza que não se estão a dizer coisas erradas? Não é a morte do artista.» Fácil, não é?

P.S. Não se pense que o único erro é comentar os resultados com diferença à milésima, como a notícia do Público. É também frequente o erro de considerar a margem de erro publicada na ficha técnica ("O erro máximo da Amostra é de 1,95%, para um grau de probabilidade de 95,0%" diz a ficha da última Eurosondagem) para "verificar" se a diferença entre partidos ou se a diferença entre duas sondagens do mesmo partido se situa dentro dessa margem. É o que faz Humberto Costa no Expresso: «Ainda assim esta diferença cai na margem de erro da própria sondagem (1,95%)...».
O "erro máximo" das fichas técnicas só é válido para a proporção de um partido numa sondagem. Máximo corresponderia ao caso em que a proporção fosse 0,5, o erro de amostragem real (medido numa aproximação à distribuição normal) vai diminuindo à medida que a proporção do partido se afasta de 0,5.

30/05/2009

Sobre sondagens

Há uns anos, questionava eu um médico que me dizia que os resultados de análises ao sangue eram óptimos:
Eu: - Mas, sôtor, o valor de X não está acima do limite superior dos valores de referência?
Médico: - Ó meu amigo, isso é uma diferença cagagesimal!

Desde então, esta expressão ocorre-me frequentemente para qualificar as diferenças de estimativas pontuais nas sondagens eleitorais, analisadas pelos jornalistas à décima de ponto percentual. Por exemplo, é habitual os jornalistas escreverem que o candidato A subiu ou desceu 0,5% (entenda-se 0,5 pontos percentuais) da sondagem anterior para a sondagem actual e até construirem grandes dissertações sobre as causas da subida ou da descida. Ora, se as sondagens eleitorais cumprissem os requisitos para serem consideradas 'probabilísticas', o que não acontece, a estatística dir-nos-ia que tal diferença é menos do que cagagesimal. Na linguagem que os estatísticos usam, diz-se que não se pode rejeitar a hipótese de que a diferença entra as percentagens obtidas pelo candidato na sondagem 1 e na sondagem 2 seja zero. De outro modo, poder-se-ia dizer que há 'grande' probabilidade de que a percentagem de A na população seja igual no momento da sondagem 1 e no momento da sondagem 2. Isto acontece em todas as variações reportadas no Expresso, comparando as sondagens divulgadas nas duas últimas edições deste semanário. O que quero dizer, portanto, é que, na maioria das vezes, este exercício de comentar subidas e descidas é construído sobre diferenças nas amostras que não se pode garantir com um mínimo de confiança que correspondam a diferenças na população.

Em períodos eleitorais discute-se muito sobre a validade dos resultados das sondagens. Há uma discussão que é estatística (para nerds, como se diz neste blogue, onde reside uma parte dessa discussão), centrada em "intervalos de confiança", "margens de erro", "significância [das diferenças]". Aconselho todos os interessados no assunto a visitar o referido blogue. Há outra parte que é política e que habitualmente envolve suspeitas sobre a isenção das organizações que fazem as sondagens - curiosamente, este tipo de discussão preocupa-se menos com a falta de rigor com que os resultados das sondagens são "analisados" por jornalistas e comentadores! Não quero entrar agora em nenhuma dessas discussões, mas antes num assunto que fica entre ambas e que se traduz em falta de precisão ou mesmo em falta de validade das sondagens provocada por "erros" que nada têm que ver com o erro de amostragem e que, por isso, não podem ser medidos pelos estatísticos...

As discussões "para nerds" que envolvem fracções, raízes quadradas e até letras gregas, partem de um pressuposto não verificado e que costuma ser escrito desta forma: "todas as unidades de sondagem [neste caso, eleitores] têm uma probabilidade conhecida e não nula de pertencer à amostra". De facto, não se sabe qual é a probabilidade de cada eleitor ser seleccionado para a amostra, sendo este um dos factores de erro importantes que referi. O outro é a formulação das questões, o que devia ser trivial, mas parece que não é. Vou ilustrar com a sondagem publicada hoje no Expresso.

Em primeiro lugar, diz a ficha técnica que «O Universo é a população com 18 anos ou mais, residente em Portugal Continental e Regiões Autónomas, e habitando em lares com telefone da rede fixa». Ficam de fora os eleitores que residem nos cerca de 30% de lares sem telefone fixo. Mas vamos admitir que essa exclusão não afecta em nada a capacidade de generalização dos resultados.
Em números redondos, sabe-se que foram feitas 3000 tentativas de entrevista e concluídas 2500 entrevistas. Esta taxa de resposta é anormalmente elevada, segundo os padrões internacionais para entrevistas telefónicas. Dos que responderam, 500 foram considerados abstencionistas porque (ainda?) não sabem ou não responderam em que partido votariam. As percentagens foram, deste modo, estimadas a partir de 2000 respondentes.
O histórico das eleições para o Parlamento Europeu e a opinião de analistas convergem na ideia de que dificilmente a abstenção será menor do que 60%, ou seja, mantendo a redondeza dos números, há 1000 respondentes à sondagem que deveriam ter-se abstido! Ou seja, além de termos muito mais respondentes do que seria "normal" com apenas 3000 tentativas de entrevista, temos o dobro de "votantes", relativamente ao que seria de esperar com 2500 respondentes. Dito de outra forma, poderá verificar-se uma ou ambas das condições seguintes:
  1. Metade dos inquiridos que manifestaram intenção de votar não o irão fazer;
  2. A base de sondagem está enviesada de modo a favorecer a probabilidade de resposta e/ou de o respondente não ser abstencionista.

Num plano especulativo, porque não conheço o questionário nem os números brutos da sondagem, apenas as percentagens dos resultados e a ficha técnica divulgadas pelo Expreso, poderei dizer que a condição 1. (podendo depender de 2.) depende das perguntas efectuadas - se houver uma pergunta-filtro sobre a intenção de votar / abster e só se perguntar o voto aos não-abstencionistas encontra-se um resultado; se houver apenas uma pergunta sobre a intenção de voto nas listas, o resultado é diferente.
No que respeita à condição 2., há que saber como se constroem as bases de números de telefone a partir das quais se seleccionam os lares e quais são os mecanismos ditos aleatórios de selecção. Sobre este assunto, por acaso (?) tenho uma experiência pessoal a relatar: no espaço de cinco meses, o meu n.º de telefone foi seleccionado quatro vezes pela mesma empresa para sondagens de opinião sobre diversos assuntos, dois dos quais opiniões sobre política. Não sei quantas sondagens a dita empresa fez nesse período, mas sei que a probabilidade de o mesmo n.º ser seleccionado quatro vezes é mesmo muito baixa... a não ser que a condição 2. seja mais do que uma mera suspeita infundada...

18/05/2009

Numerofilia

Paulo Rangel admitiu hoje no Parlamento «que tenha havido intencionalidade» no apagão de 15 mil desempregados "do sistema". «Confrontado com o facto de o IEFP invocar que se tratou de um erro, Paulo Rangel reiterou que “é uma coincidência infeliz que evita chegar ao meio milhão de desempregados”, e defendeu que “é preciso esclarecer o que se passou”.» Diz a Lusa, segundo a notícia do Público.
Se realmente evitasse "chegar ao meio milhão de desempregados", teria sido uma coincidência extremamente feliz! Dito como foi (ou como a Lusa diz que foi), até parece que Rangel estaria mais feliz se o número oficial tivesse já ultrapassado o meio milhão. Assim se compreende a importância dos detentores das estatísticas - para além do sono do Primeiro Ministro, os números ditam a felicidade ou a infelicidade do PS e da oposição. Na educação ou no "plano tecnológico", moldam-se as estatísticas a conclusões encomendadas, bastas vezes difundidas por jornalistas ineptos. Na economia, dada a própria consubstanciação do número na realidade, actua-se mais directamente sobre a produção estatística, embora também se recorra a alguma cirurgia estética.
Todo este trabalho por causa de uma crença infundada: é ao Governo que se deve tudo o que de bom e de mau acontece na economia e na sociedade. Como se os agentes económicos e sociais se orientassem principalmente pelas políticas... Duh!

P.S. Vale a pena ver a ilustração de numerofilia na Assembleia da República numa foto de nasty_pixel

16/05/2009

Dos 5 aos 18

A propósito do projectado alargamento da escolaridade obrigatória para o 12.º ano / 18 anos de idade, tem perpassado a ideia (por exemplo, aqui) de que esta medida:
(i) está em vigor na maioria dos países europeus e, (ii) particularmente, naqueles cuja população activa é mais qualificada.
A primeira afirmação é evidentemente falsa. A segunda também não é verdadeira, pelo menos a julgar pelo indicador que o próprio Ministério da Educação apresenta para a justificar - a taxa de saída precoce do sistema de ensino, i.e. a percentagem de jovens entre os 18 e os 24 que não completaram o secundário e não estão no sistema.
O ME produziu um "Documento de trabalho para a Audição de Peritos" (audição de peritos depois de tomada a decisão!) - disponível em PDF aqui - onde apresenta uma tabela com a escolaridade obrigatória (em anos de escolaridade e em idades limite) e as taxas de saída precoce. Eis a transcrição do documento no que respeita à leitura da tabela:
«A relação entre os anos de escolaridade obrigatória e o abandono escolar precoce não é linear. Assim, numa abordagem cruzada da duração da escolaridade obrigatória e das taxas de abandono escolar precoce, é possível dizer que não havendo uma correlação visível entre a duração da escolaridade obrigatória e os resultados escolares medidos pelo abandono escolar precoce, os países com elevadas taxas de abandono são – exceptuando Malta – países com escolaridade obrigatória de duração relativamente curta. Estes resultados não desaconselham, antes pelo contrário, a introdução da escolaridade obrigatória até aos 18 anos ou até à conclusão do secundário em Portugal. Porém, experiência de outros países mostra que não basta essa obrigatoriedade para obter os resultados esperados. De facto, são vários os factores que interferem negativamente no abandono escolar precoce e, se nenhum deles resulta da duração mais prolongada da escolaridade obrigatória, muitos podem condicionar os respectivos efeitos.»
Os acérrimos defensores do alargamento aos 18 anos não costumam citar esta leitura, nomeadamente que "são vários os factores que interferem negativamente" na suposta relação negativa entre obrigatoriedade e saída precoce, para a qual o documento afirma não haver "correlação visível".
Voltando ao documento, registo que, não vendo a tal correlação, os autores permitem-se concluir que «os países com elevadas taxas de abandono são – exceptuando Malta – países com escolaridade obrigatória de duração relativamente curta.» Noto o relativamente e a excepção maltesa :) e acrescento que essa conclusão não é indubitavelmente fundada nos dados apresentados. Para mais fácil leitura, apresento os dados publicados no documento no gráfico abaixo, ordenado pela taxa de saída, representando a vermelho os países com 12 ou 13 anos de escolaridade obrigatória, a azul os que têm 10 ou 11 anos de escolaridade obrigatória e a preto aqueles onde a escolaridade obrigatória não ultrapassa os nove anos.


Se nos concentrarmos não nos países com maior taxa de saída, mas, pelo contrário, nos que têm maior taxa de conclusão do secundário, poderemos reescrever a conclusão do documento, desta forma: os países com as mais baixas taxas de abandono são – exceptuando a Polónia – países com escolaridade obrigatória de duração relativamente curta. Isso é bem visível na parte inferior do gráfico, no primeiro quartil (saída < 10%).

Qual das conclusões é mais "manipuladora" - a minha ou a dos autores do documento para audição de peritos?

14/05/2009

Está tudo ligado à net

Fiquei estupefacto quando hoje li os títulos de diversos media portugueses sobre um "Inquérito feito pela SurveyShack a pedido da Microsoft":

Jornal de Negócios: Três em cada quatro portugueses estão ligados à Net
RTP: Portugueses são os europeus que estão mais tempo ligados à Internet com o impressionante subtítulo: "Estudo revela que os portugueses são o povo europeu com maior ligação à Internet"
Diário Digital: Estudo: Portugal é o que tem mais cibernautas online
Público: Portugueses entre os europeus que mais utilizam a Internet
[edit 14-5-2009 22:56UTC]Entretanto, esta notícia do Público ficou sem conteúdo, mantendo-se apenas a de João Pedro Pereira que corresponde à versão impressa do jornal[/edit]

Nenhum jornalista se perguntou como poderiam ser verdadeiros os números que receberam (da Microsoft?). Isto devia ser preocupante para os media - demonstra que os jornalistas, esses sim, passam demasiado tempo online e sobra-lhes pouco para pôr os pés no chão.

Vejamos um exemplo da prosa, neste caso, no Público:«Além de revelar que três em cada quatro cibernautas portugueses estão sempre ligados à Web e um quinto (19 por cento) dos inquiridos lusos passa mais de cinco horas online, o estudo demonstra que 14 por cento dos internautas portugueses estabelece ligação à Web mais do que duas vezes por dia e 22 por cento passa uma a duas horas durante uma sessão normal na Internet.»
É difícil (pelo menos, para mim!) compreender como a informação contida neste parágrafo não é contraditória, mas mais difícil se torna quando, mais abaixo, a mesma notícia do Público diz que «39 por vento [sic] passam entre sete e 15 horas online por semana». Ora, eu imagino que quem passe entre sete e 15 horas não possa ser incluído nos que «estão ligados à Web em permanência», que são 76%; só a soma destes dois grupos já dá 115% de cibernautas!

Mas o prémio de ligado à net vai para a notícia da RTP: «Um inquérito da Microsoft refere que um em cada cinco portugueses passa mais de cinco horas por dia a navegar no ciberespaço. (...) É um dado revelador, já que o mesmo estudo conclui que um em cada quatro utilizadores da Internet na Europa passa entre sete e 15 horas online, mas por semana

Ora bem, a vantagem de "estar online", é ter acesso a informação que desmente completamente esta notícia, ou melhor, a forma como é apresentada, com títulos verdadeiramente fantasiosos. É preciso, em primeiro lugar, dizer que este "Inquérito feito pela SurveyShack a pedido da Microsoft" foi feito online, i.e. responderam cibernautas que passam tanto tempo online que até ocupam algum desse tempo a responder a inquéritos. Em segundo lugar, convém dizer que há inquéritos harmonizados na UE sobre a frequência de utilização da Internet, os quais revelam que a posição dos portugueses é na cauda da Europa, muito longe de sermos «o povo europeu com maior ligação»! Em Portugal, o inquérito é realizado pelo INE (metodologia disponível aqui) e os resultados são apresentados pela UMIC (aqui). Para comparações com a Europa, supostamente liderada por nós :), estão disponíveis os dados no Eurostat (aqui).

Então, começando pela notícia da RTP que ganhou o prémio, os números mostram que, considerando apenas os portugueses entre os 16 e os 74 anos que utilizaram Internet nos últimos três meses, 20% esteve online menos de uma hora por semana e 53% menos de 5 horas por semana. Apenas um quarto dos cibernautas portugueses passou mais de 20h online por semana.

Estes são os resultados dentro da população que utilizou internet pelo menos uma vez no trimestre de referência. O pior para a suposta liderança portuguesa é precisamente essa fatia da população que acede à net. 29% dos portugueses entre os 16 e os 74 anos acede à net "todos os dias ou quase todos os dias"; na UE27, são 43%. 38% dos portugueses entre os 16 e os 74 anos acede à net "pelo menos uma vez por semana"; na UE27, são 56%.

Aqui fica a demonstração de como a utilização da net é menor em Portugal do que na Europa. Ela é idêntica até aos 24 anos, mas depois é que são elas...

10/02/2009

Mentiras & Contradições

Comecemos pelas contradições
Na sequência de um post que publiquei no passado Outubro, volto ao tema da utilização da net por crianças e de como ela é encarada pelos pais. Tudo porque se diz que hoje é o Dia Europeu da Internet Segura e vários jornais dedicam um considerável espaço ao assunto.

Por exemplo, o Público apresenta desta forma os resultados do Eurobarómetro, numa entrevista a Cristina Ponte: «“Há uma contradição no Eurobarómetro: os pais que dizem que fazem pouco uso da Internet [só 32 por cento dos pais portugueses usam a web pelo menos uma vez por dia, quando a média da UE é de 54 por cento] e ao mesmo tempo aparecem em primeiro lugar a nível europeu como os que mais controlam [30 por cento dizem estar sempre ao lado dos filhos na net; a média europeia é de 13 por cento] e que vêem os históricos e e-mail [35 por cento garantem fazê-lo, em contraste com a média europeia de 22 por cento]”.»

Relacionando estes resultados com os que mencionei no post de Outubro e com as estatísticas sobre a utilização de meios de informação e comunicação, arrisco-me a especular que os pais portugueses (tal como os 'chefes' portugueses em geral) querem é controlar o que não dominam. Não tarda, vão adaptar a brilhante ideia do Governo de chipar matrículas e vão também chipar os petizes que deixam na escola durante 12 horas por dia. Enquanto não, vão-se entreter a ver os filmes do recreio.

Desculpem a presunção, mas há pelo menos duas coisas que alguns pais precisam de aprender: 1) informática; 2) a história do nazismo.

E agora vamos a uma grande mentira
Porque o tema é o mesmo, não posso deixar de fazer referência a uma "notícia" da Lusa que nem a melhor propaganda de Salazar seria capaz de criar: «Portugal tem taxas de acesso à Internet superiores à média da União Europeia». Afinal, vai-se a ver e «87 por cento dos portugueses com o secundário completo utilizam a Internet, sendo os quintos da União Europeia que mais acedem a esta tecnologia». Então e a central de propaganda não se dá ao trabalho de consultar quantos são os portugueses com o secundário completo?
É que a verdade é esta - há quatro países da UE atrás de Portugal na utilização da Internet: Roménia, Bulgária, Grécia e Chipre. 42% dos portugueses usam net, face a uma média de 61% na UE27. A Lusa conseguir transformar isto naquele título... leva-me, de novo, à história do nazismo!