Há quase duas décadas, o PISA, mais importante avaliação educacional do mundo, tem o poder de derrubar ministros, determinar mudanças em políticas públicas, gerar manchetes alarmantes, elevar o status dos países líderes do ranking e ridicularizar os lanterninhas. Não há dúvida de que a educação brasileira segue patinando. Mas tirar essa conclusão apenas pelos resultados do PISA é questionável. Neste ano, parte dos resultados da Espanha não será revelado por "comportamento inverossímil" na resposta de 5% dos estudantes. É o exemplo mais recente de uma sucessão de anomalias – boicotes, escolas fantasma, falhas de impressão, amostras desequilibradas, problemas de tradução e erros informáticos, como aponta o apanhado de distorções publicado pelo diário espanhol El País. Pode-se levar a sério o PISA?

A provocação dá nome ao livro dos franceses Bertrand Daunay e Daniel Bart (Pode-se levar a Sério o PISA? O tratamento do texto literário em uma avaliação internacional, Mercado das Letras, 2018, 216 páginas). Para a dupla, do ponto de vista didático e científico, a resposta é um corpulento "não". Daunay, professor da Universidade de Lille, é especialista em didática da língua e da literatura francesas. Bart, professor pela mesma instituição, pesquisa práticas da avaliação. Nos últimos anos, ambos vêm analisando o conteúdo e a forma do exame trienal realizado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) – o Brasil participa desde a primeira edição, em 2000.

Afirmam os autores que o PISA pode ser decomposto em duas partes. A primeira seria o exame em si. A prova divulgada hoje foi aplicada em 2018 a 600 mil estudantes de 15 anos em 79 países. Mediu competências em Leitura, Matemática e Ciências. Para Bart e Daunay, um primeiro problema é a promessa de avaliar competências "para a vida futura" com base em testes tradicionais numa prova escrita – modalidade de avaliação que existe desde o século 16. O caráter internacional do exame é fortemente questionado. Como conceber uma avaliação justa, que contemple as especificidades de contextos tão distintos quanto os de Brasil, China, Finlândia, Cazaquistão e Marrocos? Bart e Daunay vão dizer que, na prática, esse é um aspecto ignorado. Algo que colide com a propaganda oficial da OCDE, para quem uma das forças do PISA seria trabalhar o mais próximo possível da realidade e da cultura própria dos estudantes.

Superada a prova, vem a segunda parte do PISA. Periodicamente, a OCDE publica relatórios sobre os resultados. Eles costumam funcionar como guia de ação para governos e suas políticas educacionais. É de se esperar rigor científico na análise, mas Bart e Daunay classificam, provocativamente, algumas delas como "piadas" – e outras como "imprecisões, clichês, banalidades, generalidades, bizarrices".

A coleção de impropriedades é volumosa. Em publicação do PISA de 2011, o senso comum: "Para serem eficazes, os sistemas educacionais devem poder contar com pessoal competente e talentoso, meios pedagógicos e infraestruturais adequados, bem como alunos motivados e dispostos a aprender" – algo, de fato, bastante óbvio; em texto de 2014, a generalização: "Nos países cuja cultura é inspirada pela tradição confuciana, os alunos, os pais e os professores atribuem um grande valor à educação e ao sucesso escolar, e numerosos observadores estimam que essa especificidade cultural oferece uma grande vantagem a esses países" – o próprio PISA admite que nem todas as nações com esse background alcançam bom desempenho; de volta a 2011, o preconceito: "A pontuação dos alunos oriundos de ambientes socioeconômicos desfavorecidos seria nitidamente mais próxima da pontuação dos alunos favorecidos se eles se dedicassem mais à leitura e considerassem a aprendizagem sob uma luz mais positiva".

Na mesma linha estão as afirmações sobre Leitura, Matemática e Ciências. Ao analisar os relatórios da OCDE, os autores denunciam que o termo "evidências" estaria sendo usado pelo PISA para defender concepções didáticas e recomendações práticas que, na verdade, estão longe de ser consensuais entre os especialistas.

Bart e Daunay atacam o modo de escrever do PISA como uma forma de argumentação que se opõe ao raciocínio científico e filosófico. Afirmar algo como "evidente" é autoritário e fecha porta a divergências – o contrário do que a ciência deveria fazer. Na visão dos autores, a aposta em recomendações que desconsideram as especificidades locais (e pior, que repisam clichês pedagógicos) retira qualquer utilidade pedagógica do exame. Na visão da dupla, seria fundamental incentivar o debate sobre como melhorar o ensino. "O PISA, ao contrário, apresenta suas opções como naturais e não como problemáticas", escrevem. "Seu discurso produz um efeito mais de imposição do que diálogo."

A dupla francesa não está isolada na crítica. O exame vem sendo questionado desde sua primeira edição, em 2000. Alguns aspectos recorrentes: o PISA avalia competências e não disciplinas, que é como as escolas apresentam o conhecimento; o recorte da amostra de alunos por idade e não por grau de escolaridade dificulta a comparação entre nações (países com alta distorção idade-série e repetência, como o Brasil, podem ser prejudicados); há muitos segredos em relação às escolhas metodológicas e dados relevantes do exame, sobretudo questões da prova (a OCDE revela poucas delas).

A divulgação dos resultados também é alvo de reparos. Em 2016, os jornalistas Marcelo Soares e Gustavo Heidrich denunciaram problemas no preenchimento dos questionários brasileiros na edição de 2015. Confrontada, a OCDE admitiu falhas em dados sobre o Brasil. O reconhecimento do equívoco é uma exceção na postura do PISA. "Não se encontra quase nunca, nos relatórios do Programa, debate argumentado com as posições ou as teses defendidas por esses autores críticos, como é geralmente o caso nos textos científicos", escrevem Bart e Daunay. "Essa ausência de debate leva à impressão de autoevidência no PISA, isto é, de que as escolhas e as afirmações desse Programa não precisam de fundamentação ou justificativa, sendo, por isso, naturalizadas."