quinta-feira, 10 de novembro de 2011

As notas do Enem

José Francisco Soares
Clipping Educacional - Revista Educação
O Exame Nacional do Ensino Médio (Enem) tem desempenhado várias funções em relação à educação básica brasileira. A mais importante é em relação ao currículo. O Enem assume, ao fim da educação básica, que o aluno deve ter aprendido os conhecimentos e desenvolvido as habilidades que o permitam funcionar plenamente na sociedade. Isto implica, conforme o artigo 205 da Constituição, em estar preparado para a participação ativa e crítica na sociedade e para sua inserção no mundo do trabalho.
No entanto, além dessa importante função, atribuiu-se ao Enem várias outras. Nos últimos anos ele se transformou em um grande vestibular único nacional, em um sistema de avaliação das escolas de ensino médio e em um sistema de certificação de alunos de educação de jovens e adultos. Esta multiplicidade de funções torna muito complexa a sua preparação. Em particular o seu uso como avaliação de escolas não tem sido adequadamente discutido.
Para que o Enem produza resultados que retratem eventuais melhorias em escolas ou sistemas de ensino, os testes dos diferentes anos devem produzir medidas de aprendizado que sejam comparáveis. Isto tem sido feito há muitos anos no âmbito do Sistema de Avaliação da Educação Básica (Saeb) que, para garantir a comparabilidade entre anos, repete alguns itens do ciclo anterior. Estes itens, cujo comportamento empírico é conhecido antes da realização do teste, permitem a produção da comparabilidade.
Como o Enem tem também a função de um vestibular, decidiu-se publicar a cada ano, por uma necessidade de transparência, todos os itens dos testes usados. Tomada esta decisão, a maneira mais sólida de garantir que os escores dos alunos nos diferentes anos estejam na mesma escala é pré-testar todos os itens que serão usados nos testes. Nessa operação, calibra-se o comportamento empírico dos novos itens de forma que meçam o desempenho dos alunos na mesma escala dos anos anteriores. Isto é obtido colocando no pré-teste itens de anos anteriores e itens novos. Ou seja, o que no Saeb é feito no âmbito do próprio teste, no caso do Enem é feito em um pré-teste.
Ou seja, para que o Enem possa desempenhar as suas diversas funções o pré-teste de itens torna-se uma operação complexa e, naturalmente, cara, pois cada item no pré-teste deve ser respondido entre 500 e 1000 alunos. 
Como o Enem é hoje, principalmente, um vestibular, a organização de um pré-teste é tarefa muito difícil, como os recentes acontecimentos mostram. Isto sugere que as decisões tomadas devem ser reavaliadas.
A solução poderia vir excluindo-se das atribuições do Enem a função de avaliação do ensino médio. As outras funções podem ser feitas sem que os itens tenham de ser calibrados a priori. Isto, é claro, põe grande pressão nos redatores e revisores de itens, fato conhecido de toda comissão de concursos.
Esta proposta não exclui a possibilidade de tornar comparáveis os resultados de diferentes anos para que os escores de um ano possam ser utilizados nos processos de admissão das universidades em anos posteriores. Apenas se mudaria a forma de criar a comparabilidade, passando-se a usar formas alternativas não dependentes de pré-teste. Uma destas formas de se fazer isso seria fixar um grupo de referência, por exemplo, os alunos que terminaram o ensino médio no ano do Enem na idade correta. A distribuição dos escores, calculados ou não pela Teoria de Resposta ao Item (TRI), neste grupo seria mantida a mesma ao longo dos anos, através de algoritmos de equalização baseados em percentis. Os escores dos outros alunos sofreriam a transformação definida para este grupo.
Este método, naturalmente, produz uma comparabilidade entre os escores adequada para as funções de seleção, mas que não permite verificar se houve ou não melhorias no desempenho de escolas ou de sistemas de ensino. No entanto, do ponto de vista social, teria enorme vantagem de garantir de que os itens usados não teriam sido divulgados antes por nenhum meio. Além disso, permitiria o uso imediato dos muitos itens já desenvolvidos e ainda não pré-testados. Com esta providência o exame poderia ser oferecido muitas vezes ao ano, eliminando sua atual espetacularização. Estas experiências tornariam a aplicação por computador viável em tempo mais curto.
Embora sempre existam soluções técnicas para os problemas gerados pelas decisões políticas, a grande questão sobre o Enem é sua unicidade. A decisão de se usar um único exame nacional, para todas as universidades, para todos os alunos, independente da carreira escolhida, em um único dia, gerenciado por um único grupo e para tantas finalidades é algo que merece muito mais debates políticos, sociais e educacionais do que os que já ocorreram.

O texto abaixo foi enviado por José Francisco Soares, professor do programa de pós-graduação em Educação da Universidade Federal de Minas Gerais (UFMG), coordenador do Grupo de Avaliação e Medidas Educacionais (GAME) na mesma universidade e doutor em Estatística pela Universidade de Wisconsin - Madison.

0 comentários:

Postar um comentário