Cássia Cris Beckel

Avaliações externas1

SAEB e Prova Brasil –

História da Prova Brasil e do Saeb

O Sistema Nacional de Avaliação da Educação Básica (Saeb) foi a primeira iniciativa brasileira, em escala nacional, para se conhecer o sistema educacional brasileiro em profundidade. Ele começou a ser desenvolvido no final dos anos 80 e foi aplicado pela primeira vez em 1990.

Em 1995, o Saeb passou por uma reestruturação metodológica que possibilita a comparação dos desempenhos ao longo dos anos. Desde a sua primeira avaliação, fornece dados sobre a qualidade dos sistemas educacionais do Brasil como um todo, das regiões geográficas e das unidades federadas (estados e Distrito Federal).

O Saeb é feito a cada dois anos e avalia uma amostra representativa dos alunos regularmente matriculados nas 4ª e 8ª séries do ensino fundamental e 3º ano do ensino médio, de escolas públicas e privadas, localizadas em área urbana ou rural.

Semelhanças e diferenças entre a Prova Brasil e o Saeb

A Prova Brasil e o Saeb são dois exames complementares que compõem o Sistema de Avaliação da Educação Básica. Dessa forma você vai entender melhor os pontos em comum e as diferenças entre as duas avaliações.

Prova Brasil

Saeb

A prova foi criada em 2005.

A primeira aplicação ocorreu em 1990.

Sua primeira edição foi em 2005, e em 2007 houve nova aplicação.

É aplicado de dois em dois anos. A última edição foi em 2005. Em 2007 houve nova prova.

A Prova Brasil avalia as habilidades em Língua Portuguesa (foco em leitura) e Matemática (foco na resolução de problemas)

Alunos fazem prova de Língua Portuguesa (foco em leitura) e Matemática (foco na resolução de problemas)

Avalia apenas estudantes de ensino fundamental, de 4ª e 8ª séries.

Avalia estudantes de 4ª e 8ª séries do ensino fundamental e também estudantes do 3º ano do ensino médio.

A Prova Brasil avalia as escolas públicas localizadas em área urbana.

Avalia alunos da rede pública e da rede privada, de escolas localizadas nas áreas urbana e rural.

A avaliação é quase universal: todos os estudantes das séries avaliadas, de todas as escolas públicas urbanas do Brasil com mais de 20 alunos na série, devem fazer a prova.

A avaliação é amostral, ou seja, apenas parte dos estudantes brasileiros das séries avaliadas participam da prova.

Aplicação em 2007: 5 a 20 de novembro.

Aplicação em 2007: 5 a 20 de novembro.

Parte das escolas que participarem da Prova Brasil ajudará a construir também os resultados do Saeb, por meio de recorte amostral.

Todos os alunos do Saeb e da Prova Brasil farão uma única avaliação.

Perguntas freqüentes

1. O que é Prova Brasil e o que é Saeb?

São avaliações para diagnóstico, em larga escala, desenvolvidas pelo Inep/MEC, que objetivam avaliar a qualidade do ensino oferecido pelo sistema educacional brasileiro a partir de testes padronizados e questionários socioeconômicos. ( instituto nacional de estudos e pesquisas educacionais). Nos testes, os estudantes respondem a itens (questões) de Língua Portuguesa, com foco em leitura, e Matemática, com foco na resolução de problemas. No questionário socioeconômico, os estudantes fornecem informações sobre fatores de contexto que podem estar associados ao desempenho. Professores e diretores das turmas e escolas avaliadas também respondem a questionários que coletam dados demográficos, perfil profissional e de condições de trabalho.

2. Para que servem a Prova Brasil e o Saeb?

A partir das informações do Saeb e da Prova Brasil, o MEC e as secretarias estaduais e municipais de Educação podem definir ações voltadas ao aprimoramento da qualidade da educação no país e a redução das desigualdades existentes, promovendo, por exemplo, a correção de distorções e debilidades identificadas e direcionando seus recursos técnicos e financeiros para áreas identificadas como prioritárias. As médias de desempenho nessas avaliações também subsidiam o cálculo do Índice de Desenvolvimento da Educação Básica (Ideb), ao lado das taxas de aprovação nessas esferas. Além disto, os dados também estão disponíveis a toda a sociedade que, a partir dos resultados, pode acompanhar as políticas implementadas pelas diferentes esferas de governo. No caso da Prova Brasil ainda pode ser observado o desempenho específico das escolas públicas urbanas do País. Os dados dessas avaliações são comparáveis ao longo do tempo, ou seja, pode-se acompanhar a evolução dos desempenhos das escolas, das redes e do sistema como um todo.

3. Qual a diferença entre as duas provas?

A base metodológica das duas provas é a mesma, a diferença está na população de estudantes aos quais são aplicadas e, conseqüentemente, aos resultados que cada uma oferece. Ambas avaliam as mesmas disciplinas, Língua Portuguesa e Matemática.

A Prova Brasil avalia alunos de 4ª e 8ª séries do ensino fundamental, da rede pública e urbana de ensino. Considerando este universo de referência, a avaliação é censitária, e assim oferece resultados de cada escola participante, das redes no âmbito dos municípios, dos estados, das regiões e do Brasil.

O Saeb, por sua vez, é uma avaliação por amostra, isso significa que nem todas as turmas e estudantes das séries avaliadas participam da prova. A amostra de turmas e escolas sorteadas para participarem do Saeb é representativa das redes estadual, municipal e particular no âmbito do País, das regiões e dos estados. Dessa forma, não há resultado do Saeb por escola e por município.

Participam do Saeb alunos de 4ª e 8ª séries do ensino fundamental, e também os da 3ª série do ensino médio regular, tanto da rede pública quanto da rede privada, em área urbana e rural (neste último caso, apenas para a 4ª série, no nível das regiões geográficas). Os resultados do Saeb, em conjunto com as taxas de aprovação escolar, são a base de cálculo para o Ideb de cada estado e do Distrito Federal e, conseqüentemente, do Brasil.

4. No que essas avaliações diferem das provas tradicionais / clássicas?

Diferentemente das provas que o professor aplica em sala de aula, a metodologia adotada na construção e aplicação dos testes do Saeb e Prova Brasil é adequada para avaliar redes ou sistemas de ensino, e não alunos individualmente.

Os resultados são produzidos a partir da aferição das habilidades e competências propostas nos currículos para serem desenvolvidas pelos alunos em determinada etapa da educação formal. Como os currículos são muito extensos, um aluno não responde a todas as habilidades neles previstas, em uma única prova. Um conjunto de alunos responde a várias provas. Desta forma, os resultados não refletem a porcentagem de acertos de um aluno respondendo a uma prova, mas a de um conjunto de alunos, respondendo às habilidades do currículo proposto, distribuídas em várias provas diferentes.

Como cada grupo de alunos representa uma unidade dentro do sistema de ensino, por exemplo, uma escola ou uma rede, tem-se o resultado para cada unidade prevista e não para os alunos individualmente.

5. Os resultados podem ser comparados ao longo dos anos? Sim. A metodologia utilizada permite que se compare o desempenho das redes e escolas ao longo do tempo. Assim, enquanto determinadas avaliações não permitem a comparação em função de graus diferentes de dificuldade em suas edições, os instrumentos utilizados no Saeb e na Prova Brasil permitem fazer tal comparação.

6.O que cai nas provas?

A Prova Brasil e o Saeb são avaliações elaboradas a partir de Matrizes de Referência, um documento onde estão descritas as habilidades a serem avaliadas e as orientações para a elaboração das questões. Essas matrizes reúnem o conteúdo a ser avaliado em cada disciplina e série.

A construção das Matrizes de Referência teve como base a consulta aos Parâmetros Curriculares Nacionais e as propostas curriculares dos estados brasileiros e de alguns municípios, alcançando-se uma síntese do que havia de comum entre elas. Para estabelecimento das matrizes também foram consultados professores das redes municipal, estadual e privada na 4ª e 8ª série do Ensino Fundamental e na 3ª série do Ensino Médio, nas disciplinas de Língua Portuguesa e Matemática. Foi realizado, ainda, exame de livros didáticos mais utilizados nas mesmas redes e séries. Em seguida, foram incorporadas análises de professores e especialistas nas áreas do conhecimento avaliadas. A opção teórica adotada é a que pressupõe a existência de competências cognitivas e habilidades a serem desenvolvidas pelo aluno no processo de ensino-aprendizagem.

7. As matrizes de referência são equivalentes às matrizes curriculares?

As matrizes de referência não podem ser confundidas com as matrizes curriculares, pois não englobam todo o currículo escolar. Também não podem ser confundidas com procedimentos ou estratégias de ensino. Para elaborar as matrizes de referência, foi feito um recorte com base no que pode ser aferido por meio dos instrumentos utilizados no Saeb e na Prova Brasil. As matrizes de referência estão subdivididas em tópicos ou temas e estes, em descritores.

Cada descritor é uma associação entre conteúdos curriculares e operações mentais desenvolvidas pelos alunos que traduzem certas competências e habilidades. Os descritores, portanto, especificam o que cada habilidade implica e são utilizados como base para a construção dos itens de testes das diferentes disciplinas. Cada descritor dá origem a diferentes itens e, a partir das respostas dadas a eles, verifica-se quais habilidades os alunos efetivamente desenvolveram.

8. As escolas são obrigadas a participar?

A participação no Saeb e na Prova Brasil é voluntária. Para o Saeb, são feitos sorteios das escolas que irão participar da avaliação. Quanto à Prova Brasil, a adesão é feita pelas secretarias estaduais e municipais de educação. Cabe ressaltar, porém, que o comprometimento dos participantes é fundamental para a qualidade dos resultados apurados, e é fundamental para que a escola ou rede participe para que tenha seu Ideb calculado.

9. Qual é a participação das Secretarias Estaduais e Municipais de Educação?

As secretarias de Educação são o elo de ligação do Inep/MEC com todas as escolas avaliadas, sejam estaduais, municipais ou particulares (no caso do Saeb), e ajudam a articular a aplicação da prova no estado.

10. Com o Saeb e Prova Brasil o governo federal pretende acabar com os sistemas Estaduais e Municipais de Avaliação?

As avaliações federais, as estaduais e as municipais são independentes. A Prova Brasil e o Saeb são conduzidos nacionalmente pelo Governo Federal, enquanto as avaliações estaduais e municipais podem ter metodologia própria e são concebidas e realizadas pelos governos estaduais e municipais. Em muitos casos há a cooperação técnica entre governo federal, estadual e municipal, ou seja, há congruência entre algumas avaliações estaduais com a Prova Brasil e o Saeb.

Um dos objetivos da Prova Brasil e do Saeb é estimular a cultura da avaliação, fomentando, assim, a implementação de avaliações estaduais e municipais. Neste sentido, o Inep pode auxiliar, sob certas condições, os estados e municípios a estruturarem e levarem adiante suas avaliações, por meio do seu Banco Nacional de Itens.

11. Quando foi a última aplicação das avaliações? Quem fez a Prova Brasil? E o Saeb?

Em 2007, fizeram a Prova Brasil todos os estudantes da rede pública urbana de 4ª e 8ª séries do ensino fundamental, em estabelecimentos com um mínimo de 20 alunos na série avaliada. Já o Saeb foi aplicado a uma amostra de alunos dessas séries na rede privada e rural, e também a estudantes do 3º ano do ensino médio das redes pública e privada. Os resultados de 2007 serão divulgados até o final do

primeiro semestre de 2008.

12. Como a prova é organizada?

Ao todo, são confeccionados 21 tipos diferentes de cadernos de prova para cada série, sendo que cada aluno responde a apenas um caderno de prova. Desta forma, dois alunos não respondem necessariamente às mesmas questões.

Cada caderno de prova é constituído por quatro blocos, sendo

que dois são destinados a respostas de Língua Portuguesa e os outros dois abordam questões de Matemática. Os testes são de múltipla escolha, com quatro ou cinco alternativas de resposta para cada questão, sendo que apenas uma está correta. Os alunos de 4ª série responderão a 22 itens de português e a 22 itens de matemática. Já os estudantes de 8º série e do 3º ano do ensino médio responderão a 26 itens de português e a 26 de matemática. O tempo total estipulado para a realização das provas é de 2 horas e 30 minutos. Existem, no total, 77 itens de cada disciplina na 4ª série e 91 itens de cada disciplina na 8ª série do Ensino Fundamental e no 3º ano do Ensino Médio distribuídos pelos 21 cadernos de prova .

13. Como é a aplicação da prova?

As provas são aplicadas por profissionais de uma empresa contratada exclusivamente para esse fim. Esses aplicadores são treinados e capacitados para manterem os critérios e a padronização dos testes em âmbito nacional. As datas e os horários das provas são agendados pelos aplicadores, que entram em contato com as escolas. Durante a realização das provas para os alunos de 4ª série, caberá ao aplicador ler as orientações dos testes e explicar a forma de preenchimento das respostas. No entanto, as questões das provas não serão lidas pelo aplicador.Para os alunos de 8ª série e do 3º anos do Ensino Médio, os aplicadores farão apenas a leitura das orientações do teste. Caberá aos próprios alunos lerem os procedimentos para preenchimento do formulário de respostas e a interpretação das questões. Crianças portadoras de necessidades especiais também poderão participar das avaliações.

14. Além das provas, os estudantes respondem a outros questionários?

Sim. Logo após a realização dos testes, os alunos deverão responder a um questionário socioeconômico e cultural, com 44 questões, que serve para a caracterização dos estudantes.

Professores de Língua Portuguesa e Matemática das séries avaliadas, além dos diretores das escolas, também são convidados a responder questionários que possibilitam conhecer a formação profissional, práticas pedagógicas, nível socioeconômico e cultural, estilos de liderança e formas de gestão. Os questionários destinados aos professores e diretores são entregues pelos aplicadores antes da realização dos testes por parte dos alunos e devem ser recolhidos ao final da prova.

São coletadas, ainda, informações sobre o clima acadêmico da escola, clima disciplinar, recursos pedagógicos disponíveis, infra-estrutura e recursos humanos. Na mesma ocasião, é preenchido pelos aplicadores dos testes um formulário sobre as condições de infra-estrutura das escolas que participam da avaliação. De posse desses dados, é possível o estudo dos fatores associados ao desempenho dos alunos.

15. Como o professor pode preparar seus alunos para fazerem a prova? O trabalho normal da escola, cuidando para que cada aluno tenha um adequado processo de aprendizagem, garante o bom desempenho nestes exames. De todo modo, pode-se conhecer e entender as matrizes de referência da avaliação disponíveis no sitio do Inep. Nela, os descritores estão detalhados e há exemplos de questões (itens), que podem ser examinados pela comunidade escolar.

16. Como são calculadas as notas? (apresentação dos resultados) As médias do Saeb e da Prova Brasil não vão de zero a dez, como as avaliações tradicionais cujas notas refletem o volume de conteúdo que o estudante acerta. Para entender o que significam as notas dessas duas avaliações em larga escala deve-se partir do pressuposto que, diferente de uma prova clássica como a que o professor aplica a seus alunos em sala de aula, os testes da Prova Brasil e do Saeb são construídos metodologicamente para avaliar sistemas de ensino, e não alunos.

As médias são apresentadas em uma escala de desempenho capaz de descrever, em cada nível, as competências e as habilidades que os estudantes desses sistemas demonstram ter desenvolvido. Há uma escala descrita para as habilidades em Língua Portuguesa e outra para Matemática.

Dentro de cada uma das disciplinas, a escala é única e acumulativa, para todas as séries avaliadas – a lógica é a de que quanto mais o estudante caminha ao longo da escala, mais habilidades terá acumulado. Portanto, é esperado que alunos da 4ª série alcancem médias numéricas menores que os de 8ª série e estes alcancem médias menores que as alcançadas pelos alunos de 3º ano do ensino médio.

17. Como saber se a nota na prova está boa ou ruim? Ao apresentar os resultados da Prova Brasil e do Saeb, o MEC não tem o intuito de ranquear sistemas, ou impor parâmetros de qualidade que firam a autonomia das redes de ensino. O objetivo é que os resultados apresentados sejam incorporados pelos professores, diretores, gestores e pela própria sociedade, e que fomentem o debate e um trabalho pedagógico que subsidiem a melhoria da qualidade educacional dos sistemas.Cada nível da escala apresenta as habilidades que os alunos desenvolveram, com base na média de desempenho e distribuição dos alunos de cada rede ou escola nesta escala e sua interpretação pedagógica, a rede ou a escola pode se comparar seus resultados com seus próprios objetivos, observando, por exemplo, até que ponto as habilidades que foram planejadas para seres trabalhadas com seus alunos foram alcançados.

18. Os resultados são comparáveis ao longo dos anos?

Sim. A Prova Brasil e o Saeb utilizam recursos metodológicos para garantir a comparabilidade dos seus resultados, como por exemplo, a utilização da Teoria de Resposta ao Item (TRI) e a manutenção de itens ancoras ao longo da história da avaliação.

19. É preciso fazer o Saeb e Prova Brasil para ter Ideb?

Sim. As médias de desempenho nas avaliações são utilizadas para o cálculo do Ideb, Índice de Desenvolvimento da Educação Básica, que é o eixo do Programa de Metas Compromisso Todos pela Educação, do PDE (Plano de Desenvolvimento da Educação). Assim, a avaliação passa a ser a primeira ação concreta para se aderir às metas do Compromisso e receber o apoio técnico/financeiro do MEC.

Exemplos de questões da Prova Brasil

1) Observe o triângulo abaixo:

2)

1 http://www.inep.gov.br/

Comentários