v20Avaliação nº3: Brasil Alfabetizado: marco referencial para avaliação cognitiva

v20Avaliação nº3: Brasil Alfabetizado: marco referencial para avaliação cognitiva

(Parte 2 de 11)

Ricardo Henriques

Secretário de Educação Continuada, Alfabetização e Diversidade

Introdução9

Sumário

Maria Lúcia Castanheira, Gladys Rocha e Delaine Cafiero13

Matriz de Referência: avaliação de competências – Leitura e Escrita Antônio Augusto Gomes Batista, Ceris S. Ribas da Silva,

a elaboração da matriz de avaliação14
A aplicação do teste16
Matriz de referência18
Referências27

Pressupostos teóricos e suas implicações para

Maria da Penha Lopes e Maria Laura Magalhães Gomes29

Matriz de Referência: avaliação de Matemática Maria da Conceição Ferreira Reis Fonseca,

a elaboração da matriz de avaliação30
A Matriz de Referência proposta35
Manual de aplicação41
Sobre a avaliação45
Sobre a aplicação da avaliação52

Introdução

A dimensão cognitiva – aspecto fundamental no âmbito de uma política pública voltada à alfabetização de jovens e adultos – tem recebido atenção especial no processo de construção do Plano de Avaliação do Programa Brasil Alfabetizado.

Desde 2004, quando foram desenvolvidas as primeiras iniciativas de avaliação, a elaboração de testes de Leitura/Escrita e Matemática – visando à aferição do desempenho cognitivo dos alfabetizandos jovens e adultos atendidos pelo programa – foi destinatária dos principais esforços dos atores e parceiros envolvidos na implementação do Plano de Avaliação.

Os subsídios oriundos da experiência de campo prévia – realizada em dezembro de 20041 – permitiram que as estratégias, fundamentos teóricos e elementos operacionais relacionados aos testes cognitivos fossem redesenhados e adaptados à nova realidade.

Sob responsabilidade direta da equipe do Centro de Alfabetização, Leitura e

Escrita (Ceale) – vinculado à Faculdade de Educação da Universidade Federal de Minas Gerais (FaE/UFMG) – foram empreendidas três ações, frutos do aprendizado proporcionado pela experiência de campo, visando ao redesenho do sistema de avaliação cognitiva dos alfabetizandos atendidos pelo Programa Brasil Alfabetizado.

Em um primeiro momento, as Matrizes de Referência – Leitura/Escrita e Matemática – foram aperfeiçoadas, incluindo os avanços trazidos pelas discussões e debates realizados entre o Ceale e a equipe do Departamento de Educação de Jovens e Adultos (DEJA) da Secretaria de Educação Continuada, Alfabetização e Diversidade (Secad). Ademais, foram consideradas – quando pertinentes – as recomendações e sugestões contidas nos relatórios de campo, elaborados pelos técnicos responsáveis pela aplicação da primeira versão dos testes cognitivos. Ver o volume 19 da Coleção Educação para Todos - Série Avaliação, intitulado “A experiência de campo de 2004”.

Posteriormente, o Ceale empreendeu significativa inflexão na metodologia de aplicação dos testes cognitivos. Enquanto a proposta original fundava-se na aplicação individual, a nova versão das Matrizes de Referências trazia explícita a opção por uma aplicação predominantemente coletiva – predominante e não exclusiva, uma vez que as questões de leitura permaneceram de aplicação individual. Os aplicadores tornaram-se verdadeiros “mediadores”, responsabilizando-se fundamentalmente pela leitura dos enunciados, legando, assim, aos alfabetizandos um papel mais ativo no processo de avaliação, uma vez que a eles passou a caber, diretamente, a função de preenchimento das respostas. Além dos potenciais impactos pedagógicos que tal alteração de fato alcançou – tais como a menor possibilidade de constrangimento, por parte do alfabetizando, quando da escolha das respostas –, cabe enfatizar fundamental desdobramento concreto sobre a logística de campo: a redução significativa no tempo consumido pela aplicação dos testes cognitivos, permitindo que um número maior de alfabetizandos fosse avaliado sem qualquer necessidade de elevação no número de aplicadores.

Como ponto de convergência destas alterações, o Ceale realizou a revisão de todos os itens de avaliação – tanto do teste de Leitura/Escrita, quanto do teste de Matemática – abrangendo o aperfeiçoamento da diagramação e a melhoria da qualidade das imagens, além da readaptação dos níveis de dificuldade das questões.

O presente volume apresenta, portanto, o resultado final desse rico processo de construção do sistema de avaliação cognitiva dos alfabetizandos jovens e adultos atendidos pelo Programa Brasil Alfabetizado, base primordial das ações avaliativas implementadas durante os anos de 2005 e 2006.

Os dois primeiros capítulos trazem a lume o produto da reformulação e redesenho das Matrizes de Referência – Leitura/Escrita e Matemática – que formam a moldura teórico-pedagógica dos testes cognitivos para avaliação de competências dos alfabetizandos. Além dos pressupostos teóricos e metodológicos que embasam as concepções de “aprendizado de Leitura/Escrita” e de “aprendizado de Matemática”, os textos apresentam as orientações para aplicação dos testes e os quadros esquemáticos contendo a listagem dos conhecimentos e competências passíveis de avaliação por intermédio dos itens elaborados. Nesse ponto, passa-se ao detalhamento dos descritores – instrumentalizações das competências, representando, na falta de melhor termo, as “tarefas” práticas exigidas pelas questões –, consolidando o referencial que permitirá aferir, via aplicação da Teoria de Resposta ao Item (TRI), em que ponto da escala de proficiência se encontram os alfabetizandos. Em outras palavras, quais as competências e habilidades ma- nejam no âmbito do processo de alfabetização: desde os níveis elementares de aprendizado da leitura, passando pela aquisição das competências de decifração e fluência em leitura e desenvolvimento da habilidade de codificação, para, ao final, alcançar a utilização plena dessas habilidades e competências nos procedimentos básicos de leitura e escrita.

Os dois capítulos finais apresentam dois documentos fundamentais: o Manual de Aplicação e a Folha de Registro. O Manual de Aplicação, integralmente reproduzido, traz as orientações e recomendações destinadas aos aplicadores dos testes cognitivos. Para além da mera organização e padronização das atividades de campo – desde a postura adequada que o aplicador deve adotar em sala de aula, passando pela forma de leitura dos enunciados das questões, até os códigos utilizados para registro das respostas – o Manual elucida, de forma didática e direta, a lógica interna subjacente aos testes cognitivos. A Folha de Registro, por sua vez, funciona como um documento de controle – preenchido pelo aplicador – que permite consolidar informações sobre a aplicação dos testes cognitivos: informações essas, tais como o tempo consumido na aplicação de cada tipo de questão, que podem enriquecer a análise dos resultados do desempenho cognitivo dos alfabetizandos.

A leitura dos textos, ora apresentados, permitirá que os pesquisadores e estudiosos da área tenham a real dimensão das peculiaridades – e também dificuldades – envolvidas na construção de testes cognitivos destinados a um público tão específico, como o de alfabetizandos jovens e adultos. Nossa intenção, ao fim e ao cabo, não é meramente cumprir um rito de transparência, necessária a toda e qualquer ação governamental, imprescindível para atividades de pesquisa e avaliação de políticas públicas. Pretendemos, com a publicação do presente volume, dar um passo adiante: fornecer subsídios para que a experiência de avaliação de desempenho cognitivo, implementada no âmbito do Programa Brasil Alfabetizado, seja incorporada pelos diversos órgãos, entidades e instituições que desenvolvem iniciativas de alfabetização de jovens e adultos e, assim, dissemine-se por todo o Brasil.

Timothy Denis Ireland

Diretor do Departamento de Educação de Jovens e Adultos da Secad/MEC

Matriz de

Referência: avaliação de competências – Leitura e Escrita

Antônio Augusto Gomes Batista Ceris S. Ribas da Silva Maria Lúcia Castanheira Gladys Rocha Delaine Cafiero1

Este documento apresenta diretrizes para a avaliação de competências re- lacionadas ao domínio da língua escrita de alfabetizandos do Programa Brasil Alfabetizado. As diretrizes foram organizadas com base nas Orientações Gerais do Programa (MEC, 2004), na Resolução nº 9, do Fundo

Nacional de Desenvolvimento da Educação (FNDE), bem como em pressupostos sobre o aprendizado da língua escrita e sobre esse aprendizado por jovens e adultos, público-alvo do Brasil Alfabetizado.

Tendo em vista sua escala, a avaliação privilegiará o desenvolvimento de competências e habilidades de leitura no aprendizado da língua escrita, embora (i) apresente também condições para a medição de competências mais gerais, relacionadas tanto ao domínio da leitura quanto da escrita, e (i) permita a mensuração de competências ligadas ao processo de escrita – ainda que em número reduzido.

Apresentam-se, a seguir, pressupostos que sustentaram a elaboração do documento, condições a serem levadas em conta na aplicação de um instrumento de avaliação para alfabetizandos e, por fim, uma matriz de referência para orientar a construção de itens de avaliação.

Equipe do Centro de Alfabetização, Leitura e Escrita, Faculdade de Educação da Universidade Federal de Minas Gerais (Ceale/FaE/UFMG)

Pressupostos teóricos e suas implicações para a elaboração da matriz de avaliação

Assume-se aqui uma concepção de aprendizado da língua escrita, que envolve quatro grandes dimensões cognitivas.

(i) O domínio de competências que tendem a contribuir para o processo inicial de apropriação do sistema de escrita, servindo de base tanto ao desenvolvimento do processo de leitura quanto ao de escrita;

(i) O desenvolvimento da capacidade de decifração, quer dizer, de transformar sinais gráficos ou grafemas em fonemas, com maior ou menor nível de fluência;

(i) O desenvolvimento da capacidade de escrita, especificamente as capacidades de escrever palavras memorizadas, codificar palavras simples;

(iv) O desenvolvimento do processo de compreensão de textos.

Segundo distinção proposta por Magda Soares (2004), as capacidades relacionadas a (i), (i) e (ii) designam apropriadamente a alfabetização, vale dizer, o aprendizado do sistema de escrita alfabético-ortográfico e o desenvolvimento de capacidades cognitivas e motoras envolvidas no uso e na manipulação de instrumentos e equipamento de escrita – como, por exemplo, no caso da leitura, decodificar textos, sentenças e palavras; ler com fluência; posicionar-se adequadamente para ler; saber como se faz a seqüenciação de um texto num determinado suporte; conhecer a organização gráfica da escrita na página, dentre outras.

Ainda de acordo com Magda Soares (2004), as capacidades relacionadas a (iv) tendem a designar habilidades de uso do sistema de escrita e de seus instrumentos e equipamentos em práticas sociais, vale dizer, na compreensão (e na produção) de textos em situações sociais, tendo em vista finalidades sociais. Para Magda Soares, essas capacidades designam, em parte, o letramento: as práticas sociais de uso da língua escrita, assim como as competências necessárias para participar dessas práticas.

Pressupõe-se que tanto o letramento quanto a alfabetização se caracterizam como um contínuo, que não pode ser reduzido – tendo em vista as características do Programa que se avalia, tratadas mais à frente – a dicotomias como alfabetizado/ analfabeto ou letrado/iletrado.2 Isto ocorre porque os dois processos consistem de: Embora, evidentemente, de acordo com o contexto de medição, seja necessário – e mesmo desejável – utilizar essa distinção, ainda que com certo grau de arbitrariedade. Cf. a respeito Soares (1998).

“(...) um grande número de diferentes habilidades, competências cognitivas e metacognitivas, aplicadas a um vasto conjunto de materiais de leitura e gêneros de escrita, e refere-se a uma variedade de usos da leitura e da escrita, praticadas em contextos sociais diferentes.” (SOARES, 1998; p.107)

Para evitar a arbitrariedade do processo de discretização desse contínuo, ou de seu “desagregamento” (SCRIBNER, 1984, p.18), considera-se que são “os propósitos e o contexto da avaliação” (SOARES, 1998, p.109) os fatores que permitem estabelecer critérios com base nos quais promove-se essa discretização.

Considerando-se que:

• É objetivo geral da avaliação “gerar informações sobre as práticas pedagógicas e os resultados de aprendizagem obtidos pelo Programa Brasil Alfabetizado, de modo a subsidiar a ação de todos os agentes diretamente envolvidos e/ou interessados no pleno cumprimento de suas metas” (RIBEIRO, 2003, p.2);

• Constitui um dos objetivos específicos da avaliação “estabelecer parâmetros comuns para avaliar as aprendizagens realizadas pelos alfabetizandos, de modo a possibilitar a análise comparada das diversas práticas e a identificação de fatores que potencializam os resultados” (RIBEIRO, 2003, p.2);

• As ações realizadas no âmbito do Programa Brasil Alfabetizado desenvolvemse num curto período de tempo – de seis a oito meses – e são tomados como pontos de partida para uma inclusão mais duradoura dos sujeitos na escola;

• Outros estudos (BATISTA & RIBEIRO, 2004) mostram que mais de 30% dos jovens e adultos que não concluíram a 4ª série do ensino fundamental estão em situação de analfabetismo e 50% deles não conseguem ultrapassar o nível mais elementar de alfabetismo funcional; pode-se esperar, desse modo, que os sujeitos atendidos pelo Programa tenham – em razão da duração de sua participação no Brasil Alfabetizado, de sua escolarização em geral, restrita ou inexistente – níveis muito iniciais de leitura,

Optou-se por “desagregar” o contínuo que caracteriza o domínio da língua escrita, de modo a apreender:

• variações ou “estágios” em níveis iniciais ou elementares de aprendizado da leitura, enfatizando a emergent literacy3 – (i);

• a alfabetização propriamente dita, aqui identificada, de modo privilegiado, como a aquisição das competências de decifração e fluência em leitura e, de modo secundário, como o desenvolvimento da habilidade de codificação – (i) e (ii);

• a utilização dessas habilidades e competências, tendo em vista procedimentos básicos de leitura (a compreensão de palavras; o reconhecimento de um número reduzido de informações; o uso de gêneros simples e próximos do cotidiano dos sujeitos atendidos pelo Programa4 (textos mais curtos, cartazes de circulação mais comum, a assinatura e a lista, no caso da escrita) – (iv).

É também em razão dessas considerações que se optou por discretizar, pormenorizadamente, as competências relacionadas à alfabetização, quer dizer, aquelas que tendem a colaborar para a “emergência” da alfabetização, bem como identificam o domínio inicial da língua escrita, caracterizado pela decifração, pela codificação e pela aquisição de fluência em leitura.

(Parte 2 de 11)

Comentários