Teoria da Resposta ao Item: Conceitos e Aplicações

Teoria da Resposta ao Item: Conceitos e Aplicações

(Parte 1 de 8)

Teoria da Resposta ao Item: Conceitos e Aplicacoes

Dalton Francisco de Andrade1

Heliton Ribeiro Tavares2 Raquel da Cunha Valle3

1 Professor Titular do Departamento de Estatıstica e Matematica Aplicada da Universidade Federal do Ceara (UFC). e-mail: dandrade@ufc.br

2 Professor do Departamento de Estatıstica da Universidade Federal do Para (UFPA). e-mail: heliton@ufpa.br

3 Estatıstico da Fundacao Carlos Chagas (FCC). e-mail: rvalle@fcc.gov.br

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

Para

Janete, Cristina e Fernando. Regina e Henrique

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

Apresentacao

A avaliacao educacional passou a ser, embora tardiamente, um dos pontos privilegiados das polıticas educacionais. Ja sao inumeros os projetos de avaliacao conduzidos por orgaos responsaveis pelos destinos da Educacao em nosso paıs. Reclamava-se, porem, por uma metodologia mais sofisticada e precisa, que permitisse nao so a avaliacao pontual mas, sobretudo, a construcao de escalas de habilidades que pudessem levar a um acompanhamento do progresso do conhecimento adquirido pelos alunos ao longo do tempo.

A Teoria Classica, baseada em resultados obtidos em provas atraves de escores brutos ou padronizados, largamente utilizada ate entao, padece de varias limitacoes, como, por exemplo, ser dependente do conjunto de itens que compoem o instrumento de medida, limitando assim, a sua aplicabilidade.

A Teoria da Resposta ao Item (TRI), que vem sendo progressivamente introduzida em nosso meio, e um instrumento poderoso nos processos quantitativos de avaliacao educacional, pelo fato de permitir, inclusive, a construcao de escalas de habilidade calibradas. No entanto, a aplicabilidade da TRI tem encontrado algumas dificuldades, tanto do ponto de vista teorico, devido a problemas de difıcil solucao no campo da estimacao, como do ponto de vista computacional.

O livro de Dalton F. Andrade, Heliton R. Tavares e Raquel C. Valle, vem ao encontro de uma real necessidade dos pesquisadores clarificando alguns pontos essenciais da teoria, trazendo um exemplo pratico de aplicacao em larga escala, como e o caso do Sistema de Avaliacao do Rendimento Escolar do Estado de S.Paulo (SARESP).

Escrito de forma extremamente didatica, nao requerendo do leitor conhecimentos muito aprofundados do ponto de vista matematico-estatıstico, com excecao de algumas partes dos capıtulos de estimacao, aborda os principais

KeimelionRevisão de textos http://www.keimelion.com.br iv Apresentacao modelos matematicos utilizados, os problemas de estimacao e equalizacao, e aponta os recursos computacionais adequados.

Certamente, o texto se tornara um referencial obrigatorio para todos aqueles interessados em contribuir para o progresso dos aspectos quantitativos e metodologicos da Educacao Brasileira.

Rubens Murillo Marques

Prof. Titular Estatıstica-Matematica da UNICAMP Diretor Presidente da Fundacao Carlos Chagas

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

Prefacio

A ideia de escrever um texto introdutorio sobre a Teoria da Resposta ao

Item – TRI, ate agora tao pouco conhecida pelos especialistas em avaliacao e pelos estatısticos no Brasil, surgiu da necessidade de se divulgar o potencial dessa teoria tanto no seu aspecto estatıstico-matematico quanto na sua aplicacao e interpretacao na avaliacao da aprendizagem e em outras areas.

Nosso envolvimento com a TRI comecou em 1996, com a analise dos dados gerados pela pesquisa AVEJU, da Secretaria de Estado da Educacao de Sao Paulo, e continuou no Sistema de Avaliacao do Rendimento Escolar do Estado de Sao Paulo – SARESP e no Sistema de Avaliacao da Educacao Basica – SAEB do INEP/MEC. Esses dois sistemas de avaliacao possuem a sua base metodologica fundamentada na TRI e sao, atualmente, os grandes exemplos no Brasil da sua potencialidade.

Nossa maior preocupacao foi a de escrever um texto que pudesse ser utilizado nao so pelos estatısticos, mas tambem pelos especialistas em avaliacao. O sucesso da TRI passa necessariamente pelo trabalho conjunto de especialistas dessas duas areas. Devido a enorme abrangencia da TRI. Nesse sentido, procuramos detalhar alguns pontos que achamos importantes.

Muito do material e ideias apresentadas nesse livro foram desenvolvidos durante o planejamento e a analise do SARESP e nos treinamentos que ministramos para tecnicos da Secretaria de Estado da Educacao de Sao Paulo, da Fundacao para o Desenvolvimento da Educacao - FDE e da Fundacao Carlos Chagas, aos quais queremos agradecer a paciencia e dedicacao. Gostariamos tambem de expressar os nossos maiores agradecimentos a Yara Lucia Esposito, Ruben Klein e Heraldo Vianna pelos longos papos e discussoes sobre os aspectos teoricos e aplicados da TRI e a Profa. Rose Neubauer, Secretaria de

KeimelionRevisão de textos http://www.keimelion.com.br vi Prefacio

Estado da Educacao de Sao Paulo, pela utilizacao de parte dos resultados do SARESP.

Devido a enorme abrangencia da TRI, procuramos detalhar os pontos que achamos mais interessantes para um texto introdutorio e fornecer o maior numero possıvel de referencias bibliograficas que cobrissem os outros pontos.

Este trabalho foi parcialmente financiado pelo CNPq, pela CAPES, pelo Projeto Tematico da FAPESP no. 96/01741-7 e pelo PRONEX no. 76.97.1081.0.

Fevereiro 2000

Dalton Francisco de Andrade

Heliton Ribeiro Tavares Raquel da Cunha Valle

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

Conteudo

Apresentacao i Prefacio v Lista de Figuras 1 1 Introducao 3

2.1 Introducao7
2.2 Modelos envolvendo um unico grupo8
2.2.1 Modelos para itens dicotomicos ou dicotomizados8
2.2.2 Modelos para itens nao dicotomicos18
2.3 Modelos envolvendo duas ou mais populacoes25

2 Modelos Matematicos 7

3.1 Introducao27
3.2 Estimacao dos parametros dos itens31
3.2.1 Aplicacao do algoritmo Newton-Raphson37
3.2.2 Aplicacao do metodo “Scoring”de Fisher41
3.2.3 Erro-padrao42
3.2.4 Escore nulo ou perfeito43
3.2.5 Estimativas iniciais43
3.3 Estimacao das habilidades4
3.3.1 Aplicacao do algoritmo Newton-Raphson46
3.3.2 Aplicacao do metodo “Scoring”de Fisher47
3.3.3 Erro-padrao47

3 Estimacao: uma unica populacao 27 KeimelionRevisão de textos http://www.keimelion.com.br

3.3.4 Escore nulo ou perfeito48
3.3.5 Estimativas iniciais48
3.4 Estimacao conjunta: parametros dos itens e habilidades48
3.5 Maxima verossimilhanca marginal51
3.5.1 Abordagem de Bock & Lieberman52
3.5.2 Metodos iterativos57
3.5.3 Metodos de quadratura59
3.5.4 Abordagem de Bock & Aitkin61
3.5.5 Aplicacao do algoritmo EM64
3.6 Estimacao bayesiana67
3.6.1 Estimacao dos parametros dos itens68
3.6.2 Estimacao das habilidades73
3.7 Resumo76

viii Conteudo

4.1 Introducao79
4.2 Diferentes tipos de equalizacao81
4.2.1 Um unico grupo fazendo uma unica prova81
4.2.4 Dois grupos fazendo uma unica prova83
4.2.5 Dois grupos fazendo duas provas totalmente distintas83
4.3 Diferentes problemas de estimacao85
4.3.1 Quando todos os itens sao novos85
4.3.2 Quando todos os itens ja estao calibrados85
4.4 Equalizacao a posteriori87

4 Equalizacao 79 4.2.2 Um unico grupo fazendo duas provas totalmente distintas 81 4.2.3 Um unico grupo fazendo duas provas parcialmente distintas 82 4.2.6 Dois grupos fazendo duas provas parcialmente distintas . 84 4.3.3 Quando alguns itens sao novos e outros ja estao calibrados 86

5.1 Introducao93
5.2 Notacoes e definicoes94
5.3 Estimacao dos parametros dos itens96
5.4 Estimacao dos parametros populacionais9
5.4.1 Estimacao conjunta: aplicacao do algoritmo EM102

5 Estimacao: duas ou mais populacoes 93 Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

5.5 Estimacao bayesiana dos parametros dos itens104
5.6 Estimacao das habilidades105
5.6.1 Estimacao por MV105
5.6.2 Estimacao por MAP106
5.6.3 Estimacao por EAP106
6.1 Introducao109
6.2 Construcao e interpretacao de escalas de habilidade109
6.3 Uma aplicacao pratica112
6.3.1 As caracterısticas da aplicacao113
6.3.2 O tipo de resultados alcancados114
6.3.3 Um exemplo: a Lıngua Portuguesa na 3.a e 4.a series115
6.3.4 Interpretacao dos resultados118

6 A Escala de Habilidade e uma Aplicacao Pratica 109

7.1 Introducao123
7.2 Recursos computacionais123
v. 1.0124
7.2.2 Metodos para a calibracao dos itens126
7.3 A equalizacao nos programas BILOG e BILOG-MG128
distintas128
ser calibrado130
envolvida131

7 Recursos computacionais 123 7.2.1 Os programas BILOG for Windows v. 3.09 e BILOG-MG 7.2.3 Metodos implementados para a estimacao das habilidades 126 7.3.1 O BILOG e o BILOG-MG frente a populacoes e/ou provas 7.3.2 O BILOG e o BILOG-MG frente ao conjunto de itens a 7.3.3 O uso do BILOG-MG quando desejamos fixar parte dos itens e calibrar o restante, e ha mais de uma populacao 8 Consideracoes gerais 135

A.1139
A.2141

A 139 Andrade, Tavares & Valle SINAPE 2000

(Parte 1 de 8)

Comentários