Teoria da Resposta ao Item: Conceitos e Aplicações

Teoria da Resposta ao Item: Conceitos e Aplicações

(Parte 6 de 8)

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

2.3 Modelos envolvendo duas ou mais populacoes 25

Mas, e importante ressaltar que, diferentemente do modelo de escala gra- dual, aqui os valores de dk nao sao necessariamente ordenados sequencialmente dentro de um item. O parametro dk e interpretado como a dificuldade relativa da categoria k em comparacao com as outras categorias do item ou o desvio da dificuldade de cada categoria em relacao a locacao do item, bi.

Assim, em testes compostos por itens com (mi + 1) categorias de resposta, mi parametros de categoria necessitam ser estimados, alem dos parametros de inclinacao e de locacao de cada item. Logo, se tivermos um teste com I itens,teremos [∑I

2.3 Modelos envolvendo duas ou mais populacoes

Alguns modelos ja foram desenvolvidos para serem aplicados quando um teste envolve mais de uma populacao, sendo basicamente, extensoes dos modelos ate aqui apresentados. No entanto, um dos poucos modelos que ja se encontram implementados computacionalmente e que portanto, ja estao sendo utilizados na pratica, quando um teste e aplicado a dois ou mais grupos de respondentes, e uma generalizacao dos modelos logısticos unidimensionais de 1, 2 e 3 parametros, que foi recentemente proposta por Bock & Zimowski (1997). O modelo e dado por:

Uijk e uma variavel dicotomica que assume os valores 1, quando o indivıduo j da populacao k responde corretamente ao item i, ou 0 quando o indivıduo nao responde corretamente ao item.

θjk representa a habilidade do j-esimo indivıduo da populacao k.

P(Uijk = 1|θjk) e a probabilidade de um indivıduo j da populacao k, com habilidade θjk, responder corretamente ao item i.

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

26 Modelos Matematicos

Os demais parametros ja foram descritos anteriormente.

Em geral, indivıduos pertencentes a diferentes populacoes nao sao submetidos todos aos mesmos itens. Mas, para que seja possıvel a comparacao entre populacoes, e necessario que haja pelo menos alguns itens comuns entre elas. Assim, I representa o numero total de itens distintos apresentados.

A recente implementacao computacional desse modelo para mais de um grupo de respondentes foi um dos maiores avancos da TRI nos ultimos anos. Atraves dele a comparacao de indivıduos de grupos distintos, submetidos a provas diferentes mas com itens comuns, passou a ser feita de uma maneira bem mais eficiente do que era feito ate entao, uma vez que diminui possıveis erros de modelagem que a metodologia anterior poderia vir a ter. Algumas das questoes mais importantes envolvendo a comparacao de duas ou mais populacoes, incluindo os metodos de estimacao, serao discutidas no Capıtulo 5. No proximo capıtulo apresentaremos os principais metodos de estimacao dos parametros dos modelos para uma unica populacao.

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

Capıtulo 3 Estimacao: uma unica populacao

3.1 Introducao

Uma das etapas mais importantes da TRI e a estimacao dos parametros dos itens e das habilidades dos respondentes. Como foi visto no capıtulo anterior, a probabilidade de uma resposta correta a um determinado item depende somente da habilidade do indivıduo e dos parametros que caracterizam o item. Mas, em geral, ambos sao desconhecidos. Apenas as respostas dos indivıduos aos itens do teste sao conhecidas.

Assim, nos modelos de resposta ao item temos um problema de estimacao que envolve dois tipos de parametros, os parametro dos itens e as habilidades dos indivıduos. Entao, do ponto de vista teorico, podemos dividir o problema em tres situacoes, quando ja conhecemos os parametros dos itens, temos apenas que estimar as habilidades; se ja conhecemos as habilidades dos respondentes, estaremos interessados apenas na estimacao dos parametros dos itens e, por fim, a situacao mais comum, em que desejamos estimar os parametros dos itens e as habilidades dos indivıduos simultaneamente. Na TRI, o processo de estimacao dos parametros dos itens e conhecido como calibracao.

Em qualquer uma das situacoes citadas acima, geralmente a estimacao e feita pelo Metodo da Maxima Verossimilhanca atraves da aplicacao de algum processo iterativo, como o algoritmo Newton-Raphson (ver Issac & Keller (1966), por exemplo) ou “Scoring”de Fisher (ver Rao (1973), por exemplo). Alguns procedimentos bayesianos tambem sao aplicados com bastante frequencia (ver Mislevy (1986a), por exemplo).

Na situacao em que desejamos estimar tanto os parametros dos itens, quanto as habilidades, ha duas abordagens usuais: estimacao conjunta, parametros dos itens e habilidades, ou em duas etapas, primeiro a estimacao dos parametros dos itens e, posteriormente, das habilidades. No caso da estimacao conjunta,

KeimelionRevisão de textos http://www.keimelion.com.br o numero de parametros a serem estimados simultaneamente pode ser extremamente grande (3I + n, para o ML3), levando a uma enorme exigencia computacional que envolve a inversao de matrizes dessa ordem. Para contornar esse problema, Birnbaum (1968) propos um processo vai e volta (“backand-forth”), que e iniciado com estimativas grosseiras das habilidades (escores padronizados, por exemplo) e envolve a estimacao dos parametros dos itens considerando as habilidades conhecidas; apos a obtencao das estimativas dos parametros dos itens, as estimacoes das habilidades sao feitas considerando conhecidos os parametros dos itens. Esses passos sao repetidos ate que algum criterio de parada do processo seja alcancado. A grande vantagem desse metodo e que ele permite, a partir da Independencia Local discutida no Capıtulo 2, que os itens sejam estimados individualmente, o que exige o tratamento de matrizes 3×3 para o ML3. De forma similar, a partir da independencia entre as respostas oriundas de indivıduos diferentes, as habilidades tambem sao estimadas individualmente, e com isso a exigencia computacional diminui drasticamente. Entretanto, esse procedimento tem um problema serio: sabe-se que, para os parametros dos itens conhecidos, os Estimadores de Maxima Verossimilhanca (EMV) das habilidades convergem (ver Sen & Singer (1993), por exemplo) para os seus verdadeiros valores quando o numero de itens cresce; com as habilidades conhecidas, os EMV dos parametros dos itens,ζi, convergem para os seus verdadeiros valores quando o numero de indivıduos cresce. Na estimacao conjunta, as habilidades sao denominadas de parametros incidentais, pois o numero destes parametros (θj) cresce com o numero de indivıduos; os parametros dos itens sao denominados de parametros estrutu- rais, e o numero desses parametros nao se altera quando a amostra cresce. Essas denominacoes sao devidas a Neyman & Scott (1948), que notaram, em um contexto diferente ao da TRI, que na presenca de parametros incidentais o EMV dos parametros dos itens pode ser assintoticamente viesado. Esse problema de falta de consistencia dos parametros dos itens (ou habilidades) na presenca de um numero muito grande de indivıduos (ou itens) foi notado por Andersen (1973) e demonstrado para o modelo de Rasch (ML1). Porem, quando o numero de itens e o numero de indivıduos crescem, os EMV dos parametros dos itens e das habilidades podem ser nao-viciados, como sugerido por Lord (1968) e demonstrado apenas para o modelo de Rasch por Haberman (1975). Resultados numericos obtidos por Lord (1975) e Swaminathan &

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

3.1 Introducao 29

Gifford (1983) reforcam a conjectura de que os EMV dos parametros dos itens e das habilidades sao nao-viciados, quando o numero de itens e o numero de indivıduos crescem.

O problema de possıvel inconsistencia dos estimadores obtidos em uma etapa levou ao desenvolvimento da estimacao em duas etapas por Bock & Lieberman (1970). Este metodo baseia-se na existencia de uma distribuicao (latente) associada a habilidade dos indivıduos da populacao em estudo Π (ver Andersen (1980) para maiores detalhes). Isso possibilita que a estimacao dos itens seja feita pelo Metodo da Maxima Verossimilhanca Marginal, ou seja, considerando uma determinada distribuicao para a habilidade dos indivıduos de Π, cuja funcao densidade de probabilidade (fdp) e g(θ|η), onde η e o conjunto de parametros associados a Π, e integrando a funcao de verossimilhanca com relacao a θ. Apos a estimacao dos parametros dos itens, as habilidades sao estimadas individualmente por maxima verossimilhanca ou pela moda ou

vantagem de envolver, na primeira etapa, apenas a estimacao dos parametros dos itens, a estimacao e feita atraves de aplicacao de metodos numericos que dependem das derivadas segundas da log-verossimilhanca com relacao a ζi e ζk, i,k = 1,· ,I, que podem ser nao nulas para i 6= k. Com isso, ha a necessidade da inversao de matrizes de ordem 3I × 3I para o ML3, o que ainda pode ser bastante exigente do ponto de vista computacional. Para contornar esse problema, Bock & Aitkin (1981) fizeram uma modificacao no modelo de Bock & Lieberman adicionando a suposicao de independencia entre os itens, de forma que as derivadas segundas citadas acima para i 6= k sejam nulas. Com isso, a matriz 3I × 3I (no ML3) de derivadas segundas torna-se blocodiagonal, o que possibilita que os (parametros dos) itens sejam estimados individualmente. Adicionalmente, Bock & Aitkin propoem que a obtencao das estimativas de maxima verossimilhanca seja feita com a aplicacao do algoritmo EM introduzido por Dempster, Laird & Rubin (1977).

Embora existam outras propostas de estimacao para os parametros dos itens e habilidades, as citadas acima podem ser consideradas as mais importantes e, portanto, serao exploradas nesse texto. Na Secao 3.2 consideraremos o caso da estimacao dos parametros dos itens quando as habilidades sao conhecidas.

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

Na Secao 3.3 consideraremos a situacao contraria: estimacao das habilidades com os parametros dos itens conhecidos. Em complemento a essas duas secoes, na Secao 3.4, trataremos da estimacao conjunta: parametros dos itens e habilidades, em uma etapa. Na Secao 3.5 tambem consideraremos a estimacao conjunta dos parametros dos itens e habilidades, mas agora em duas etapas atraves da maxima verossimilhanca marginal. Na Secao 3.6 complementaremos a etapa de estimacao considerando a abordagem bayesiana, tanto dos parametros dos itens quanto das habilidades. Recomenda-se a leitura de Baker (1992) para maiores detalhes das ideias e resultados que serao apresentados nesse capıtulo.

Em todos os metodos de estimacao descritos a seguir, algumas notacoes e suposicoes serao necessarias para o desenvolvimento do modelo. Em particular, sejam θj a habilidade e Uji a variavel aleatoria que representa a resposta (binaria) do indivıduo j ao item i, com

Uji =

0, resposta incorreta.

presentaremos as observacoes por uji,uj. e uAinda, θ = (θ1,· ,θn) repre-

sentara o vetor de habilidades dos n indivıduos e ζ = (ζ1,· ,ζI) o conjunto de parametros dos itens.

As duas principais suposicoes que usaremos em todo o restante deste texto, sao as seguintes:

(S1) as respostas oriundas de indivıduos diferentes sao independentes,

(S2) os itens sao respondidos de forma independente por cada indivıduo (Independencia Local), fixada sua habilidade.

A suposicao (S2) necessita de uma discussao um pouco mais detalhada: ela garante que, para cada valor de θ, se tomarmos um conjunto de indivıduos com habilidade θ, as covariancias entre as respostas para cada par de itens serao nulas. Entretanto, se for considerado um conjunto de indivıduos com habilidades variadas, estas covariancias nao necessariamente serao nulas. Na verdade, elas serao positivas (ver Lord & Novick (1968, pag. 361)).

Andrade, Tavares & Valle SINAPE 2000

KeimelionRevisão de textos http://www.keimelion.com.br

3.2 Estimacao dos parametros dos itens 31

Quando necessarias, outras suposicoes serao adotadas. Em algumas situacoes usaremos notacoes simplificadas. Por exemplo, as probabilidades P(Uji

= uji|.) poderao ser representadas por P(uji|.); o mesmo valendo para os vetores de observacoes. Poderemos, ainda, usar algumas expressoes simplificadas, tais como “estimacao dos itens” ao inves de “estimacao dos parametros dos itens”. As demonstracoes dos principais resultados apresentados nesse capıtulo poderao ser encontradas no Apendice A.

3.2 Estimacao dos parametros dos itens

Nesta secao trataremos da estimacao dos parametros dos itens pelo metodo da maxima verossimilhanca, quando as habilidades sao conhecidas. Embora qualquer modelo descrito no Capıtulo 2 possa ser adotado para fins de aplicacao, o ML3 tem sido amplamente empregado e, por isso, o usaremos para efeito de exemplificacao. Os modelos ML1 e ML2 sao casos particulares do ML3; a escolha desse ultimo leva a resultados que servem para os dois primeiros. Pela independencia entre as respostas de diferentes indivıduos (S1) e a in-

(Parte 6 de 8)

Comentários