Itens Parametros 6EF MAT

Itens Parametros 6EF MAT

(Parte 1 de 8)

1. AS ESCALAS DE DESEMPENHO

O desempenho dos alunos no SARESP foi colocado nas mesmas escalas do SAEB. Uma escala é uma maneira de medir resultados de forma ordenada onde são arbitradas a origem e a unidade de medida. As escalas de proficiências do SAEB (adotadas na Prova Brasil) ordenam os desempenhos dos alunos do menor para o maior em um continuum.

A explicação da origem da escala e dos intervalos é facilitada quando se utiliza uma analogia entre a escala de proficiência do SAEB com outra escala conhecida, por exemplo, a escala Celsius. Estabelecendo paralelos entre a escala de proficiência e a escala Celsius, os pesquisadores da Fundação Cesgranrio (Fundação Cesgranrio, 2001), vêm apresentando, a figura de um termômetro utilizado para medir a temperatura corporal, por ser este um instrumento conhecido em geral pela população.

Termômetro

Na escala Celsius, a origem é o ponto de fusão da água (0 graus) e o seu extremo 100 graus é o ponto de ebulição. Esta escala é graduada em centígrados. O termômetro, utilizado para medir a temperatura corporal de uma pessoa – cuja temperatura basal é aproximadamente de 36 graus, costuma apresentar os valores que vão dos 35 graus aos 42 graus.

Assim, se em uma situação o termômetro acusar uma temperatura de 37 graus interpreta-se que a pessoa em questão está febril, mas se o resultado obtido for 40 graus a interpretação seria outra, indicando necessidade de medidas adequadas para a temperatura voltar aos níveis de normalidade.

No SAEB, a origem e a unidade de medida da escala foi arbitrada como a média e o desvio padrão da distribuição do desempenho dos alunos da 8ª série, no ano de 1997, ou seja, o valor de 250 para a média e o desvio padrão de 50.

A exemplo do termômetro (na escala Celsius), cujos pontos marcados vão de 35 graus a 42 graus, a escala do SAEB vai de 0 a 500. Esses valores numéricos são arbitrados e poderiam ser escolhidos outros. No SAEB, na primeira vez em 1995, que os resultados foram apresentados em escalas, evitou-se utilizar escalas numéricas usualmente empregadas pelos professores as de 0 a 100 ou de 0 a 10 – para marcar diferenças do seu significado.

A cumulatividade e o sentido da ordenação de escala de proficiência são conceitos que também podem ser ilustrados com níveis de temperatura, pois se uma pessoa tem uma temperatura corporal medida de 38 graus, significa que sua temperatura saiu dos níveis de aproximadamente 36.5 graus e chegou ao valor medido. A escala de proficiência do SAEB (ou de outras avaliações de desempenho de alunos que utilizam a TRI) também apresenta valores numéricos para ordenar o desempenho dos alunos. Quanto maior o ponto da escala, melhor o desempenho.

Outra observação importante é que a escala do SARESP é comum às quatro séries avaliadas – 4ª, 6ª e 8ª do Ensino Fundamental e 3ª do Ensino Médio. Foi possível obter uma escala única porque os alunos da 6ª série responderam a alguns itens apresentados nos cadernos de teste de 4ª série, os de 8ª série itens de 6ª série e os da 3ª série do EM responderam a alguns itens apresentados nos cadernos de 8ª série.

Um exemplo da escala de desempenho em Matemática com seus valores numéricos é apresentada a seguir. Essa escala foi interpretada em 13 níveis e aqueles recomendados pelo SARESP para as séries estão assinalados.

ESCALA DE DESEMPENHO: MATEMÁTICA – PROVA BRASIL/SAEB 2007

4ª série8ª série 3ª série EM
125 150 175 200 225 250275300325350375400425

6ª série 0 500

Nas escalas de proficiências, são escolhidos pontos para interpretar as habilidades que os alunos demonstram possuir quando seus desempenhos estão situados ao redor daquele ponto ou nível. Os pontos da escala do SAEB foram arbitrados para conter o ponto 250 e a distância entre si de meio desvio padrão.

Como já foi dito anteriormente, os números 125, 150, 250 etc não tem qualquer significado da mesma maneira que a nota 7 ou o conceito B só faz sentido para o professor que elaborou questões, aplicou e corrigiu as provas: Entretanto, como o SARESP utilizou uma grande quantidade de itens para avaliar o desempenho dos alunos em uma série, área curricular ou disciplina - cerca de 104 - e seria inadequado apresentá-los um a um para explicar os resultados obtidos, foi desenvolvida uma metodologia de interpretação dos níveis das escalas mediante a descrição dos conteúdos e habilidades que os alunos demonstraram possuir, quando acertam determinados itens aplicados.

2. OS RESULTADOS ESTATÍSTICOS DOS ITENS

Os itens aplicados no SARESP estão acompanhados dos seus resultados estatísticos.

Os resultados estatísticos obtidos pela Teoria Clássica dos Testes (TCT) têm a seguinte interpretação:

DISCR: Índice de Discriminação é a diferença entre os percentuais de acerto dos 27% de alunos de melhor desempenho e dos 27% de alunos de pior desempenho. Um índice de discriminação muito baixo (menor que .25) significa que o item não separou adequadamente os alunos de melhor e pior desempenho. Um índice de discriminação negativo indica que os alunos de pior desempenho tiveram um percentual de acerto maior do que os de melhor desempenho.

ABAI-ACIM: Abaixo e acima indicam, respectivamente, os percentuais de acerto no grupo de pior desempenho e no de melhor desempenho.

DIFI: Índice de

Dificuldade é o percentual de acertos na questão. Itens com índice de dificuldade acima de .65 são considerados fáceis e os abaixo de .30, difíceis.

BISE: É o coeficiente de correlação bisserial entre o acerto no item e o número de acertos na prova. Esse coeficiente deve ser maior que .30 para o item ser considerado bom.

Proporções de Resposta: são os percentuais de escolha por opção de resposta A, B, C e D.

Número do item na prova.

Proporção de respostas em branco neste item.

Coeficientes Bisseriais: são os coeficientes de correlação bisserial por alternativa. Na alternativa do gabarito ele deve ser positivo e nas outras alternativas, negativo. Resposta correta do item.

Ordem do item no bloco.

Bloco.

Além das estatísticas clássicas serão apresentadas também as estatísticas obtidas pela Teoria da Resposta ao Item (TRI). Esta teoria modela a probabilidade de acerto em função da proficiência (habilidade) do aluno e das características do item. Esta função deve ser crescente, isto é, quanto maior a proficiência, maior a probabilidade de acerto do item. A modelagem utilizada no SAEB para o item de múltipla escolha é uma função logística de três parâmetros chamada de curva característica do item, que pode ser vista no gráfico ao lado.

Legenda: Por 4=Língua Portuguesa – 4ª Série; It 10=Item 10; Bl 1=Bloco 1; Ob 10=Ordem 10 no bloco; Ibg 465=Número do item no Programa Bilog; a, b e c=Parâmetros da função logística de 3 parâmetros

O eixo horizontal no gráfico é a proficiência e o eixo vertical é a probabilidade de acerto que varia de 0 a 1. Traçando-se uma linha vertical em uma proficiência, na intersecção desta linha com a curva característica do item, obtém-se o valor da probabilidade de acerto no item para um aluno com aquela proficiência. O percentil 10 da distribuição de proficiências é o ponto abaixo do qual estão 10% da população de alunos e acima dele 90%. Por exemplo, entre o percentil 10 e o percentil 90 encontramse 80% dos alunos. É importante acrescentar que quanto mais para a direita está a curva característica do item, mais difícil é o item.

O outro gráfico apresentado junto com os exemplos de itens mostra as curvas de proporção de respostas por alternativa (A, B, C, D ou E).

3. OS ITENS APLICADOS NO SARESP 2008 COM SUAS CLASSIFICAÇÕES NOS NÍVEIS NA ESCALA

MATEMÁTICA –– 6ª Série EF

Nível 200

O gráfico abaixo representa o número de vagas disponíveis para pessoas com alguma deficiência em diferentes empresas.

Industria Serviços Comércio Trasnsportes Financeiras

FOLHA DE S. PAULO. São Paulo, 17 ago. 2008.

Assinale a alternativa que mostra corretamente o gráfico de setores que pode representar esses mesmos dados.

A) Indústria

Comércio

Financeira Transporte

Serviços

B) Indústria Comércio

Financeira Transporte

Serviços

C) Indústria

Comércio Financeiras

Transporte

(Parte 1 de 8)

Comentários