Uso da Teoria ClÃssica dos Testes â TCT e da Teoria de Resposta ao Item â TRI na avaliaÃÃo da qualidade mÃtrica de testes de seleÃÃo / Use of the Classical Theory Tests â TCT and Item Response Theory â IRT in the evaluation of the metric quality of selection tests

AUTOR(ES)
FONTE

IBICT - Instituto Brasileiro de Informação em Ciência e Tecnologia

DATA DE PUBLICAÇÃO

18/12/2009

RESUMO

Esse trabalho doutoral tem como proposta fazer uso da Teoria ClÃssica dos Testes â TCT e da Teoria de Resposta ao Item â TRI como instrumentos na avaliaÃÃo da qualidade mÃtrica de testes de seleÃÃo, sob quatro aspectos de investigaÃÃo: AnÃlise da Validez do Construto; AnÃlise PsicomÃtrica dos Itens; Funcionamento Diferencial dos Itens â DIF; e FunÃÃo de InformaÃÃo. Para tanto, foram utilizados dados dos resultados das provas de PortuguÃs e MatemÃtica do concurso vestibular da Universidade Estadual do Estado do Cearà â UECE, de 2007, em que participaram 20.016 candidatos a 38 Cursos de GraduaÃÃo, somente na Capital do Estado. Para o tratamento desses dados, foram utilizados os seguintes softwares: SPSS, v15; BILOG-MG, v3.0; MULTILOG FOR WINDOWS, v1.0; e o TESTFACT v4.0. A primeira providÃncia foi verificar a dimensionaidade dessas provas. Para tanto se utilizou o MÃtodo de Kaiser-Guttman, Scree-plot, e o MÃtodo das Cargas Fatoriais e das Comunalidades da Matriz de Fatores. A constataÃÃo foi de que a prova de PortuguÃs apresentava caracterÃsticas multidimensionais, sendo, portanto, descartada, por nÃo atender aos pressupostos bÃsicos da Unidimensionalidade e IndependÃncia Local dos Itens. A prova de MatemÃtica, no entanto, por apresentar comportamento unidimensional, se tornou o foco deste trabalho. A anÃlise da Validez do Construto foi realizada por meio dos coeficientes Alpha de Cronbach e Kuder-Richardson, tendo gerado valores iguais a 0,685, alÃm da utilizaÃÃo, tambÃm, do mÃtodo das Cargas Fatoriais, com cargas entre 0,837 e 0,960, indicando intensa consistÃncia interna. A anÃlise psicomÃtrica dos itens foi realizada por meio dos Ãndices de dificuldade, discriminaÃÃo e acerto ao acaso, para ambas as teorias, indicando ser essa uma prova de dificuldade mediana, com bom comportamento discriminativo e baixo Ãndice de acerto ao acaso. A anÃlise do DIF foi realizada, segundo o gÃnero dos candidatos, pelos mÃtodos Delta-plot, Maentel-Haenszel, RegressÃo LogÃstica e ComparaÃÃo dos Betas, indicando resultados estatÃsticamente nÃo significativos, no que se concluiu nÃo apresentar, a prova, comportamento diferenciado, segundo o gÃnero. A anÃlise da FunÃÃo de InformaÃÃo da prova permitiu se observar que esta à particularmente vÃlida para candidatos com aptidÃo em torno de 0,8750 e que, a um nÃvel de confianÃa de 95%, 49,3% dos candidatos atenderiam a essa indicaÃÃo. Observou-se tambÃm que 90,6% dos candidatos, em ambos os processos, apresentaram o mesmo nÃvel de aptidÃo, indicando uma convergÃncia bastante razoÃvel entre os resultados gerados pela TCT e TRI, no entanto, no estudo amostral, a TRI identificou que 9,4% dos candidatos apresentaram maior aptidÃo para a realizaÃÃo de um curso superior que os selecionados pela TCT.

ASSUNTO(S)

educacao avaliaÃÃo psicometria teoria clÃssica dos testes (tct) teoria de resposta ao item (tri) funcionamento diferencial dos itens (dif) evaluation psychometry classical test theory â (ctt) item response theory â (irt) differential of the items functioning (dif) universidade estadual do cearà - vestibular testes e medidas educacionais - fortaleza(ce) psicometria

Documentos Relacionados