Uso da Teoria ClÃssica dos Testes â TCT e da Teoria de Resposta ao Item â TRI na avaliaÃÃo da qualidade mÃtrica de testes de seleÃÃo / Use of the Classical Theory Tests â TCT and Item Response Theory â IRT in the evaluation of the metric quality of selection tests
AUTOR(ES)
Josà Leudo Maia
FONTE
IBICT - Instituto Brasileiro de Informação em Ciência e Tecnologia
DATA DE PUBLICAÇÃO
18/12/2009
RESUMO
Esse trabalho doutoral tem como proposta fazer uso da Teoria ClÃssica dos Testes â TCT e da Teoria de Resposta ao Item â TRI como instrumentos na avaliaÃÃo da qualidade mÃtrica de testes de seleÃÃo, sob quatro aspectos de investigaÃÃo: AnÃlise da Validez do Construto; AnÃlise PsicomÃtrica dos Itens; Funcionamento Diferencial dos Itens â DIF; e FunÃÃo de InformaÃÃo. Para tanto, foram utilizados dados dos resultados das provas de PortuguÃs e MatemÃtica do concurso vestibular da Universidade Estadual do Estado do Cearà â UECE, de 2007, em que participaram 20.016 candidatos a 38 Cursos de GraduaÃÃo, somente na Capital do Estado. Para o tratamento desses dados, foram utilizados os seguintes softwares: SPSS, v15; BILOG-MG, v3.0; MULTILOG FOR WINDOWS, v1.0; e o TESTFACT v4.0. A primeira providÃncia foi verificar a dimensionaidade dessas provas. Para tanto se utilizou o MÃtodo de Kaiser-Guttman, Scree-plot, e o MÃtodo das Cargas Fatoriais e das Comunalidades da Matriz de Fatores. A constataÃÃo foi de que a prova de PortuguÃs apresentava caracterÃsticas multidimensionais, sendo, portanto, descartada, por nÃo atender aos pressupostos bÃsicos da Unidimensionalidade e IndependÃncia Local dos Itens. A prova de MatemÃtica, no entanto, por apresentar comportamento unidimensional, se tornou o foco deste trabalho. A anÃlise da Validez do Construto foi realizada por meio dos coeficientes Alpha de Cronbach e Kuder-Richardson, tendo gerado valores iguais a 0,685, alÃm da utilizaÃÃo, tambÃm, do mÃtodo das Cargas Fatoriais, com cargas entre 0,837 e 0,960, indicando intensa consistÃncia interna. A anÃlise psicomÃtrica dos itens foi realizada por meio dos Ãndices de dificuldade, discriminaÃÃo e acerto ao acaso, para ambas as teorias, indicando ser essa uma prova de dificuldade mediana, com bom comportamento discriminativo e baixo Ãndice de acerto ao acaso. A anÃlise do DIF foi realizada, segundo o gÃnero dos candidatos, pelos mÃtodos Delta-plot, Maentel-Haenszel, RegressÃo LogÃstica e ComparaÃÃo dos Betas, indicando resultados estatÃsticamente nÃo significativos, no que se concluiu nÃo apresentar, a prova, comportamento diferenciado, segundo o gÃnero. A anÃlise da FunÃÃo de InformaÃÃo da prova permitiu se observar que esta à particularmente vÃlida para candidatos com aptidÃo em torno de 0,8750 e que, a um nÃvel de confianÃa de 95%, 49,3% dos candidatos atenderiam a essa indicaÃÃo. Observou-se tambÃm que 90,6% dos candidatos, em ambos os processos, apresentaram o mesmo nÃvel de aptidÃo, indicando uma convergÃncia bastante razoÃvel entre os resultados gerados pela TCT e TRI, no entanto, no estudo amostral, a TRI identificou que 9,4% dos candidatos apresentaram maior aptidÃo para a realizaÃÃo de um curso superior que os selecionados pela TCT.
ASSUNTO(S)
educacao avaliaÃÃo psicometria teoria clÃssica dos testes (tct) teoria de resposta ao item (tri) funcionamento diferencial dos itens (dif) evaluation psychometry classical test theory â (ctt) item response theory â (irt) differential of the items functioning (dif) universidade estadual do cearà - vestibular testes e medidas educacionais - fortaleza(ce) psicometria
ACESSO AO ARTIGO
http://www.teses.ufc.br/tde_busca/arquivo.php?codArquivo=4951Documentos Relacionados
- Desempenho Escolar em Pernambuco: AnÃlise dos Itens e das Habilidades usando Teoria ClÃssica e TRI
- Avanços na psicometria: da Teoria Clássica dos Testes à Teoria de Resposta ao Item
- Estudo de processos para modelagem, avaliaÃÃo, alteraÃÃo e seleÃÃo de estruturas de proteÃnas
- Comparação da teoria clássica dos testes com a teoria de resposta ao item aplicadao ao subteste semelhanças da WASI
- Sobre a complementaridade da teoria clássica dos testes e dos modelos de resposta ao Item: estimativas da dificuldade do item e testes adaptativos computarizados