Avaliação adaptativa de um sistema web para mensurar habilidades cognitivas preditoras em novatos em programação

Abstract

Esta pesquisa tem como objetivo principal integralizar a seleção adaptativa em um instrumento informatizado, a fim de melhorar o processo de mensuração das habilidades preditoras de programação. Para tanto, elaboraremos algoritmos baseado na Teoria de Resposta ao Item para seleção adaptativa dos itens, definindo para tanto um critério para a habilidade inicial, procedimento de seleção dos itens, método de estimação da habilidade e diferentes critérios de parada. Em seguida, compararemos os algoritmos por meio de uma base de dados dos respondentes a fim de verificar o desempenho em relação ao tempo e a estimativa da habilidade. Como resultados, entre os algoritmos desenvolvidos para selecionar itens de forma adaptativa, o algoritmo que obteve melhor precisão no processo de estimação das habilidades possui as seguintes características: i) máxima verossimilhança como método de estimação da habilidade; ii) máxima informação de fisher como método de seleção adaptativa; iii) obter um controle de exposição de itens; iv) e para o método de parada do instrumento, uma combinação de fatores como o erro padrão na estimação <0,01 e a quantidade mínima e máxima de itens administrados. Com base nas características do algoritmo anterior, o tempo de resposta aos itens diminuiu consideravelmente para todas as habilidades investigadas.