Please use this identifier to cite or link to this item:
http://hdl.handle.net/10773/22197
Title: | Uma meta-avaliação de questões de escolha múltipla em estatística |
Author: | Jasse, Jeremias José |
Advisor: | Freitas, Adelaide de Fátima Baptista Valente Cruz, João Pedro Antunes Ferreira da |
Keywords: | Matemática Estatística Avaliação dos alunos - Metadados Teoria de resposta ao item |
Defense Date: | 2016 |
Publisher: | Universidade de Aveiro |
Abstract: | Testes constituídos de questões de escolha múltipla são diversamente
utilizados por professores na avaliação dos seus alunos. Porém, os resultados
desses testes dizem mais do que a classificação final do aluno:
aprovado ou reprovado. Neste estudo, recorrendo à Teoria Clássica de
Teste (TCT) e à Teoria de Resposta ao Item (TRI), avaliamos testes
constituídos por questões de escolha múltipla, considerados na unidade
curricular de Bioestatística. Os objetivos foram: (i) verificar, por um
lado, a qualidade global do conjunto dos 5 mini testes aplicados e,
por outro lado, dos 37 itens individualmente; e (ii) analisar o nível de
habilidade dos 111 alunos avaliados. As estatísticas produzidas pela
TCT permitiram concluir que o conjunto dos 5 mini testes tinha boa
consistência interna (com possibilidades de aumentar, eliminando uma
questão tida como má) e que era composto por itens com diferentes
níveis de dificuldade (28,83% - 95,50%) e de discriminação (0,0357 -
0,6586).
Três modelos da TRI foram testados sendo o modelo logístico de dois
parâmetros (2PL) o que apresentou melhor ajuste. Os parâmetros do
modelo 2PL foram estimados pelo método de estimação da máxima verosimilhança
marginal. As curvas características dos itens contribuíram
para a identificação de questões com diferentes níveis de dificuldade
e de discriminação. As curvas de informação de itens apresentaram o
nível de contribuição de cada questão na estimação das habilidades dos
alunos e, a curva de informação de teste mostrou que a discriminação
máxima é atingida para alunos abaixo da média na escala de habilidade,
isto é, o teste mostrou ser mais eficaz para estudantes com nível
de habilidade baixa a média. Espera-se que este estudo demonstre a importância de avaliar as avaliações
e motive a elaboração de testes com questões cujas características
se adequem aos níveis de habilidades dos alunos, sem nunca esquecer
contudo, os objetivos educacionais e as competências a fornecer. A
parametrização de exercícios corresponde a uma técnica que permite
considerar o mesmo conteúdo curricular sem usar, taxativamente, o
mesmo enunciado. Neste trabalho ilustramos alguns exercícios parametrizados
que podem ser incorporados num banco de questões. Tests consist of multiple choice questions are variously used by teachers in assessing their students. However, the results of these tests tell more than the final grade of the student: pass or fail. In this study, using Classical Test Theory (CTT) and Item Response Theory (IRT), we evaluate tests consisting of multiple choice questions, considered in the course of Biostatistics. The objectives were: (i) to determine, on one hand, the overall quality of all given five mini-tests, and, on the other hand, the 37 individual items; and (ii) to analyse the ability level of the 111 assesed students. The statistics produced by TCT showed that the set of 5 mini-tests had good internal consistency (with the possibility of increasing, eliminating a question seen as bad) and was composed of items with different levels of difficulty (28.83% to 95 50%) and discrimination (0.0357 to 0.6586). Three IRT models were tested and the two-parameter logistic model (2PL) presented the best fit. The 2PL model’ parameters were estimated by the method of marginal maximum likelihood estimation. The items characteristic curves contributed to identify questions with different levels of difficulty and discrimination. The items information curves showed the level of contribution of each question to the estimation of students’ ability and the test information curve showed that the maximum discrimination is achieved for students below average in ability’s scale, that is, the test was more effective for students with ability level between low and medium. It is hoped that this study demonstrates the importance of assessing the evaluations and motivate the development of tests with questions whose characteristics suited to students’ ability levels, never forgetting, however, the educational objectives and skills to provide. The parameterization exercises correspond to a technique that allows to consider the same curriculum content without using, exclusively, the same statement. In this paper we illustrate some parameterized exercises which can be incorporated into a bank questions. |
Description: | Mestrado em Matemática e Aplicações |
URI: | http://hdl.handle.net/10773/22197 |
Appears in Collections: | UA - Dissertações de mestrado DMat - Dissertações de mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Tese Final - Jasse.pdf | 1.1 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.