Please use this identifier to cite or link to this item: http://hdl.handle.net/10773/16879
Title: Deteção da existência de conhecimento prévio de questões de escolha múltipla utilizando o modelo DGM
Author: Pereira, Fernanda da Silva
Advisor: Pereira, Isabel Maria Simões
Monteiro, Magda Sofia Valério
Keywords: Matemática aplicada
Testes de avaliação de conhecimentos
Testes de escolha múltipla - Fraude
Probabilidades
Defense Date: 2015
Publisher: Universidade de Aveiro
Abstract: A teoria de resposta a itens (TRI) engloba uma família de modelos não lineares que fornecem uma estimativa da probabilidade de responder corretamente a uma pergunta de escolha múltipla (item) de um teste. Esta família de modelos caracteriza-se em função da capacidade dos estudantes e das características dos itens, como sejam a dificuldade e a discriminação. Os modelos TRI têm como variáveis dependentes itens dicotómicos e como variáveis independentes uma ou mais variáveis latentes. Um dos modelos TRI habitualmente utilizado para analise de testes com perguntas de escolha múltipla e o modelo logístico com 1 parâmetro (1-PL). Uma das problemáticas associada a perguntas de escolha múltipla e a facilidade do estudante cometer fraude. A fraude académica e definida como uma atividade na qual existe uma violação das regras durante o processo de avaliação. A maior parte da investigação na área de deteção de fraude académica tem-se focado na deteção de fraude através da copia das respostas a partir de outros estudantes. No entanto, a literatura e mais escassa em relação a fraude através do conhecimento prévio dos itens. Este ultimo tipo de fraude ocorre na maioria das vezes pela exposição ou memorização de perguntas pelos estudantes. Os modelos TRI referidos anteriormente não permitem a deteção deste tipo de fraude académica. Para dar resposta a esta problemática foi proposto o modelo DGM (Deterministic, Gated Item Response Theory Mo- del) (Shu et al., 2013), que consiste numa mistura de dois modelos 1-PL, que incorpora a divisão dos estudantes em dois grupos. O modelo DGM clássica os estudantes como fraudulentos ou não fraudulentos pelo condicionamento a dois tipos de perguntas; o primeiro tipo inclui os itens que provavelmente estão comprometidos e o segundo tipo os itens não comprometidos. O modelo DGM permite a deteção de fraude através da analise da diferença entre a capacidade de um estudante cometer este tipo de fraude e a sua verdadeira capacidade. Neste trabalho faz-se a aplicação do modelo DGM com o objetivo de estimar a prevalência de estudantes que cometeram fraude devido ao conhecimento prévio dos itens a partir de seis exames de escolha múltipla da unidade curricular de Anatomia Cl nica da Faculdade de Medicina da Universidade do Porto. Cada exame consistiu em 100 questões com cerca de 20% de perguntas repetidas realizado em média por 200 estudantes. Foi utilizada a metodologia Bayesiana para a estimação dos parâmetros do modelo DGM utilizando métodos de Monte Carlo via Cadeias de Markov. As distribuições a priori para os parâmetros do modelo foram definidas utilizando distribuições Normais. A estimação da sensibilidade e especificidade do modelo DGM foi baseada num estudo de simulação, onde se avaliou a proporção dos estudantes que são corretamente classificados como sendo fraudulentos - sensibilidade - e a proporção dos estudantes que são corretamente classificados como não fraudulentos - especificidade. Tendo em conta as estimativas para a sensibilidade e especificidade estimou-se a prevalência real dos estudantes que cometeram fraude nos testes da UC em analise.
The item response theory (IRT) comprises a family of nonlinear models that provide an estimate of the probability of correctly answer to a question (item) of a multiple choice test. This models family is characterized according to students ability and items characteristics such as di culty and discrimination. The IRT models have dichotomous items as dependent variables and as independent variables one or more latent variables. One of the commonly IRT model used for examination analysis with multiple choice questions is the logistic model with one parameter (1-PL). One of the problems associated with multiple choice questions is the easiness for a student to commit fraud. Academic fraud is de ned as an activity in which there is a violation of the rules during the evaluation process. Most of the research in academic fraud detection area has been focused on fraud detection due to students copying of responses from other students. However, the literature is scarce in relation to fraud through prior knowledge of the items. This type of fraud occurs most often by exposure or memorization of questions by students. The IRT models mentioned above do not allow the detection of this type of fraud. To address this issue DGM Model (Deterministic, Gated Item Response Theory Model) (Shu et al., 2013) was proposed, consisting of a two 1-PL models mixture which splits the students into two groups. The DGM model classi es students as fraudulent or not fraudulent by conditioning them to two types of questions; the rst type includes the items that are probably committed and the second type the uncommitted items. The DGM model allows fraud detection by the analysis of the variation between the student fraud ability to commit this type of fraud and its true ability. In this work the DGM model was applied in order to estimate the prevalence of students who committed fraud due to item prior knowledge from six multiple choice examimations of the Clinical Anatomy course at Faculty of Medicine of University of Porto. Each examination consisted of 100 questions with an average of 200 students and 20% of repeat questions per examination. Bayesian methodology was used to estimate DGM model parameters using Monte Carlo Markov Chain Methods. The a priori distributions were de ned as Normal distributions. The estimation of the sensibility and speci city was based on a simulation study, which evaluated the proportion of students who are correctly classi ed as fraudulent - sensibility - and the proportion of students who are correctly classi ed as non-fraudulent - speci city. The estimates of sensibility and speci city were used to estimate true prevalence of fraudulent students in the UC examinations under study.
Description: Mestrado em Matemática e Aplicações
URI: http://hdl.handle.net/10773/16879
Appears in Collections:DMat - Dissertações de mestrado
UA - Dissertações de mestrado
UA - Dissertações de mestrado

Files in This Item:
File Description SizeFormat 
teseFSP.pdf1.44 MBAdobe PDFView/Open


FacebookTwitterDeliciousLinkedInDiggGoogle BookmarksMySpace
Formato BibTex MendeleyEndnote Degois 

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.