Correção automática de questões discursivas de resposta curta: uma abordagem baseada em extração de informação

Abstract

Resumo A avaliação de estudantes por meio de questões discursivas é um recurso pedagógico importantíssimo utilizado para estimar o nível de conhecimento retidos pelos alunos, para identificar as dificuldades do educando e posteriormente para aprimorar as ferramentas educacionais utilizadas pelo educador. Contudo, apesar de sua importância, sua aplicação resulta em algumas problemáticas, pois sua correção não é uma tarefa trivial. A medida em que cresce o número de alunos dentro de uma turma, tal tarefa torna-se inviável, consumindo um tempo excessivo do professor que poderia ser gasto em outras tarefas pedagógicas. Com o objetivo de auxiliar neste problema, este trabalho propõe um novo método de correção automática de questões discursivas utilizando uma abordagem baseada em extração de informação. Com o auxílio das bibliotecas mais recentes de Processamento de Linguagem natural e utilizando dados reais de alunos do ensino fundamental, foi computada a acurácia do método proposto e comparada contra o método do estado da arte. A abordagem proposta mostra uma clara vantagem (desempenho 12 por cento superior) sobre as técnicas do estado da arte que usam aprendizado de máquina, apresentando resultados animadores e encorajadores, como um índice de concordância substancial/forte (coeficiente Kappa 0,674) entre o método e avaliadores humanos.___Abstract The students assesment throught essay questions is a very important pedagogical resource used to estimate the level of knowledge retained by students, to identify the student’s difficulties and later to improve the educational tools used by the educator. However, despite its importance, its application results in some problems, because its correction is not a trivial task. As the number of students in a class grows, this task becomes unfeasible, consuming excessive teacher time that could be spent on other pedagogical tasks. In order to help with this problem, this work proposes a new method of automatic correction of essay questions using an approach based on information extraction. With the aid of the most recent Natural Language Processing libraries and using real data from elementary school students, the accuracy of the proposed method was computed and compared against the state-of-the-art method. The proposed approach shows a clear advantage (12 percent higher performance) over state-of-the-art techniques that use machine learning, showing interesting and encouraging results, such as a substantial/strong concordance index (Kappa coefficient 0.674) between the method and human grading.