Integrando o Ensino Socrático com LLMS: Um Framework Multi-Agente para Inovação no Ensino de Programação
Autores
|
7624 |
3289,299
|
|
|
7625 |
3289,299
|
Informações:
Publicações do PESC
Esta dissertação apresenta um framework educacional que combina Grandes Mo delos de Linguagem (LLMs) com o método socrático, buscando potencializar o ensino de programação por meio de diálogos mediados por Inteligência Artificial (IA). O objetivo central foi explorar a capacidade de LLMs compactos de internalizar e reproduzir uma abordagem pedagógica socrática eficaz e reflexiva. Para isso, foi realizada a geração de um dataset sintético com cerca de mil pares de interação aluno-professor, utilizados no processo de ajuste fino supervisionado (SFT) e na otimização direta por preferência (DPO) dos modelos LLaMA 3 e Qwen, empregando a técnica LoRA com rank fixo igual a 16. Adicionalmente, foi adotada uma estratégia criteriosa de engenharia de prompt, visando maximizar a clareza e a eficácia pedagógica das respostas geradas. A avaliação das respostas produzidas pelos modelos foi conduzida automaticamente com o auxílio do GPT-4o, considerando critérios como qualidade pedagógica, clareza e fidelidade ao método socrático. Os resultados indicaram que o método híbrido de SFT seguido de DPO proporcionou melhorias significativas no alinhamento pedagógico e na eficácia das respostas, com destaque especial ao modelo LLaMA 3.2-3B, que demonstrou excelente desempenho socrático tanto no treinamento quanto em uma validação externa com questões inéditas. Como trabalho futuro, sugere-se investigar a influência da variação dos ranks LoRA sobre a performance dos modelos, bem como avaliar a eficiência da quantização (QLoRA) quanto ao tempo de treinamento e qualidade pedagógica das respostas, visando a otimização adicional do processo educacional mediado por LLMs.
This dissertation proposes an educational framework that integrates Large Lan guage Models (LLMs) with the Socratic method to enhance the teaching of program ming through dialogues mediated by Artificial Intelligence (AI). The main objective was to investigate the capability of compact LLMs to internalize and effectively reproduce a reflective, pedagogical approach grounded in Socratic techniques. For this purpose, a synthetic dataset comprising approximately one thousand student teacher interaction pairs was created and utilized in supervised fine-tuning (SFT) and Direct Preference Optimization (DPO) of the LLaMA 3 and Qwen models, employing the LoRA technique with a fixed rank of 16. Additionally, a deliber ate prompt engineering strategy was adopted to maximize clarity and pedagogical effectiveness of the generated responses. Automatic evaluation of the generated interactions was conducted using the GPT-4o model, considering criteria such as pedagogical quality, clarity, and adherence to the Socratic method. Results indi cated that the hybrid approach, combining SFT followed by DPO, led to signif icant improvements in the pedagogical alignment and efficacy of model-generated responses. Notably, the LLaMA 3.2-3B model demonstrated outstanding Socratic performance both during training and in external validation involving previously unseen programming questions. As future work, it is recommended to investigate the influence of varying LoRA ranks on model performance and to evaluate the efficiency of quantization methods (QLoRA) regarding training time and pedagogi cal quality of responses, aiming for further optimization of AI-mediated educational processes.