Avanços na Resolução de Problemas de Programação: Uma Comparação entre Chat GPT 3.5 e Chat GPT 4 através de Desafios da BeeCrowd

Abstract

O presente trabalho apresenta uma análise comparativa entre os modelos de linguagem natural Chat GPT 3.5 e Chat GPT 4, focando na resolução de problemas de programação na plataforma BeeCrowd. O objetivo central é avaliar a eficácia das duas versões do modelo na resolução de 50 problemas categorizados em níveis de dificuldade (fácil, intermediário e difícil), replicando um experimento realizado anteriormente com o Chat GPT 3.5. A pesquisa utiliza uma metodologia de submissão de problemas à plataforma, comparando os resultados obtidos pelas duas versões do Chat GPT. O estudo abrange aspectos como a taxa de acertos e erros, a quantidade de tentativas necessárias para a resolução correta e tipos de erros encontrados. Além disso, o trabalho explora as limitações do Chat GPT 4, especialmente na interpretação de exemplos de entrada e saída nas questões de programação, o que resultou em um desempenho inferior ao do Chat GPT 3.5. Os resultados mostraram que o Chat GPT 3.5 obteve uma taxa de acerto de 42%, enquanto o Chat GPT 4 alcançou apenas 2% de sucesso. A pesquisa também levanta hipóteses sobre o baixo desempenho do Chat GPT 4, bem como realiza experimentos adicionais para discutir tais hipóteses, destacando a importância de fornecer instruções explícitas sobre os exemplos nas questões para melhorar a precisão das respostas geradas. Conclui-se que, apesar dos avanços tecnológicos incorporados no Chat GPT 4, seu desempenho na resolução de problemas de programação não superou o de seu antecessor.