Um estudo com BERT para reconhecimento de entidades nomeadas e classificação de peças processuais no domínio jurídico brasileiro

Abstract

Resumo: O sistema judicial brasileiro enfrenta um desafio crítico de eficiência, encerrando o ano de 2023 com aproximadamente 83,8 milhões de processos pendentes. Diante desse cenário, as técnicas de Processamento de Linguagem Natural (PLN) surgem como uma solução estratégica para a automação de atividades e auxílio na tomada de decisão . Embora modelos de machine learning sejam frequentemente aplicados para essa automação, a natureza complexa e os jargões dos textos jurídicos exigem abordagens mais especializadas. A fim de criar um sistema especializado para esse domínio de texto, foi desenvolvido um pipeline de PLN que emprega modelos da arquitetura BERT para as tarefas de Classificação de Textos e Reconhecimento de Entidades Nomeadas (NER) utilizando a base de dados Iudicium Textum Dataset. Os resultados obtidos após o ajuste fino (fine-tuning) do modelo BERTimbau alcançaram para o Classificador de Texto uma acurácia de 98,31%, enquanto o modelo para o NER obteve um F1-Score de 87,64%. Com este desempenho, o sistema desenvolvido se apresenta como uma ferramenta poderosa para o avanço da PLN no setor jurídico brasileiro.__Abstract: The Brazilian judicial system faces a critical efficiency challenge, having ended 2023 with approximately 83.8 million pending cases. In this scenario, Natural Language Processing (NLP) techniques emerge as a strategic solution for automating activities and assisting in decision-making. Although machine learning models are often applied for this automation, the complex nature and jargon of legal texts demand more specialized approaches. To create a specialized system for this text domain, an NLP pipeline was developed, employing models from the BERT architecture for the tasks of Text Classification and Named Entity Recognition (NER) using the Iudicium Textum Dataset. The results obtained after fine tuning the BERTimbau model showed an accuracy of 98.31% for the Text Classifier, while the NER model achieved an F1-Score of 87.64%. With this performance, the developed system presents itself as a powerful tool for the advancement of NLP in the Brazilian legal sector.