Uma abordagem baseada em Engenharia de Dados para extração, transformação e carregamento de dados de instituições acadêmicas

Abstract

Um número significativo de instituições de ensino superior públicas já disponibiliza seus dados por meio de portais abertos, sem restrições de acesso. Como resultado, diversos estudos têm explorado a possibilidade de transformar esses dados, que até então refletem apenas o contexto da instituição específica, em dados conectados que possam ser relacionados entre centenas de universidades distintas. O objetivo do trabalho apresentado foi desenvolver uma abordagem baseada em Engenharia de Dados para extração, transformação em dados conectados e carregamento dos dados, em um repositório unificado de maneira automática denominado DBAcademic, seguindo o modelo RDF de dados conectados. Para alcançar tal meta foi desenvolvida uma arquitetura escalável baseada em gerenciadores de fluxo de trabalho, para lidar com as etapas do processo, bancos de dados não relacionais, para agir como uma camada intermediária de armazenamento e portais de acesso para dados conectados com intuito de publicação dos resultados. De modo a garantir um processo prático, foram criadas DAG(Directed Acyclic Graph) em tempo de execução a partir de um único arquivo de configuração, tornando o processo modular. Com a aplicação desses processos em 64 instituições públicas de ensino superior foi possível obter um repositório de dados conectados com aproximadamente meio milhão de discentes e sessenta mil docentes. Além disso, também foi possível concluir a falta de disponibilidade dos dados em diversas instituições, somado a impossibilidade de atualização de diversso recursos.