“Image Stitching of Low-Resolution Retinography Using Fundus Blur Filter and Homography Convolutional Neural Network”

Abstract

Nos últimos anos, foram feitos grandes avanços no image stitching de imagens de retina de alta qualidade. Por outro lado, poucos estudos foram realizados sobre imagens de baixa resolução. Este trabalho investiga os desafios das imagens retinianas de baixa resolução obtidas pela câmera de fundo de olho D-EYE baseada em smartphone. O método proposto usa estimativa de homografia para registrar e unir imagens retinianas de baixa qualidade em um mosaico coeso. Primeiro, uma rede neural siamesa extrai características de um par de imagens, após isso, a correlação de seus mapas de características é calculada. Esse mapa de correlação alimenta quatro CNNs independentes para estimar os parâmetros de homografia, cada uma especializada em diferentes coordenadas de canto. Nosso modelo foi treinado em um conjunto de dados sintéticos gerado a partir do conjunto de dados Microsoft Common Objects in Context (MSCOCO); este trabalho adicionou uma importante fase de aumento de dados para melhorar a qualidade do modelo. Em seguida, o mesmo é avaliado nos conjuntos de dados FIRE retina e D-EYE para medição de desempenho usando o Peak Signal-to-Noise Ratio (PSNR) e o índice de similaridade estrutural (SSIM). Os resultados obtidos são promissores: o PSNR médio foi de 26,14 dB, com um SSIM de 0,96 no conjunto de dados D-EYE. Em comparação com o método que usa uma única rede neural para cálculos de homografia, nossa abordagem melhora o PSNR em 7,96 dB e alcança uma pontuação SSIM 7,86% maior.