O recente desenvolvimento no aprendizado por redes neurais profundas (Deep Learning) trouxe um avanço disruptivo na área de visão computacional [1] para resolver efetivamente muitos problemas, como detecção de objetos (checar se uma imagem contém uma instância de uma determinada classe - exemplo: uma imagem contém um rosto?) e localização de objetos (localizar espacialmente em uma imagem “caixas delimitadoras” contendo instâncias da classe pesquisada). Por outro lado, o problema geral da segmentação de imagens continua difícil, apesar das melhorias significativas trazidas pelo deep learning. Segmentar um objeto em uma imagem consiste em identificar os pixels que correspondem a uma instância da classe procurada: cada pixel da imagem deve então ser classificado (pertence ou não ao objeto procurado) e a resposta do classificador deve ser espacialmente coerente. Em muitos casos, a supervisão do usuário é necessária para produzir segmentações satisfatórias para um conjunto de imagens. Para isso, uma forma eficaz de supervisão consiste em fornecer ao algoritmo exemplos de pixels na imagem que pertencem ao objeto pesquisado e exemplos de pixels que não lhe pertencem. Esses exemplos são chamados marcadores e são fornecidos por meio de interfaces gráficas dedicadas (veja a Figura 1). De forma geral, um procedimento interativo permite ao usuário “refinar” ou editar os marcadores até que um resultado de segmentação satisfatório seja obtido [2,3]. Existem muitas técnicas de segmentação interativa baseadas em grafos [4], e essas técnicas incluem fases de aprendizado de contornos e atributos regionais feitos a partir de modelos de aprendizado de máquina ou deep learning [5].

O objetivo deste projeto é propor, estudar e treinar algoritmos para auxiliar o usuário durante um procedimento de segmentação interativa, sugerindo marcadores automaticamente. Para isso, os marcadores sugeridos pelo algoritmo devem:

• ser facilmente editáveis pelo usuário que pode optar por recusá-los, aceitá-los parcial ou totalmente; e
• permitir maximizar o ganho de qualidade quando esses marcadores são usados ​​como entrada do método de segmentação supervisionado escolhido.

Neste projeto, consideramos cuidadosamente os procedimentos de segmentação auxiliados por marcadores que são baseados em hierarquias de partições em morfologia matemática [3]. Esses métodos possuem boas propriedades teóricas oferecendo garantias de eficiência e robustez, e têm sido utilizados ​​com sucesso em muitas aplicações no campo de processamento de multimídia, visão computacional, sensoriamento remoto e imagens médicas e biológicas. Além disso, esses métodos têm a vantagem de serem simples, rápidos e intuitivos para a fase de interação do usuário, e serem compatíveis com modelos de aprendizado profundo [8], permitindo em alguns casos incluí-los em uma arquitetura e realizar um aprendizado de ponta a ponta.

[1] Farabet, C., Couprie, C., Najman, L., and LeCun, Y. (2012). Learning hierarchical features for scene labeling. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8), 1915-1929.

[2] Falcão, A. X., & Bergo, F. P. (2004). Interactive volume segmentation with differential image foresting transforms. IEEE Transactions on Medical Imaging, 23(9), 1100-1108.

[3] Perret, B., Cousty, J., Ura, J. C. R., & Guimarães, S. J. F. (2015, May). Evaluation of morphological hierarchies for supervised segmentation. In International Symposium on Mathematical Morphology and Its Applications to Signal and Image Processing (pp. 39-50). Springer, Cham.

[4] Couprie, C., Grady, L., Najman, L., & Talbot, H. (2010). Power watershed: A unifying graph-based optimization framework. IEEE transactions on pattern analysis and machine intelligence, 33(7), 1384-1399.

[5] Maninis, K. K., Pont-Tuset, J., Arbeláez, P., and Van Gool, L. (2017). Convolutional oriented boundaries: From image segmentation to high-level tasks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(4), 819-833.

[6] Interactive segmentation with morphological hierarchies, logiciel web : https://perso.esiee.fr/~perretb/ISeg/#

[7] Wang, G., Li, W., Zuluaga, M. A., Pratt, R., Patel, P. A., Aertsen, M., … & Vercauteren, T. (2018). Interactive medical image segmentation using deep learning with image-specific fine tuning. IEEE transactions on medical imaging, 37(7), 1562-1573.

[8] Chierchia, G., and Perret, B. (2019). Ultrametric fitting by gradient descent. In: Advances in neural information processing systems (pp. 3175-3186).

[9] Fonseca, G. B., Negrel, R., Perret, B., Cousty, J., & Guimaraes, S. J. F. (2021). New hierarchy-based segmentation layer: towards automatic marker proposal. In 2021 34th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI) (pp. 354-361). IEEE.