Projects

Ongoing Projects

We have some ongoing projects.

Methods of image, video and multimedia analysis which use hierarchical representation aim to explore the visual representation as region-oriented scale-space. This representation is a set of graph representations at different detail levels in which the representation at finer levels are nested with respect to those at coarser levels producing a hierarchy of partitions. This kind of data structure has been sucessfully applied to remote sensing, object detection and human action recognition. Despite the several ways for computing hierarchies of partitions, developing efficient and effective methods is not an easy task due to the semantic information which is needed for a segmentation. In fact, the state-of-the-art segmentation methods depend on the good gradients to produce good results. Furthermore, non-hierarchical methods could produce good segmentation results thanks to the (dis)similarity measure used for merging two regions, which can be transformed, without loss of quality, into hierarchical methods which incorporate some new properties. Thus, the main goal of this study is to advance in the state-of-the-art on taking into account aspects of efficiency, quality, making hierarchical and interactivity, as well as the use of hierarchical information to help in the information extraction and the label propagation. Moreover, we will investigate hierarchical visualization of all, image, video and multimedia, by using countour saliency maps. Finally, we will explore the criteria for hierarchical comparison and for hierarchical combination taking into account their contour saliency maps and learning methods. The results of these studies will be used for solving several applications like human action recognition, pornography detection, image and video region labeling, multimedia label propagation, image and video inpainting, among others. We will build upon existing research and skills at LIGM, IRISA, Grenoble INP, UNICAMP, PUC Minas and UFMG to develop collaborative work exploiting complementarity of these institutions

Técnicas de processamento de imagem e vídeo a partir de representações hierárquicas visam explorar a representação visual de dados considerando um conjunto de segmentações. Estas segmentações descrevem o conteúdo visual em diferentes níveis de detalhe e são produzidas de tal maneira que os níveis mais finos produzem níveis mais grosseiros a partir da união de regiões, produzindo deste modo uma hierarquia de partições. Estas estruturas de dados têm sido aplicadas com sucesso em áreas como sensoriamento remoto, detecção de objetos ou até mesmo na melhoria do reconhecimento de ação. Existem várias maneiras para se computar estas hierarquias de partições, no entanto algoritmos eficientes e eficazes são difíceis de desenvolver devido às informações semânticas necessárias para a segmentação. Na verdade, os métodos de segmentação que estão no estado-da-arte são dependentes do cálculo de bons gradientes. Além disto, métodos não-hierárquicos podem produzir boas segmentações graças à métrica usada para calcular a similaridade entre duas regiões. Estes métodos podem ser transformados, sem perda de qualidade, em métodos hierárquicos, o que insere novas propriedades nestes métodos. O objetivo deste estudo é avançar na área da hierarquia de partições, considerando os aspectos de eficiência, qualidade, hierarquização e interatividade, assim como usar a informação hierárquica para auxiliar na extração de informação. A transformação de algoritmos clássicos de segmentação em algoritmos hierárquicos, em particular sem exigência de refinamento de parâmetro, poderá ser considerado um dos pontos importantes deste estudo. Espera-se ainda investigar estratégias para visualizar hierarquias tanto em imagens quanto em vídeos, como os mapas de saliência. Finalmente, estudar critérios de comparação entre hierarquias. Os resultados destes estudos serão utilizados para resolver diversas aplicações, como o reconhecimento de ações, detecção de pornografia e descoberta de motifs.

A pandemia de COVID-19 tem gerado significativos impactos, que extrapolam os aspectos imediatamente conectados à saúde pública. Dentre os principais desafios associados à pandemia figura a subnotificação e o conhecimento mais aprofundado sobre os fatores que controlam o contágio e a dispersão espacial do fenômeno. Diante da urgência deste quadro, o poder público local, bem como as empresas e o terceiro setor demandam informações confiáveis e de qualidade para propor ações que inibam o avanço da pandemia e reduzam os seus impactos nos sistemas de saúde, bem como os seus efeitos sociais e econômicos. O presente projeto tem como motivação principal a necessidade de duas linhas mestras que se articulam e se complementam. Busca-se (i) caracterizar, modelar e analisar comportamentos e padrões de movimentação dos usuários do sistema de transporte público de Belo Horizonte MG, que transitaram no entorno de pontos de interesse de saúde, estimando probabilidades de contágio e níveis de incidência da COVID-19; bem como (ii) monitorar a evolução espacial dos casos de COVID-19 e os seus fatores correlatos em Belo Horizonte, com vistas a desenvolver modelos preditivos em relação os vetores espaciais de expansão da COVID-19. Esses objetivos serão materializados por uma equipe multidisciplinar de trabalho, que desenvolverá rotinas metodológicas inovadoras para o monitoramento e construção de cenários ligados à incidência da COVID-19. A equipe multidisciplinar é composta por Alexandre Magno Alves Diniz, Ana Márcia Moreira Alvim, Giovanna Ribeiro Souto, Henrique Leonardo Guerra, Humberto Torres Marques-Neto, Paulo Fernando Braga Carvalho, Rodrigo Villamarim Soares, Silvio Jamil Ferzoli Guimarães (coordenador) e Vânia Eloísa de Araújo Silva.

Previous Projects

A segmentação hierárquica de vídeos produz um espaço-escala orientado à região, i.e., um conjunto de segmentações em diferentes níveis de detalhe no qual as segmentações com detalhes mais finos são incluídas nas de níveis mais grossos. Aplicações como a rotulação de cenas (ou regiões), assim como, o reconhecimento de ações podem basear-se nas informações destes diferentes níveis com o intuito de melhorar a qualidade do reconhecimento, além de facilitar sua rotulação, em contraponto ao uso da informação extraída em somente uma escala. Muitos algoritmos de segmentação de vídeos, tais como algoritmos de junção de regiões, baseiam-se em um critério de junção que não produz uma hierarquia, e pode necessitar de uma parametrização difícil. O objetivo deste estudo é investigar formas de transformar algoritmos clássicos de segmentação em algoritmos hierárquicos, em particular sem exigência de refinamento de parâmetro, considerando tanto métodos interativos quantos não interativos. Espera-se ainda investigar estratétias para visualizar hierarquias tanto em imagens quanto em vídeos, como os mapas de saliência. Finalmente, estudar critérios de comparação entre hierarquias..

Multimedia data are usually complex, possibly combining multiple channels and time information to convey a message. It is highly dimensional, multimodal, and involves variability and distortion. In this project, we aim at studying and designing different transformations of multimedia data that enables to facilitate its manipulation, while handling the different particularities stated above. TRANSFORM focuses on transforming multimedia data into compact representations that are suited for indexing and retrieval purposes. We will design particularly transformations adapted to 3D-shapes, temporal data and to multimodal data. The designed representations will be integrated into efficient indexing schemes for retrieval purposes. Targeted applications will include 3D-shapes indexing, discovery of audiovisually coherent fragments, of recurrence in speech data and multimodal content linking and navigation. This project will strengthen existing collaborations between Brazilian, Chilean and French labs, all having a strong background in multimedia content analysis. We will also establish exchange of students so that these collaborations can pursue in the future.