07 ago 2025
09:00 Defesa de Doutorado sala 85 do IC2
Tema
Aprendizado Autossupervisionado Aplicado a Dados Espaço-Temporais
Aluno
Leandro Stival
Orientador / Docente
Hélio Pedrini - Coorientador: Ricardo da Silva Torres
Breve resumo
Os dados espaço-temporais (do inglês: Spatiotemporal data - STD) estão presentes em muitas áreas, tais como neurociências, ciências sociais, criminologia, ciências da terra e processamento de vídeo. Essa diversidade de áreas se reflete na grande quantidade de dados disponíveis, o que exige ferramentas adequadas para análise. O desenvolvimento e o uso de métodos de aprendizado de máquina têm ganhado atenção como uma direção promissora para apoiar a análise de dados. No entanto, na maioria dos casos, esses dados não possuem rótulos para apoiar o desenvolvimento de técnicas supervisionadas, o que representa um desafio para o uso dos dados disponíveis em aplicações práticas envolvendo tarefas de predição. Esta tese explora metodologias que utilizam dados espaço-temporais não rotulados para treinar modelos robustos de aprendizado de máquina, aprimorando a propagação de informações ao longo do tempo e construindo representações significativas de características. Nesse sentido, dois domínios de aplicação distintos são explorados: aprendizado profundo para colorização de vídeos (do inglês: Deep Learning Video Colorization - DLVC) e tarefas envolvendo imagens de sensoriamento remoto multiespectral (do inglês: Multispectral Remote Sensing Images - MSRSI). No contexto do DLVC, o desafio central é alcançar uma reconstrução fiel das cores, garantindo a consistência temporal entre os quadros do vídeo. Dessa forma, propomos metodologias para produzir representações de características que codificam de forma mais eficaz as dependências espaciais e temporais. Para tanto, as contribuições nessa área incluem: uma pesquisa abrangente de problemas em aberto e tendências em DLVC, a produção e avaliação de estratégias existentes de colorização e propagação, o desenvolvimento de novas arquiteturas de rede focadas na fusão de características e a introdução dos protocolos de treinamento e arquiteturas de visão computacional. Os métodos propostos demonstram um desempenho de colorização que excede os benchmarks existentes. No âmbito do sensoriamento remoto, o desafio central consiste em extrair representações eficazes do MSRSI, que integrem informações semânticas, espaciais e temporais em um único espaço. Esta tese aborda como a riqueza semântica de imagens multiespectrais pode aprimorar o espaço de características por meio de aprendizado de máquina autossupervisionado (do inglês: Self-Supervised Learning - SSL), analisando padrões semânticos e texturais integrados ao treinamento de modelos profundos. Esses padrões foram validados em tarefas de sensoriamento remoto, tais como a classificação da cobertura do solo, a segmentação semântica e a detecção de mudanças. Considerando as informações temporais, tais aspectos foram extensivamente investigados no MSRSI por meio de séries temporais de índices de vegetação ao nível de pixel. A validação da multimodalidade dos modelos treinados foi realizada por meio de uma série de tarefas, incluindo classificação e previsão de séries temporais de índices de vegetação por pixel. Em suma, as contribuições desta tese aprofundam o conhecimento em SSL para STD, DLVC e MSRSI.
Banca examinadora
Titulares:
| Hélio Pedrini | IC/UNICAMP |
| David Menotti Gomes | DInf/UFPR |
| Edimilson Batista dos Santos | DCOMP/UFSJ |
| Marcelo da Silva Reis | IC/UNICAMP |
| Marco Antonio Garcia de Carvalho | FT/UNICAMP |
Suplentes:
| André Santanchè | IC/UNICAMP |
| Moacir Antonelli Ponti | ICMC/USP |
| Ronaldo Cristiano Prati | CMCC/UFABC |