29 jul 2022
10:00 Defesa de Doutorado Auditório do IC3
Tema
Learning Visual Clues of the Passage of Time
Aluno
Rafael Soares Padilha
Orientador / Docente
Orientador: Anderson de Rezende Rocha / Coorientadora: Fernanda Alcântara Andaló
Breve resumo
O Tempo sempre foi um conceito físico misterioso e evasivo de se compreender e modelar formalmente. Quando tiramos uma fotografia, estamos imprimindo visualmente o contexto temporal de um momento no tempo. Da iluminação e as cores de uma cena, até a forma como nos vestimos e a aparência do mundo ao nosso redor; todos esses elementos carregam algum grau de informação temporal. Nesta tese, nós investigamos como podemos perceber visualmente a passagem do tempo e, principalmente, como isto pode ser utilizado para extrair conhecimento temporal útil para problemas forenses. Para melhor compreender estes conceitos, nós investigamos duas tarefas de inferência temporal: detecção de manipulações em metadados temporais e ordenação cronológica de imagens. No primeiro problema, propomos uma rede neural profunda que combina informações visuais, temporais e geográficas para verificar a timestamp de uma foto. Na segunda tarefa, combinamos diversos classificadores binários com o conhecimento de um especialista forense para ordenar no tempo imagens oriundas de eventos forenses. Nós avaliamos os nossos métodos em dados reais vindos de redes sociais, realizando diversos experimentos para entender quando nossas técnicas funcionam e falham. Com o pano de fundo de aplicações no cenário forense, temos como objetivo métodos acurados, mas que também sejam transparentes e interpretáveis. Por esse motivo, consideramos a explicabilidade das técnicas propostas, investigando quais são os elementos determinantes para uma decisão algorítmica. As descobertas deste trabalham destacam a importância de se combinar múltiplas modalidades de dados (por exemplo, visual, geográfica, e aquelas que refletem a aparência de uma cena), aumentar artificialmente a variabilidade de dados com técnicas de aumentação e, principalmente, incorporar os conhecimentos de um especialista forense por todo o processo de desenvolvimento e análise de métodos forenses.
Banca examinadora
Titulares:
Fernanda Alcântara Andaló LEGO Group
Marjory Cristiany da Costa Abreu Sheffield Hallam University
Cristina Nader Vasconcelos Google Research
Agma Juci Machado Traina ICMC/USP
Esther Luna Colombini IC/UNICAMP
Suplentes:
Sandra Eliza Fontes de Avila IC/UNICAMP
Paula Dornhofer Paro Costa FEEC/UNICAMP
Lin Tzy Li Samsung