05 dez 2023
14:00 Defesa de Doutorado Sala 53 do IC2
Tema
Estabilização de Vídeo Digital: Métodos, Conjuntos de Dados e Avaliação
Aluno
Marcos Roberto e Souza
Orientador / Docente
Hélio Pedrini
Breve resumo
A estabilização digital de vídeos tem como objetivo melhorar a qualidade visual de vídeos com oscilações, suavizando a trajetória da câmera. Embora inúmeros trabalhos de pesquisa tenham abordado esse desafio, há uma falta de organização e análise na literatura. Neste trabalho, apresentamos uma extensa revisão da literatura, incluindo métodos e avaliações, categorizados de acordo com taxonomias propostas. Fornecemos uma definição formal do problema, identificamos os principais desafios e discutimos direções futuras. Além disso, realizamos uma meta-análise dos resultados reportados em vários estudos, a partir da qual percebemos, por exemplo, que abordagens recentes como o DWS, alcançam qualidade inferior em comparação com métodos da abordagem clássica. Esse esforço organizacional resultou em dois surveys. Também abordamos a avaliação da estabilização de vídeos, enfatizando sua importância na compreensão da estabilidade do ponto de vista da percepção humana e a necessidade de conjuntos de dados apropriados. Primeiro, conduzimos um estudo breve sobre a correlação das medidas de estabilidade de vídeos atuais, introduzindo novas alternativas baseadas em cinemática. Alcançamos até 78% de correlação com a percepção humana, em comparação com cerca de 65% para a melhor métrica da literatura. Também destacamos a importância de avaliar cada etapa da estabilização. Para a etapa de estimativa de movimento bidimensional, propusemos uma abordagem de avaliação baseada em campos de movimento da câmera. Nossos resultados experimentais demonstram a confiabilidade de nossas métricas e seu potencial para a avaliação de diferentes cenários. Por fim, abordamos os desafios dos métodos DWS, que utilizam aprendizado profundo para prever os quadros estabilizados sem calcular explicitamente o movimento instável da câmera. Nesse sentido, propusemos o NAFT, um método DWS semi-online que integra um mecanismo de atualização consciente das respostas dos vizinhos em um modelo baseado no RAFT. Nossa abordagem aprende como estabilizar a partir dos dados sem incluir explicitamente a definição de estabilidade nas funções de perda de treinamento. Além disso, introduzimos o SynthStab, um conjunto de dados sintético que facilita a supervisão por meio do movimento da câmera e é usado para treinar o NAFT. Nossos resultados experimentais mostram que o NAFT diminui a diferença de desempenho de métodos DWS em relação aos métodos estado-da-arte, enquanto também reduz o número de parâmetros e o tamanho do modelo para apenas 7% de seus concorrentes.
Banca examinadora
Titulares:
| Hélio Pedrini | IC/UNICAMP |
| Luiz Maurílio da Silva Maciel | ICE/UFJF |
| André Eugênio Lazzaretti | DAELN/UTFPR |
| Alexandre Mello Ferreira | EEP |
| Esther Luna Colombini | IC/UNICAMP |
Suplentes:
| Andre Santanche | IC/UNICAMP |
| Erickson Rangel do Nascimento | ICEx/UFMG |
| Ronaldo Cristiano Prati | CMCC/UFABC |