30set2026
09:00 Defesa de Doutorado Auditório do IC3
Tema
Reusing Pretrained Models: Transferability Estimation and Model Merging
Aluno
Levy Gurgel Chaves
Orientador / Docente
Sandra Eliza Fontes de Avila - Coorientador: Eduardo Alves do Valle Junior
Breve resumo
O crescimento exponencial dos modelos de código aberto deslocou o paradigma computacional do treinamento de redes neurais do zero para o reaproveitamento de modelos existentes. O reúso de modelos oferece um processo eficiente em termos de recursos e altamente acessível para a construção de sistemas de aprendizado de máquina capazes. Esta tese investiga e avança sistematicamente duas fronteiras críticas do reúso de modelos para classificação de imagens: a seleção de modelos por meio da estimativa de transferibilidade e a adaptação na etapa de inferência por meio da fusão de modelos.
A primeira frente aborda o desafio de selecionar de forma eficiente o modelo mais promissor para um conjunto de dados-alvo sem a necessidade de realizar fine-tuning em todos os candidatos. Quando os estimadores de transferibilidade predizem com precisão a capacidade de transferência de conhecimento de um modelo, os profissionais podem restringir comparações empíricas que demandam muitos recursos a um pequeno subconjunto de candidatos. No entanto, pesquisas anteriores enfrentaram problemas decorrentes de benchmarks altamente inconsistentes, incluindo a ausência de padrões para o desenho experimental e baselines pouco claros, o que levou a resultados contraditórios entre diferentes estudos. Para solucionar esse problema, introduzimos um framework de avaliação abrangente e padronizado, que contempla tanto tarefas de classificação de imagens naturais (por exemplo, de animais ou objetos) quanto tarefas de classificação de imagens médicas. Nossa análise demonstra que os atuais estimadores de estado da arte frequentemente não conseguem superar um simples baseline baseado na acurácia no ImageNet. Como consequência, propomos um estimador linear combinado que integra diferentes perspectivas de aprendizado por transferência e supera, por uma margem significativa, tanto os estimadores existentes quanto o baseline do ImageNet.
A segunda frente explora a fusão de modelos como uma estratégia eficiente para combinar múltiplos modelos submetidos a fine-tuning em uma única arquitetura, maximizando a preservação das capacidades individuais de cada especialista. Tradicionalmente, os pesos combinados são combinados utilizando um fator de escala. Abordamos dois problemas: (1) estratégias para escolher os fatores de escala dos pesos fundidos quando não há dados de validação disponíveis para essa finalidade. confrontamos a dependência de dados de validação do domínio-alvo, mantidos à parte, para ajustar os fatores de escala. Mitigamos essa dependência de dados por meio do desenvolvimento de um mecanismo de pooling estritamente livre de otimização; (2) a extensão da fusão de modelos para a generalização entre domínios. Introduzimos um benchmark e demonstramos que a fusão de especialistas especializados leva inerentemente a conflitos severos nos subespaços. Para mitigar essa degradação, desenvolvemos o SCORE, um novo método baseado em SVD que reduz conflitos nas direções singulares, proporcionando uma generalização superior para dados fora da distribuição. Em conjunto, essas contribuições concretas oferecem uma metodologia mais fundamentada e robusta para navegar pelo universo em expansão dos modelos pré-treinados.
Banca examinadora
Titulares:
| Sandra Eliza Fontes de Avila | IC/UNICAMP |
| Aline Marins Paes Carvalho | IC/UFF |
| Ana Carolina Lorena | ITA |
| Gerberth Adín Ramírez Rivera | UiO/Noruega |
| Jose Henrique de Morais Goulart | INP/França |
Suplentes:
| Agma Juci Machado Traina | ICMC/USP |
| Ticiana Linhares Coelho da Silva | CGU |
| João Batista Florindo | IMECC/UNICAMP |