24abr2026
14:00 Defesa de Mestrado Sala 85 do IC
Tema
Fine-Tuning Federado Personalizado de Modelos de Linguagem
Aluno
Gabriel Ukstin Talasso
Orientador / Docente
Leandro Aparecido Villas - Coorientador: Allan Mariano de Souza
Breve resumo
A evolução acelerada dos Grandes Modelos de Linguagem (LLMs) evidenciou seu amplo potencial em diversas aplicações, incluindo domínios especializados que requerem ajustes específicos para um desempenho ideal desses modelos. Técnicas de Fine-Tuning (FT) têm sido frequentemente empregadas para adaptar LLMs pre-treinados de forma generalista à domínios específicos. No entanto, elas dependem de grandes quantidades de dados de alta qualidade, que nem sempre estão disponíveis, principalmente por conta da natureza distribuída dos dados e das crescentes preocupações com privacidade e restrições regulatórias no compartilhamento de informações.
Para lidar com esses desafios, o Aprendizado Federado (FL) surge como uma solução viável, pois possibilita o treinamento colaborativo em bancos de dados descentralizados, preservando a privacidade dos dados dos usuários. Contudo, o FL frequentemente enfrenta problemas de desempenho quando os dados são heterogêneos entre os clientes, como em diferentes tarefas, idiomas, preferências ou domínios. Técnicas tradicionais de FL, como especialização e personalização local de modelos, mostraram-se úteis em diversas aplicações. No entanto, apresentam restrições ao tratar de modelos de linguagem que se baseiam em arquiteturas de transformadores e utilizam dados textuais, evidenciando limitações nos métodos vigentes.
Portanto, este estudo tem como objetivo investigar e criar novas técnicas de personalização de modelos para aprimorar o fine-tuning federado de LLMs em cenários de dados heterogêneos. Ao explorar métodos que permitam uma adaptação mais eficaz de LLMs aos dados específicos de cada cliente, esperamos avançar na aplicabilidade desses modelos em ambientes restritos por questões de privacidade e promover sua utilização em uma ampla gama de domínios especializados.
Banca examinadora
Titulares:
| Leandro Aparecido Villas | IC/UNICAMP |
| Roberto de Alencar Lotufo | FEEC/UNICAMP |
| Helena de Almeida Maia | IC/UNICAMP |
Suplentes:
| Juliana Freitag Borin | IC/UNICAMP |
| Vinícius Fernandes Soares Mota | CT/UFES |