26out2026
14:00 Defesa de Doutorado sala 85 do IC2
Tema
Geração e Adaptação de Conjuntos de Dados Conversacionais para Modelos de Linguagem com Mitigação de Vazamento em Aprendizado Federado
Aluno
Matheus Ferraroni Sanches
Orientador / Docente
Leandro Aparecido Villas
Breve resumo
Os Large Language Models (LLMs) consolidaram-se como uma das tecnologias centrais da atualidade, empregados tanto diretamente por usuários quanto como infraestrutura para soluções mais complexas. A obtenção de níveis elevados de qualidade, contudo, depende da disponibilidade de grandes volumes de dados em cada domínio e idioma.
A privacidade dos participantes é um fator central no treinamento para mitigar o vazamento de informações sensíveis. Ainda assim, persistem desafios relacionados à escassez de dados adequados, sobretudo em domínios específicos ou em cenários com requisitos estruturais particulares, como diálogos multiturnos, nos quais a presença de informações pessoais pode aumentar o risco de vazamento. A literatura aponta que a insuficiência de dados apropriados limita o aprimoramento dos modelos atuais, ao passo que técnicas de proteção de privacidade podem comprometer diretamente seu desempenho.
Nesse contexto, este trabalho aborda a falta de dados em domínios específicos e no português brasileiro, além de propor e avaliar uma técnica para mitigar o vazamento de dados sensíveis em ambientes com treinamento federado. O núcleo desta pesquisa se concentra na criação de conjuntos de dados conversacionais reais, na geração de dados sintéticos, na adaptação de conjuntos de dados existentes, na coleta web em larga escala e na modelagem de ataques em aprendizado federado, bem como na proposição de uma defesa baseada em substituição semântica.
Como resultado, foram desenvolvidas três metodologias, três ferramentas compartilhadas publicamente e seis conjuntos de dados prontos para uso em diferentes áreas, além da readequação e tradução de conjuntos de dados existentes. Dessa forma, as metodologias propostas são demonstradas e validadas por meio de sua instanciação em ferramentas empregadas na geração de conjuntos de dados em grande volume, adequados ao treinamento e ao refinamento de LLMs.
Além disso, a proposta de mitigação de vazamento de dados sensíveis em ambientes com treinamento federado é avaliada. Como produto dessa avaliação, são gerados artefatos que podem ser expandidos por outros pesquisadores para analisar diferentes técnicas voltadas ao mesmo problema.
Banca examinadora
Titulares:
| Leandro Aparecido Villas | IC/UNICAMP |
| Flávia Coimbra Delicato | IC/UFF |
| Elvis Fusco | FSNT |
| Helena de Almeida Maia | IC/UNICAMP |
| Washington Luiz Miranda da Cunha | IC/UNICAMP |
Suplentes:
| Hélio Pedrini | IC/UNICAMP |
| Leonardo Castro Botega | UNESP |
| Helder May Nunes da Silva Oliveira | IME/USP |