30set2026
10:00 Defesa de Mestrado sala 85 do IC2
Tema
Ajuste Fino Ciente do Contexto para Sistemas RAG em Domínios Especializados
Aluno
Ronaldinho Vega Centeno Olivera
Orientador / Docente
Allan Mariano de Souza - Coorientador: Julio Cesar dos Reis
Breve resumo
Modelos de Linguagem (Language Models, LMs) demonstram notável capacidade em tarefas de conhecimento geral, mas frequentemente enfrentam limitações significativas em domínios especializados, onde a terminologia complexa e a escassez de dados podem levar à geração de informações incorretas (alucinações). Embora a Geração Aumentada por Recuperação (Retrieval-Augmented Generation, RAG) mitigue esses problemas ao integrar conhecimento não paramétrico de bases externas para fundamentar as respostas do modelo, a eficácia do sistema depende fortemente da qualidade da informação recuperada. Em vez de tratar o uso de RAG e o Ajuste Fino (Fine-Tuning, FT) como abordagens mutuamente exclusivas, esta dissertação propõe uma evolução arquitetural e metodológica estruturada em três fases sucessivas e complementares para a otimização de ponta a ponta (end-to-end, E2E) de sistemas RAG. Primeiramente, o trabalho demonstra que o ajuste individual dos modelos recuperador e gerador é a abordagem que produz os resultados mais favoráveis. Nesta fase, introduzimos uma nova estratégia de FT focada no modelo gerador, ensinando-o a utilizar o contexto recuperado de forma mais eficiente. Isso permite que o modelo seja altamente eficaz para sistemas RAG, sem perder a sua capacidade zero-shot. Em segundo lugar, propomos uma nova estratégia de expansão de consultas para aprimorar a recuperação de informação sem a necessidade de FT. Esta fase resolve as limitações de outras abordagens de expansão que utilizam apenas o conhecimento paramétrico dos LMs, o que pode resultar em alucinações e degradar a precisão da recuperação, utilizando, em vez disso, a expansão de consultas fundamentada em contexto. Por fim, para superar os desafios residuais de recuperação, como o custo computacional adicional e as alucinações decorrentes do uso de Grandes Modelos de Linguagem (Large Language Models, LLMs) externos para a expansão de consultas, aplicamos a mesma lógica da estratégia de FT da primeira fase, mas voltada para o treinamento de um modelo de embedding ciente de contexto (Context-Aware FT). Avaliações extensivas demonstram que nossos métodos oferecem uma solução no estado da arte (State of the Art, SOTA) para a otimização E2E de sistemas RAG. Os resultados evidenciam que o Context-Aware FT não apenas aprimora o desempenho em cenários específicos, mas também oferece uma solução precisa, escalável e economicamente viável para a adaptação a domínios fechados e especializados.
Banca examinadora
Titulares:
| Allan Mariano de Souza | IC/UNICAMP |
| Washington Luiz Miranda da Cunha | IC/UNICAMP |
| Daniel Carlos Guimarães Pedronette | IGCE/UNESP |
Suplentes:
| Marcelo da Silva Reis | IC/UNICAMP |
| Joel Luis Carbonera | INF/UFRGS |