20 dez 2022
10:00 Defesa de Mestrado Integralmente a distância
Tema
Transferência de Aprendizado Curricular para Aquisição de Gramáticas Complexas em Modelos de Linguagem
Aluno
Jader Martins Camboim de Sá
Orientador / Docente
Orientador: Leandro Aparecido Villas / Coorientador: Julio Cesar dos Reis
Breve resumo
O ajuste fino de modelos de linguagem em uma tarefa alvo é a abordagem padrão para muitas metodologias de ponta no campo da NLP. No entanto, quando a distribuição entre a tarefa de origem e a tarefa de destino varia, por exemplo, ambientes informais de domínio específico, esses ganhos tendem a ser diminuídos. Este artigo propõe uma sequência de etapas de treinamento em diferentes tarefas guiadas por "data hacking", que permite uma adaptação mais gradual entre as distribuições de treinamento de origem e fim. Por meio desta metodologia constatamos ganhos significativos em tarefas alvo em comparação com outras abordagens de pré-treinamento já estabelecidas.
Banca examinadora
Titulares:
| Leandro Aparecido Villas | IC/UNICAMP |
| Thiago Henrique Silva | DAINF/UTFPR |
| Roberto de Alencar Lotufo | FEEC/UNICAMP |
Suplentes:
| Nádia Félix Felipe da Silva | INF/UFG |
| Marcos Cesar da Rocha Seruffo | ITEC/UFPA |