03 mai 2021
14:00 Defesa de Mestrado Integralmente a distância
Tema
Utilizando Transformers e Emoji na Classificação de Sentimento de Textos Oriundos de Redes Sociais
Aluno
Tiago Martinho de Barros
Orientador / Docente
Hélio Pedrini (Orientador) / Zanoni Dias (Co-orientador)
Breve resumo
Avanços recentes na área de Processamento de Linguagem Natural trouxeram melhores soluções para uma série de tarefas interessantes como Aceitabilidade Linguística, Respostas a Perguntas, Compreensão de Leitura, Inferência de Linguagem Natural e Análise de Sentimento. Neste trabalho, focamos em Análise de Sentimento, que é um campo de pesquisa voltado ao estudo computacional de sentimentos. A Análise de Sentimento possui muitas aplicações práticas como sistemas de recomendação, monitoramento de satisfação de usuários e previsão do resultado de eleições.
As tarefas mencionadas são importantes para o avanço da Inteligência Artificial, pois são desafiadoras e podem ser aplicadas em vários problemas. A abordagem tradicional é construir um classificador específico para cada tarefa, entretanto, com a popularização do conceito de pré-treinamento seguido de ajuste fino, tornou-se muito comum a utilização de uma mesma arquitetura em diferentes problemas, por meio de ajuste fino com dados da tarefa em questão.
Métodos como ULMFiT, ELMo, BERT e seus derivados obtiveram sucesso substancial em muitas tarefas de Processamento de Linguagem Natural, no entanto, eles compartilham uma desvantagem: para pré-treinar esses modelos do zero, quantidades substanciais de dados e recursos computacionais são necessários. Neste trabalho, propomos uma nova metodologia para classificar sentimento em textos, baseada no BERT e com foco em emoji, tratando-os como uma importante fonte de sentimento em vez de considerá-los simples tokens de entrada. Além disso, pode-se utilizar um modelo BERT já pré-treinado como ponto de partida para nosso modelo, reduzindo significativamente o tempo total de treinamento necessário.
Avaliamos o uso de pré-treinamento adicional com textos contendo pelo menos um emoji. Também empregamos aumentação de dados para melhorar a capacidade de generalização de nosso modelo. Experimentos em dois conjuntos de dados de tweets em português do Brasil - TweetSentBR e 2000-tweets-BR - mostram que nossa metodologia produz resultados competitivos em relação aos métodos publicados anteriormente e ao BERT.
Banca examinadora
Titulares:
| Hélio Pedrini | IC/UNICAMP |
| Rodrigo Frassetto Nogueira | NeuralMind |
| Esther Luna Colombini | IC/UNICAMP |
Suplentes:
| Gerberth Adín Ramírez Rivera | IC/UNICAMP |
| David Menotti Gomes | DInf/UFPR |