13 mar 2025
14:00 Defesa de Doutorado Auditório do IC3
Tema
DreamerRL: Empowering Representation Learning via Predictive World Models for Reusable Humanoid Robot Manipulation Tasks
Aluno
Alana de Santana Correia
Orientador / Docente
Esther Luna Colombini - Coorientadora: Paula Dornhofer Paro Costa
Breve resumo
Agentes capazes de operar e se adaptar de forma autônoma em ambientes projetados para humanos é um objetivo de longo prazo na inteligência artificial (IA). Esses ambientes apresentam alta complexidade, marcada por mudanças dinâmicas, interações intrincadas e múltiplas entradas sensoriais, desafiando os métodos tradicionais de aprendizado. Apesar dos avanços trazidos pelo aprendizado supervisionado e aprendizado por reforço, esses métodos enfrentam limitações, como a dependência de grandes volumes de dados rotulados ou de funções de recompensa cuidadosamente projetadas. Além disso, agentes treinados tradicionalmente tendem a desenvolver políticas de ação altamente especializadas, dificultando a generalização e adaptação a novos cenários. Inspirados por teorias da cognição humana, propomos o DreamerRL, um framework fundamentado em três pilares: embodiment, a estrutura neocortical e a motivação intrínseca. Para implementar esses conceitos, utilizamos o robô humanoide NAO, que incorpora sensores similares aos humanos. Adotamos aprendizado por reforço motivado por curiosidade para promover comportamentos exploratórios, característicos do desenvolvimento infantil e introduzimos blocos modulares guiados por mecanismos de atenção, inspirados na organização hierárquica, modular e esparsa do neocórtex humano. Validamos o framework em um ambiente de manipulação de objetos, que exige movimentos complexos e coordenados. Nosso objetivo é demonstrar que o DreamerRL possibilita a construção de representações internas flexíveis e adaptativas, permitindo que o robô se desenvolva de forma autônoma, sem depender de projetos complexos de funções de recompensa. Além disso, buscamos evidenciar sua capacidade de lidar com novas situações e tarefas sem a necessidade de um trabalho exaustivo de treinamento.
Banca examinadora
Titulares:
Esther Luna Colombini IC/UNICAMP
Ana Carolina Lorena ITA
Anna Helena Reali Costa PCS/USP
Sandra Eliza Fontes de Avila IC/UNICAMP
Hélio Pedrini IC/UNICAMP
Suplentes:
Anderson de Rezende Rocha IC/UNICAMP
Marcos Ricardo Omena de Albuquerque Maximo ITA
Paulo Roberto Ferreira Júnior UFPel