17 dez 2021
14:00 Defesa de Doutorado Integralmente a distância
Tema
Acelerando Redes Neurais de Capsulas com Lanes
Aluno
Vanderson Martins do Rosario
Orientador / Docente
Orientador: Edson Borin/ Coorientador: Mauricio Breternitz Junior
Breve resumo
Redes de Capsule, do inglês Capsule Networks, ou apenas CapesNet, surgem como uma alternativa às redes convolucionais típicas, evitando camadas de pooling e melhorando a representação da orientação dos objetos na imagem. No entanto, sem as camadas tradicionais de pooling, a rede não reduz seu número de parâmetros em sua profundidade; além disso, o algoritmo de roteamento proposto para as CapesNet ainda não possuem implementação eficientes, tudo levando a um alto tempo de execução no treinamento quando comparado a redes convolucionais tradicionais. Abordando esse problema, nos propomos a Multi-lane Capsule Network (MLC), que utiliza de diferentes caminhos sem dependência de dados entre si, ou lanes, para calcular as dimensões da cápsula final da rede. A MLCN alcança resultados similares a CapsNet, enquanto mantém sua capacidade de representação da orientação dos objetos, mas com execução até 130% mais rápida em uma única GPU. Além disso, nós mostramos que ao organizar a CapesNet em Lanes, nos abrimos oportunidade para um fácil paralelismo do modelo, o qual exploramos neste trabalho trazendo soluções para a paralelização, alocação de recurso e geração automática de redes em cenários com lanes e hardwares heterogêneos. Nós atingimos melhorias de desempenho que chegam a 7.18x em cenários com 8 GPUs, melhorias de 2x quando utilizando-se do nosso mecanismo de alocação de recursos, e redes 18.6% melhores com nosso sistema de geração automática de redes.
Banca examinadora
Titulares:
Edson Borin IC/UNICAMP
Rodolfo Jardim de Azevedo IC/UNICAMP
Felipe Maia Galvão França COPPE/UFRJ
Jefersson Alex dos Santos DCC/UFMG
André Carlos Ponce de Leon Ferreira de Carvalho ICMC/USP
Suplentes:
Hervé Cédric Yviquel IC/UNICAMP
Lucas Francisco Wanner IC/UNICAMP
João Paulo Papa FC/UNESP