17 dez 2021
14:00 Defesa de Doutorado Integralmente a distância
Tema
Acelerando Redes Neurais de Capsulas com Lanes
Aluno
Vanderson Martins do Rosario
Orientador / Docente
Orientador: Edson Borin/ Coorientador: Mauricio Breternitz Junior
Breve resumo
Redes de Capsule, do inglês Capsule Networks, ou apenas CapesNet, surgem como uma alternativa às redes convolucionais típicas, evitando camadas de pooling e melhorando a representação da orientação dos objetos na imagem. No entanto, sem as camadas tradicionais de pooling, a rede não reduz seu número de parâmetros em sua profundidade; além disso, o algoritmo de roteamento proposto para as CapesNet ainda não possuem implementação eficientes, tudo levando a um alto tempo de execução no treinamento quando comparado a redes convolucionais tradicionais. Abordando esse problema, nos propomos a Multi-lane Capsule Network (MLC), que utiliza de diferentes caminhos sem dependência de dados entre si, ou lanes, para calcular as dimensões da cápsula final da rede. A MLCN alcança resultados similares a CapsNet, enquanto mantém sua capacidade de representação da orientação dos objetos, mas com execução até 130% mais rápida em uma única GPU. Além disso, nós mostramos que ao organizar a CapesNet em Lanes, nos abrimos oportunidade para um fácil paralelismo do modelo, o qual exploramos neste trabalho trazendo soluções para a paralelização, alocação de recurso e geração automática de redes em cenários com lanes e hardwares heterogêneos. Nós atingimos melhorias de desempenho que chegam a 7.18x em cenários com 8 GPUs, melhorias de 2x quando utilizando-se do nosso mecanismo de alocação de recursos, e redes 18.6% melhores com nosso sistema de geração automática de redes.
Banca examinadora
Titulares:
| Edson Borin | IC/UNICAMP |
| Rodolfo Jardim de Azevedo | IC/UNICAMP |
| Felipe Maia Galvão França | COPPE/UFRJ |
| Jefersson Alex dos Santos | DCC/UFMG |
| André Carlos Ponce de Leon Ferreira de Carvalho | ICMC/USP |
Suplentes:
| Hervé Cédric Yviquel | IC/UNICAMP |
| Lucas Francisco Wanner | IC/UNICAMP |
| João Paulo Papa | FC/UNESP |