06 ago 2024
14:00 Defesa de Mestrado Sala 85 do IC2
Tema
Estratégias para Reduzir o Custo de Comunicação no Aprendizado Federado: Uma Perspectiva da Teoria da Informação e Compressão de Modelos
Aluno
Rómulo Walter Condori Bustincio
Orientador / Docente
Luiz Fernando Bittencourt - Coorientador: Allan Mariano de Souza
Breve resumo
No rápido avanço do cloud computing, numerosos desafios surgiram, incluindo os custos de comunicação e o overhead de transferir informações de um host para outro, conhecido como overhead de comunicação. Para mitigar esses problemas e reduzir os custos de comunicação, o edge computing foi desenvolvido, distribuindo o processamento para dispositivos finais ou edge. Com o avanço do hardware, começou o desenvolvimento de machine learning em grande escala, unindo o poder de recursos computacionais em dispositivos terminais com a necessidade de treinar modelos de aprendizagem de máquina usando dados sensíveis ou privados. Essa convergência levou ao desenvolvimento da aprendizagem federada, uma estratégia robusta para treinar modelos de aprendizagem de máquina de maneira distribuída, focando na proteção de dados. Neste contexto, o problema do overhead de comunicação emerge como um problema crítico que precisa ser abordado para melhorar e sustentar modelos e infraestruturas eficientes. Esta dissertação de mestrado foca em abordar o overhead de comunicação na aprendizagem federada, desenvolvendo uma taxonomia para identificar as abordagens atualmente utilizadas na literatura para resolver esse problema. Na segunda parte, propõe um algoritmo de seleção de clientes visando reduzir os custos de comunicação baseado em métricas de adequação para escolher dispositivos ou clientes para treinamento. Por último, introduz um algoritmo de poda de esparsidade para reduzir o número de parâmetros ou pesos em uma rede neural a ser compartilhada com o servidor, focando na eliminação de pesos que podem ser considerados irrelevantes. Todas essas contribuições visam abordar de maneira sistemática o problema descrito.
Banca examinadora
Titulares:
| Luiz Fernando Bittencourt | IC/UNICAMP |
| Júlio Cezar Estrella | ICMC/USP |
| Edson Borin | IC/UNICAMP |
Suplentes:
| Edmundo Roberto Mauro Madeira | IC/UNICAMP |
| Rodolfo da Silva Villaca | CT/UFES |
| Vinícius Fernandes Soares Mota | CT/UFES |