15 out 2024
16:00 Defesa de Mestrado Sala 85 do IC2
Tema
Comunicação Eficiente em Aprendizado Federado
Aluno
Aissa Hadj Mohamed
Orientador / Docente
Julio Cesar dos Reis - Coorientador: Leandro Aparecido Villas
Breve resumo
Aprendizado Federado (FL) é um paradigma de aprendizado de máquina distribuído que permite o treinamento colaborativo de modelos em vários clientes sem compartilhar dados brutos. Ao permitir atualizações de modelos locais e compartilhar gradientes agregados, o FL evita a necessidade de coleta centralizada de dados. No entanto, a natureza distribuída do FL introduz desafios significativos. A sobrecarga de comunicação, decorrente da troca frequente de atualizações de modelos entre clientes e o servidor central, pode se tornar um gargalo substancial, especialmente em ambientes com recursos limitados. A heterogeneidade dos dispositivos dos clientes, incluindo variações de potência computacional e condições de rede, complica ainda mais o processo de treinamento. Além disso, dados distribuídos de forma não independente e não idêntica entre os clientes, onde as distribuições de dados diferem significativamente, podem impedir que o modelo treine efetivamente até sua convergência. Portanto, ao projetar algoritmos de treinamento, é importante abordar esses desafios de comunicação para aplicar o paradigma FL em situações reais. Muitas soluções existentes de FL abordam apenas desafios de comunicação isolados, como a redução do número de trocas de mensagens ou a compressão de mensagens. No entanto, implementações práticas de FL geralmente requerem uma abordagem abrangente que aborde várias questões de comunicação simultaneamente. Nesta dissertação, propomos três algoritmos de treinamento com o objetivo de enfrentar esses desafios do FL: (1) o Compressed Client Selection (CCS), que reduz as rodadas de comunicação selecionando estrategicamente um subconjunto de clientes e compacta o tamanho dos gradientes locais transmitidos dos clientes para o servidor central, (2) o Clustered Client Selection Framework (CCSF), que refina o processo de seleção de clientes agrupando clientes em clusters homogêneos, (3) e o Federated Clustered Client Selection and Knowledge Distillation (FedCCSKD) framework, que combina seleção de clientes com destilação de conhecimento para abordar a heterogeneidade de dados e melhorar o processo de aprendizado do modelo compartilhado durante o treinamento FL. Ao otimizar a eficiência da comunicação, acelerar a convergência do modelo e melhorar a generalização, nossos algoritmos propostos visam aprimorar a aplicabilidade prática do FL.
Banca examinadora
Titulares:
| Julio Cesar dos Reis | IC/UNICAMP |
| Juliana Freitag Borin | IC/UNICAMP |
| Luis Henrique Maciel Kosmalski Costa | UFRJ |
Suplentes:
| Nelson Luis Saldanha da Fonseca | IC/UNICAMP |
| Rodolfo Ipolito Meneguette | ICMC/USP |