15 out 2020
14:00 Defesa de Mestrado Integralmente a distância
Tema
Routing based on Reinforcement Learning for Software-Defined Networking
Aluno
Daniela Maria Casas Velasco
Orientador / Docente
Nelson Luis Saldanha da Fonseca
Breve resumo
Em redes de comunicação, o roteamento determina o caminho seguido por pacotes de um nó origem a um nó destino. Nos protocolos de roteamento tradicionais na Internet, decisões sobre quais caminhos os pacotes devem seguir são baseados em um número limitado de informações e derivadas a partir da execução do cálculo do menor caminho (do inglês shortest path), o que pode levar a uma adaptação lenta frente à variabilidade do tráfego e ao suporte restrito dos requisitos de Qualidade de Serviço (Quality of Service - QoS) das aplicações.
As Redes Definidas por Software (Software Defined-Networking - SDN) foram concebidas para favorecer à adoção inovação nos protocolos de redes. Algumas soluções evidenciaram a melhora dos protocolos de roteamento tradicionais, beneficiando-se dos recursos SDN, como programabilidade, visão global, controle centralizado logicamente e desacoplamento do controle de rede e encaminhamento de pacotes. No entanto, essas soluções não exploram totalmente o conhecimento sobre a operação da rede para realizar o roteamento de maneira inteligente. Outros trabalhos exploraram técnicas de Aprendizado de Máquina (Machine Learning - ML) tais como Redes Neurais, Regressão Logística e K-means em conjunto com SDN. No entanto, a aquisição de conjuntos de dados de treinamento, nesses trabalhos, são dependentes de informações disponíveis nos protocolos tradicionais de roteamento. Além disso, assume-se a forma distribuída de roteamento, que tende a gerar sobrecarga de sinalização.
Esta tese introduz duas abordagens para roteamento em SDN chamadas RSIR e DRSIR. RSIR significa Reinforcement Learning e Software-Defined Networking Intelligent Routing, o qual adiciona um Plano de Conhecimento e define um algoritmo de roteamento baseado em Aprendizado por Reforço (Reinforcement Learning - RL). O algoritmo de RSIR considera métricas de estado da rede para produzir roteamento eficiente e inteligente que se adapta às mudanças dinâmicas de tráfego. O RSIR baseia-se na interação com o ambiente e na visão global e controle da rede, para proativamente computar e instalar rotas ótimas nos dispositivos de encaminhamento de fluxos de pacotes. O RSIR é apresentado em duas versões, RSIR\textsubscript{links} e RSIR\textsubscript{paths}, as quais empregam informações de estado de rede com métricas ao nível de links e caminhos.
Propõe-se, também o DRSIR, uma versão estendida do RSIR baseada em Aprendizado por Reforço Profundo (Deep Reinforcement Learning - DRL), que traz um aprimoramento do desempenho em relação às abordagens baseadas em RL.
RSIR e DRSIR foram avaliados extensivamente por emulação usando matrizes de tráfego (reais e sintéticas). Os resultados mostram que nossas soluções superam os algoritmos de roteamento baseados em Dijkstra, em relação às métricas alongamento (stretch), perda e atraso de pacotes. Além disso, os resultados mostram a eficácia dos algoritmos em relação à vazão. Os resultados obtidos demonstram que RSIR e DRSIR são uma solução prática e viável para o roteamento em SDN.
Banca examinadora
Titulares:
| Nelson Luis Saldanha da Fonseca | IC/UNICAMP |
| Jeferson Campos Nobre | INF/UFRGS |
| Ricardo da Silva Torres | IC/UNICAMP |
Suplentes:
| Edmundo Roberto Mauro Madeira | IC/UNICAMP |
| Luís Henrique Maciel Kosmalski Costa | UFRJ |