Inferindo a Qualidade de Serviço em Redes Via Aprendizado por Reforço

O aumento do número de usuários da internet e o crescimento da quantidade de tráfego consumido por cada um deles, têm gerado nos últimos anos, uma demanda por melhorias no gerenciamento da qualidade de serviço (QoS) de provedores de serviço de Internet (ISPs). O principal objetivo deste trabalho é modelar as condições da rede de um ISP e inferir se uma mudança na condição da rede do ISP permanecerá em instantes futuros. Desta forma, o sistema de gerenciamento do ISP poderá ser acionado quando houver previsão de que a degradação da condição da rede se manterá por um certo tempo. A partir de séries temporais de taxas de perda de pacotes coletadas em roteadores domésticos do ISP, é definido um modelo de Markov oculto (HMM) e os estados do modelo são mapeados em condições da rede do ISP. Então, uma técnica de Aprendizado por Reforço é usada nas séries temporais de condições da rede, para inferir o desempenho da rede no futuro e, possivelmente, indicar o acionamento de um alarme de manutenção. A partir do resultado do algoritmo de Aprendizado por Reforço, o gerenciador da rede pode acionar ações de manutenção preditiva ou mudanças nos parâmetros de operação da rede. Resultados obtidos utilizando um dataset real de um ISP mostram bom desempenho do método através das medidas de acurácia, precisão, recall e f1-score.