Improving The Learning Performance of The Restricted Boltzmann Machine Through Optimal Connectivity and Network Gradients

A despeito das técnicas de Busca por Arquitetura Neural (NAS) e de Poda de Redes terem sido recentemente redescobertas como estratégias poderosas para a criação de redes neurais mais eficientes e com menos parâmetros, o foco tem sido em melhorar modelos de redes neurais profundas, com milhões de parâmetros. Entretanto, a conectividade da rede também tem papel fundamental no desempenho do aprendizado de redes rasas, como o modelo da Máquina de Boltzmann Restrita (RBM). Este trabalho apresenta um estudo do espaço de conectividade tal como ele afeta o aprendizado da RBM, além de propor um método para encontrar padrões de conectividade ótimos: o Gradiente de Conectividade da Rede (NCG). O NCG é baseado na ideia de gradientes da rede: ele computa o gradiente de cada conexão em potencial, dada a conectividade atual, e usa esse gradiente para atualizar o parâmetro, contínuo, da força da conexão, que por sua vez é usado para atualizar a conectividade em si. Dessa forma, o aprendizado dos parâmetros tradicionais da RBM e das conexões é realizado concomitantemente, mesmo que com taxas de aprendizados diferentes, e sem alteração na função objetivo do modelo. O método é aplicado aos dados BAS e MNIST, gerando modelos melhores de RBMs para as tarefas de geração de amostras e classificação de dados. Ademais, a rede completamente conectada tem desempenho superado tanto por padrões criados manualmente quanto pelo NCG para ambos os conjuntos de dados, ilustrando a importância de projetarmos padrões de conectividade que levem a modelos de maior acurácia até para redes neurais simples de duas camadas.