Implementando Uma Máquina Virtual Diferenciável Mínima em Redes Neurais Recorrentes
Autores
|
6561 |
2955,250,2315
|
|
|
6562 |
2955,250,2315
|
|
|
6563 |
2955,250,2315
|
Informações:
Publicações do PESC
Nos últimos anos, novas técnicas em redes neurais produziram excepcionais resultados em diversos domínios. Produzir redes neurais em que se é possível observar a lógica por trás de seu processo de decisão ainda é muito difícil, especialmente quando se deseja que também tenha desempenho competitivo com os modelos já existentes. Um passo nessa direção é o desenvolvimento recente dos programadores neurais. Nesta dissertação, propõe-se um programador neural comparativamente simples, com uma máquina virtual diferenciável bastante extensível, que pode ser facilmente integrada em arquiteturas de redes neurais de múltiplas camadas existentes, fornecendo módulos com um raciocínio mais transparente aos modelos atuais. Permite-se também adicionar a capacidade de se aprender a produzir e executar algoritmos com as mesmas ferramentas para treino e execução das redes neurais. Os testes realizados com a rede proposta sugerem que ela tem o potencial de induzir algoritmos, mesmo sem qualquer tipo de otimização especial, com resultados competitivos com as atuais arquiteturas de redes neurais recorrentes.
Deep Learning techniques have achieved impressive results in many domains over the last few years. However, it’s still difficult to produce understandable models that clearly show the embedded logic behind the decision process while still having competitive performance. One step in this direction is the recent development of neural programmers. In this work, it’s proposed a very simple neural programmer with an extensible differentiable virtual machine that can be easily integrated in existing deep learning architectures, providing modules with more transparent reasoning to current models. At the same time it enables neural networks to learn to write and execute algorithm within the same training environment. Tests conducted with the proposed network suggests that it has the potential to induce algorithms even without any kind of special optimization and being competitive with current recurrent neural networks architectures.