Word Embeddings-Based Transfer Learning for Boosted Relational Dependency Networks

Algoritmos de aprendizado de máquina têm obtido sucesso nas mais diversas áreas de aplicação. Porém, os métodos tradicionais assumem dados independentes e identicamente distribuídos (i.i.d.), desprezando a estrutura relacional dos dados, que contém informações cruciais sobre como objetos participam de relações e eventos. Dentre os algoritmos de aprendizado de máquina, os modelos de aprendizado estatístico consistem em uma representação concisa das dependências probabilísticas entre atributos de um objeto. O aprendizado estatístico relacional estende aprendizado estatístico para representar e aprender a partir de dados contendo diferentes objetos e como estes se relacionam. Apesar de não seguirem a suposição i.i.d., também assumem que dados de treinamento e teste seguem a mesma distribuição. Para lidar com cenários em que os dados têm diferentes distribuições, surgiu a transferência de aprendizado, que consiste em usar o conhecimento adquirido em uma ou mais tarefas já resolvidas como um ponto de partida para resolver uma nova tarefa. Para aplicar transferência de aprendizado em aprendizado estatístico relacional, o primeiro desafio é como transferir a estrutura, mapeando o vocabulário de um domínio de origem para um domínio de destino. Nesta dissertação, propomos o TransBoostler, que utiliza vetores de palavras pré-treinados para mapear vocabulários, uma vez que os nomes dos predicados normalmente tem uma conotação semântica que pode ser mapeada para um modelo de espaço vetorial. Após a transferência, aplica-se revisão de teoria para adaptar o modelo mapeado aos novos dados de treinamento. Durante os experimentos, o TransBoostler realizou com êxito a tarefa de transferir árvores entre domínios com desempenho igual ou superior a trabalhos anteriores, e com redução no tempo de treinamento para a maioria dos cenários investigados.