A Two-Stage Unsupervised Gan Approach for Anime-to=Manga Translation
Autores
|
7619 |
2489,3286,3287
|
|
|
7620 |
2489,3286,3287
|
|
|
7621 |
Pedro Vieira Sander
(Co-orientador) |
2489,3286,3287
|
Informações:
Publicações do PESC
Essa tese tem como objetivo investigar como imagens de desenhos animados e quadrinhos podem ser melhor exploradas no contexto de conversão de seus estilos artísticos. Especificamente, buscamos investigar a tradução de ilustrações de anime para suas representações em mangá, tendo como referência um livro de mangá. Embora os modelos atuais de tradução de imagem para imagem do estado da arte sejam capazes de converter imagens entre diferentes domínios, os métodos existentes para traduzir ilustrações para este estilo ainda são escassos. Propomos explorar as características únicas das imagens de anime e mangá, permitindo uma saída preliminar que pode auxiliar no processo de tradução em duas etapas. Acreditamos que essa abordagem reduz a complexidade do modelo ao mesmo tempo em que gera saídas de alta qualidade. Além disso, buscamos impor restrições mínimas ao domínio de destino, tornando a tradução não supervisionada. Por fim, a saída do framework proposto pode ser utilizada para produzir conjuntos de dados ricos compostos por imagens coloridas e imagens sintéticas de mangá, o que apoiaria métodos de colorização que dependem de grandes quantidades de dados pareados para treinamento.
This thesis aims to investigate how cartoon and comic images can be better explored in the context of converting their artistic styles. Specifically, we seek to study the translation of anime illustrations into their manga representations, given a manga book as a reference. Although state-of-the-art image-to-image translation models can convert images between different domains, methods for translating il lustrations to this style are scarce. We propose to exploit the unique characteristics of anime and manga images, to produce a preliminary output, which supports a two-stage translation process. We believe this approach can reduce model complexity while generating high-fidelity outputs. Furthermore, we aim to impose minimal restrictions on the target domain, making the translation unsupervised. Finally, the proposed framework’s output can be used to produce rich datasets composed of colored and synthetic manga images, which would support colorization methods that rely on large amounts of paired training data.