AI论文探讨室·A+·第6期-Translating Visual Art into Music

AI论文探讨室·A+·第6期-Translating Visual Art into Music

​​论文链接​​

​​项目链接​​

主要解决的问题：在缺乏视觉和音频对应数据集的情况下，使用Synesthetic变分自编码来学习视觉和音频对应。

主要描述

通过在MNIST和BAM数据集上，展示SynVAE相对于保持交叉模型空间一致性方法，在转换过程中更能保持有效信息。在质量评估实验中，人类评估人员还能够将音乐样本与生成的图像进行匹配，准确率高达73%。

系统架构

SynVAE框架：一张图像首先通过VisVAE编码器编码成一个隐藏向量

，在进行解码前，使用MusicVAE解码器解码为音乐。在训练过程中，音乐作为一个中间过程进行重新编码得到

，通过Music VAE编码和通过VisVAE解码重建输出图像。

BAM评估

主要工作：

（1）提出SynVAE架构实现从范围图像转化到音频音乐，通过无监督学习机制；

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。