作曲理论约束下的AI算法作曲(民乐)模型设计与优化
信息与通信工程学院
AI Algorithm Composition Model Design and Optimization Under the Constraints of Composition Theory Based on Chinese traditional folk music dataset
由于之前的经验和基础,我们原本还是想往算法作曲这个方向发展的,探索其商用价值。在跟指导老师沟通后,发现算法作曲在目前阶段想要做的比现有成果更好还是有些难度的,所以我们在老师的建议下决定先从中国传统的民间音乐入手。因为在模型训练过程中最关键的一环就是是否拥有充分的高质量的数据集。李老师为我们提供了《中国民间歌曲集成》,数量很大。可惜数据都是图像,需要想办法变成电子乐谱。这个数据集集成记录了32个省每个地方的民间歌曲,metadata也做的不错,专业的分类标签,哪个地方哪个县的都很清楚。通过对这些乐谱数据做分析,可以期待获得每个地方歌曲的某种方言模式,同曲名,不同地方的不同阐释等等,有了这些专业知识,是可以真正用来创作“中国风”歌曲的,而不是现在流行歌里的所谓中国风。
所以整个研究主题可以概括为通过算法生成特定中国传统民间音乐。在这个过程中,暂时可以想到的小主题就有:
①如何对简谱图像进行图像分割,分割成曲目标题、作者、地域、简谱部分、歌词部分等等并进行提取保存。
②如何对简谱部分进行MIDI格式转录,比如去噪、 二值化、细化等一系列预处理步骤,再利用投影法进行准确的字符分割,最后对满足数字条件的单个音符进行模糊匹配识别。
③如何准备数据集。
④如何针对中国传统民间音乐,去整理可以利用到的乐理知识,并将其代码化,确定模型奖励机制。
⑤如何挑选合适的模型,可以借鉴哪些现有的模型并加以优化。
⑥结果的分析与模型优化。