八度——基于时频分析的多乐器转录研究
Polyphonic Automatic Music Transcription Based On Time-Frequency Analysis
1 项目背景
在音乐爱好者尝试对已有音源音乐进行再创作时,囿于精力与专业水平等问题,往往对一段具有多乐器(包括人声)混合的音乐音频感到无从下手。例如:希望获取某一或某几种乐器在整个音频中的部分,但人耳不能有效地从混杂的背景音中分离该音色;希望基于已有音频主旋律进行再创作,但没有现成乐谱可用。
当下已有一批被广泛使用的乐谱应用,但这些乐谱往往是具有专业知识的用户制作完毕后上传,供其它用户下载的。这样做一方面确实能解决一部分需求,并且乐谱往往都具有较高的质量,但其缺点也是显而易见的:不能保证在搜索想要的曲目时总有可用的曲谱。
与之相对的,曲目的音频却能保证较易的获取。如果能直接通过对音频的分析处理生成相应的曲谱,则可解决上述问题。这一过程就是音乐转录,也即俗称的“扒谱”。
当前的音乐转录市场服务可分为人工转录服务与软件自动转录服务。人工转录服务费时费力,软件自动转录服务则多为一次性购买软件,但转录效果难以差强人意,都存在不能区分乐器转录或单乐器转录效果也不佳等问题。
本项目希望通过改进的自动音乐转录算法,提供更好的自动音乐转录效果。
2 项目创新点与项目特色简介
当前可用的自动音乐转录软件多为单乐器转录,这里包括:
1)只对音质单一的音频有较好的转录效果;
2)可以实现音质复杂的转录,但不能将其区分乐器并输出曲谱;
本项目将创新地通过信号分离与自动音乐转录结合实现多乐器转录得乐器总谱。