中央音乐学院首招音乐人工智能博士！研究 AI + 音乐，他们是认真的

2019-03-04

阅读数：

▲点击上方雷锋网关注

文 | 黄善清

来自雷锋网（leiphone-sz）的报道

雷锋网 AI 科技评论按：作为中国音乐学习最高学府之一，中央音乐学院今日发布了一则音乐人工智能博士招生启事。该专业全名为「音乐人工智能与音乐信息科技」，为中央音乐学院首次开设，导师阵容有来自清华大学、北京大学的人工智能教授，联合中央音乐学院院长共同组成双导师培养制 (音乐导师+科技导师)，着力培养「音乐与理工科交叉融合的复合型拔尖创新人才」。

据官网资料显示，「音乐人工智能与音乐信息科技」专业学制一共是 3 年，要求报考者必须是出身计算机、智能和电子信息类的考生。

建议阅读书目方面，除了《音乐理论基础》1 本与音乐理论挂钩外，其余 4 本推荐书目都跟人工智能理论相关，它们分别为《数据结构与算法》、《信号与系统引论》、《人工智能：一种现代的方法》以及《神经网络与机器学习》

由于「音乐人工智能与音乐信息科技」为跨学科专业，面试环节除了将考核本学科的专业能力之外，还会考核考生的音乐能力——演奏某种乐器或者单纯进行演唱。

目前该专业已敲定的 3 名联合培养导师分别为：

俞峰

中央音乐学院院长, 教授、博导,「万人计划」领军人才,「四个一批」人才。中国指挥学会会长、全国艺术专业学位研究生教指委副主任、中国文联第十届全国委员会委员, 享受国务院政府特殊津贴。

孙茂松

清华大学教授、博导, 清华大学人工智能研究院常务副院长, 原计算机系主任、党委书记, 教育部教学信息化与教学方法创新指导委员会副主任委员, 中国科学技术协会第九届全国委员会委员。主要研究领域为自然语言处理、人工智能、机器学习和计算教育学。国家 973 计划项目首席科学家, 国家社会科学基金重大项目首席专家。2017 年领衔研制出「九歌」人工智能古诗写作系统。

吴玺宏

北京大学教授、博导, 教育部新世纪优秀人才。北京大学信息科学技术学院副院长, 智能科学系主任, 言语听觉研究中心主任, 致力于机器听觉计算理论、语音信息处理、自然语言理解以及音乐智能等领域的研究, 先后主持国家级、省部级项目 40 余项, 获国家授权发明专利 10 余项, 发表学术论文 200 余篇。在智能音乐创作、编配领域颇有成就。

有兴趣报读该专业的考生，须在 2019 年 3 月 1 日至 15 日期间在网上完成报名（网址:http://yz.chsi.com.cn/），考试将于今年 5 月在中央音乐学院举行。

更多详情可点击：http://www.ccom.edu.cn/xwyhd/xsjd/2019s/201903/t20190301_53856.html 进行了解。

专业开办早有预兆？

如果一直有关注中央音乐学院的动态，就不会对该专业的开办感到惊讶。

早在去年的 5 月份，中央音乐学院就与素以创新性交叉学科研究闻名的美国印第安纳大学信息计算与工程学院共同签署合作建设「信息学爱乐乐团」实验室——所谓「信息爱乐」，指的是一套音乐人工智能伴奏系统，由印第安纳大学信息计算与工程学院音乐信息学实验室主任教授 Christopher Raphael 所发明。

该系统的最大特点是会运用数学方法把音乐本身和音乐家的感受进行了全面解读、演算，通过不断的主动学习，形成更加贴近音乐家个性化表现需求的管弦乐团伴奏、协奏模板，为音乐家提供了更为丰富灵活的演奏机会。

完成签署后，经过半年多的紧张筹备，双方于去年 11 月 26 日合作举办中国首场由人工智能进行伴奏的特殊音乐会——「AI 之夜音乐会」，来自中央音乐学院的 12 位不同专业的优秀独奏家与「信息爱乐」联袂演出了 12 首多种体裁风格的中外作品。

值得一提的是，本场音乐会加入了人工智能协奏中国乐曲《长城随想曲》，这是第一次音乐人工智能技术与中国民族音乐进行碰撞。

图片源自中央音乐学院官网

中央音乐学院院长俞峰教授在音乐会致辞中说道：「这是一场意义深远的音乐会，我国整个音乐行业将由此进入到一个「人工智能化」的时代，极大的提升了整个音乐行业，尤其是音乐教育行业的信息化水平。人工智能技术与音乐艺术专业相结合将会实现整个行业的跨越式发展，一定会成为音乐行业实现产业化的典范。」

「AI 之夜音乐会」音乐会完整演出视频：
http://video.ccom.edu.cn/index.php?option=weixin,dianbodetail&id=3514

国内科研热情日益高涨

除了中央音乐学院，试图在人工智能 + 音乐上做出成绩的，尚有星海音乐学院及中央民族大学。

去年 5 月 16 日，由星海音乐学院管弦系与美国印第安纳大学信息计算与工程学院音乐信息学实验室合作的「音乐人工智能辅助管弦乐教学联合实验室」正式挂牌启动，双方将就「音乐人工智能辅助管弦乐教学」系统引入至日常教学中展开合作。

据了解，该系统可以让学生们在日常专业练习过程中随时听到职业管弦乐团的完整乐曲伴奏，同时将自己与管弦乐团的合成演奏音频转化成高度结构化、可视化、可检索、可比较研究的音乐数据带到课堂上与专业老师共同探讨；对专业老师而言，该系统可以实现对学生专业学习情况的纵向和横向比较，获得了解学生的第一手资料，从而完善教学内容和方法。

图片源自「星海音乐学院」微信公众号

去年 12 月 7 日，由中央民族大学与平安科技联手的「人工智能音乐联合实验室」签字揭牌仪式在中央民族大学知行堂举行。本次合作旨在发挥各自优势、通过共同研发，实现人工智能音乐创作由欣赏阶段到专业阶段再到专家阶段的设想。

中央民族大学党委常委、副校长宋敏在揭牌仪式上表示，人工智能己列入国家规划并进入逐步实施阶段，正在不断与各个领域结合，无疑将引领未来各行各业的发展，她希望双方通过实验室这一平台各自发挥优势，提高民大学科建设水平和音乐创作水平，推进北京「四个中心」建设特别是文化中心建设，并积极助力中国优秀音乐文化走出。

图片源自中央民族大学官网

另外，由复旦大学、清华大学联合创办，至今已是第 6 届的中国声音与音乐技术会议 CSMT（Conference on Sound and Music Technology），从 2013 年开始便就声音与音乐技术这门多学科交叉领域源源不断地为国内输出学术见解，丰富了国内人工智能 + 音乐领域的研究成果。

以 2018 年的会议为例，其征文主题包括：

音乐声学
乐器声学/嗓音声学/心理声学与电声学/空间音乐声学等
声音与音乐的信号处理
工业、农业、畜牧业、养殖业、地理、环境等各行各业领域的声音信号处理/音乐信号处理
计算机听觉
声音与音乐的内容分析、理解和建模/音频与音乐信息检索/声音与音乐分类、标注、情感计算、推荐等/人工智能在声音与音乐计算中的应用/声音及音乐计算在娱乐、教育、海洋、医学、装备、军事、信息安全等各领域的应用
音频信息安全
鲁棒音频水印/音频认证/音频取证
计算机音乐与录音
计算机辅助的音乐创作/计算机辅助的音乐教学系统/计算机音乐的制作技术/计算机音乐的软件开发/ 音响及多声道声音系统/ 声音装置及相关多媒体技术/音效及声音设计/音频人机交互
·听觉心理学
·听觉与视觉相结合的多媒体应用

值得一提的是，去年的 CSMT 大会特别开辟了两个 Special Session：一个用来探讨面向一般 Audio 的计算机听觉，试图扩展 Music 之外的 Audio + AI 人工智能在各行各业的应用，比如海洋舰船识别、设备诊断、AI 医疗、嗓音声学、音频监控、动物识别、农业保护、工业自动化等；另一个则是探讨中国民族音乐与计算机等科学技术的交叉融合，显示了该国内会议的前瞻性。

当下流行的 AI + 音乐算法

对于当下的音乐人工智能算法研究，中国音乐学院音乐学系付晓东教授在发表于 2018 年 05 期《艺术探索》的《音乐人工智能的伦理思考——算法作曲的「自律」与「他律」》一文中按「自律」与「他律」将之进行了划分。

其中「自律」指的是机器严格或非严格地遵循事先规定好的内部结构原则，对应于音响素材而生成音乐作品，最终的音响呈现受到内部结构原则的自律性限定；「他律」则指机器严格或非严格地遵循依据人类经验规定好的外部结构原则，并映射为音响而生成作品，最终的音响呈现受到外部结构原则的他律性限定。

最终的梳理结果如下：

「自律」类音乐人工智能算法
（一）数学模型（Mathematical Model）
以数学算法与随机事件构成数学模型进行作曲。其中算法相当于作曲法则，随机事件相当于音乐元素——音乐中的各种元素可分解为一系列随机事件，如音的四属性、音乐三要素等，作曲家（程序员）赋予其不同权重，使用特定随机算法对其进行运算处理而得出音响序列，其结果是非确定性的。常用的随机算法有马尔科夫链、高斯分布等。目前以数学模型为主的音乐人工智能作品在伴奏的速度跟随、乐句的力度处理、终止式的伸缩节奏方面有相当的“智能”感，但是在作品的整体可听性方面仍有明显的欠缺。
（二）演化算法（Evolutionary Methods）
演化算法源于达尔文所揭示的生物进化理论，用算法模拟物种进化的过程来构建音乐作品。将随机或人为的音响事件集合为一个种群，通过选种、遗传与突变的算法反复迭代，将种群中现有的多个个体进行优胜劣汰，其结果由适应函数构成的审核程序予以矫正，以保证其审美意义的质量。最常见的演化计算方法是遗传算法（Genetic Algorithms）与遗传编码（Genetic Programming）。演化算法试图将物种进化的过程匹配于音乐生成过程的逻辑不够完善，因此作品的审美认可度并不高，如今常用于和声配置与伴奏任务中。
（三）语法系统（Grammars）
音乐的构成法则可类比于人类语言的语法规则。人类语言由字、词、句等按照一定的语法规则构成表达单元，音乐中的动机、乐节、乐句也具有相似的结构特征。首先创建一个特定音乐作品的语法规则，对和声、节奏与音高等各种音乐素材进行组合，最后生成音乐作品。诚然，音乐与语言在某种程度上具有同构性，但是比较而言，音乐规则体现出更大的灵活度与可变性，由一个固定的语法规则附加若干可变规则的语言算法，产生出的音乐作品多少带有生硬而呆板的特征。
「他律」类音乐人工智能算法
（一）迁移模型算法（Translational Models）
将非音乐媒体信号源中的信息映射并迁移为音乐音响信息。最常见的是将视觉信息进行转换，例如将图像中的线条转换为旋律，色彩转换为和声，色度转换为力度；将运动物体的空间位移转换为旋律，速度转换为节拍节奏等。也可用于非视觉信息的迁移，如将文学作品中的积极/消极的描述，通过自动情感分析系统迁移为大三/小三和弦。实际上，人类的感官在一定程度上的确具有“联觉”效应，如空间线条与旋律走向的对应，但是如果将其进行严格映射，并没有心理学的有力证据。因此使用迁移模型算法生成的音乐作品，常常出现在交互性的新媒体艺术表演中，更多地以现场的事件相关性与交互性为审美趣味。而一旦音乐作品与其映射对象脱离而单独呈现，这类作品的可听性将会大大降低。
（二）知识推论系统（Knowledge-based Systems）
以某种音乐风格类型为知识库基础，将该音乐风格的审美特征提取出来并进行编码，即归纳推理；以编码程序为算法而创造类似风格的新作品，即演绎推理。例如基于对位法原则的巴洛克音乐风格编码、基于大小调和声体系的古典浪漫音乐风格编码、弱化和声功能的印象派音乐风格编码及各个相应风格作品的生成，即属于知识推论系统算法。这种算法已经在某种程度上接近于音乐学院作曲技术理论的学习过程，生成的音乐作品与其所基于的特定风格知识库非常相像，具有很高的可听性。其缺点在于归纳—演绎两个环节的相对割裂，即风格编码必须由操作者提供，程序本身仅仅是对编码的执行运算，作品的结果会严重受到操作者对创作规则的抽象理解的影响，并且会存在僵化与雷同的缺点。
（三）机器学习（Machine Learning）
操作者为计算机输入大量的音乐音响，计算机对其进行有效“聆听学习”，即运用统计方法对音乐构成的法则进行学习，其过程与知识推论系统相似，但是操作者并不严格指定音乐类型，也不为程序提供风格编码，这个过程由算法程序自动完成，强调其自主性与“无监督”式的学习（unsupervised learning）。当然，从本质上来看，机器学习的“无监督”只能是在一定程度和范围内，它依然囿于操作者所提供的知识素材库。机器学习与数学优化、数据挖掘等计算科学的研究成果相关，更与认知科学领域与神经网络学科的研究成果密切相关，其中最为显著的是采用决策树、人工神经网络、深度学习等方法，是迄今为止对生物学习过程模仿程度最高的一种算法。机器学习仍然属于仿生，但它超越了对结构与力学层面的仿生，是对人类大脑思维过程的仿生。机器学习既可以用于一般意义上的音乐创作，也可用于即兴演奏与竞奏等场合。虽然可以生成各种指定风格或混合风格的音乐作品，但是它仍然取决于操作者提供的音乐数据类型，是通过对随机事件进行概率统计得出规则后的音响预测。

根据付教授的划分准则，我们将能对当今流行的大部分人工智能 + 音乐研究工作进行有效归类。

值得一提的是，由中国科学技术大学、微软人工智能和研究院、苏州大学团队合作，讲述歌曲生成的端到端旋律和编曲生成框架的论文《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》成功荣获 KDD 2018 的 Research Track 最佳学生论文。

雷锋网 AI 科技评论对此做了相应解读，有兴趣的读者可点击 https://www.leiphone.com/news/201808/NkobLRDHxZsyadg5.html进行回看。

总的来说，未来人工智能将在音乐领域发挥更加重要的作用，它可以帮助人们分析作品、创作以及分担相当多的重复性工作，进一步激发创造力，探索音乐形式与内容方面的多种可行性。希望这种跨学科、融合性的合作，能够对各类音乐创作逻辑进行总结与完善，并在感知、情感等方面做出突破，让人工智能在音乐的诸多领域形成创新，并在教学、社会服务等方面产生影响。

- END -

◆ ◆ ◆