XS5-基于移动平台的手写音乐创作系统

基于移动平台的手写音乐创作系统陈若轻陈霖冯桂焕南京大学，南京，江苏，中国210000robinchen613@ ,cfzljcl@摘要：随着计算机技术的快速发展，计算机音乐在音乐创作中占据着越来越大的比重。

然而，即使使用计算机创作音乐有其便利之处，手写创作仍然占据着很重要的地位。

同时移动设备，尤其是平板电脑的迅猛发展使得越来越多的移动平台应用出现，使得移动平台的音乐软件有了广阔的发展空间。

本文研究了基于移动平台的手写音乐创作系统的背景分析及流程设计，并对该系统的市场定位做了研究和展望。

关键词：手写，音乐创作，移动平台，需求分析，流程分析1.背景介绍1.1手写创作的历史基础作曲这一概念来源于西方，意思是音乐作品的编写。

大约一百年前从西方传入的“书面传统”(written tradition)——使用乐谱这种书面符号来记录音乐的创作方式——是目前我国普遍采用的专业作曲方式，该方式的重点是以乐谱为媒介，以手写为主要手段[2]。

在音乐创作史上，书写也是重要的认知手段。

音乐家基于自己头脑中的知识和经验，对创作对象进行观察和构思，通过笔来传达思考。

使用笔来书写的过程，是学习思考的过程，也是形成认知的过程[3]。

因此手写在音乐创作中一直占据着十分重要的位置。

1.2音乐创作流程每个作者都有不同的创作习惯，有的是在长时间酝酿之后而做出的曲目，有的是灵感一现就及时捕捉住，然后扩充发展成一个完整的曲子。

灵感一般来源于生活，能够引起听众的共鸣。

每当抓到一个灵感之后，最好立刻将旋律记录下来，定下谱号拍号，绘制音符，兼顾小节划分，循环控制等，从而勾画一个大致的草图，搭起框架，这往往是作者最真实最直接的感情。

完成草稿后，再进行反复哼唱、推敲，然后进行修改。

有时还要在乐器上弹奏几遍，确定音高没有错误。

这个过程可能是长期的，迭代的，经过多次修改才能获得成品[1]。

1.3新时代的音乐创作按《简明不列颠百科全书》的解释，“计算机音乐”是指“利用数字计算机和其他电子数据处理装置的音乐。

……作曲家在运用计算机作曲时，编制计算机产生音高、节奏、音色等音乐因素的程序，并通过作曲家选定的标准来甄选。

作品可以译写出来为常规乐器演奏用，或者提供别的装置转换成音响。

”[2]计算机音乐的作曲方式能够做到作曲、演奏和制作同时进行。

计算机能真实地还原曲谱，使作曲家能在编曲的同时听到效果，方便对曲谱的整体感知和调试。

除此之外，计算机音乐还能提供多样的音乐素材，使得作曲家可以打破原有的创作模式，从多个角度去摸索最佳的音乐整体效果。

随着计算机技术的不断发展和相关软件的开发，计算机音乐作为一种新生代音乐艺术逐渐成形，慢慢渗透到音乐的创作、演奏、教育、娱乐等许多层面，创作者和欣赏者也逐渐增多。

由于计算机音乐的发展，音乐创作越来越贴近大众，它不再笼罩着神秘光环，而接纳了更多业余音乐爱好者。

由于数字化时代的特征，音乐作品能够得到快速的分享，网络上有大量音乐作品在传播。

音乐爱好者们有着表达自己的强烈需求[4]。

XP A中国用户体验文集1.4移动设备的发展浪潮移动设备尤其是平板电脑，正在飞速发展之中。

平板电脑是一种小型、携带方便的个人电脑，以触摸屏为基本输入设备。

平板电脑相对于传统计算机机或者笔记本电脑都有明显的优点：体积小，方便携带、运行速度快、支持手写输入、能在移动中操作。

与智能手机相比，它的屏幕更大，能进行更复杂的操作，处理能力也更强，兼容电脑操作。

《2013-2017年中国平板电脑行业深度调研与投资战略规划分析报告》统计数据显示，2010年平板电脑关键词搜索量增长率达到了1328%。

同年，中国PC 销量达到4858.3万台，相比2009年增长16.1%，其中平板电脑销量为174万台，占比约为3.58%。

Forrester Research 《2015年美国消费者PC 市场》报告显示：平板电脑销量在2012年时已经超越上网本[5]。

从以上介绍和市场情况可以看出，平板电脑市场前景相当乐观。

同样的，随着用户数量不断增多，平板电脑软件也有很大的发展潜力。

1.5音乐创作系统行业现状现阶段的打谱软件非常有限，国内的软件市场几乎处于空白。

因为在乐谱创作过程中会产生很多分支选项，以及非常多种类的音符和修饰符，若考虑大部分因素，软件需要有十分复杂的操作流程。

因此现在推广得比较好的打谱软件在功能上更倾向于乐谱的显示和播放，在输入方式上考虑甚少，几乎没有手写乐谱的软件。

常见的打谱软件如finale 、Sibelius ，功能强大，但是对于新手用户来说，上手难度大，学习成本高。

而overture 是现阶段最为广泛的打谱软件，它面向普通音乐爱好者，上手容易，但缺乏对手写的支持，不符合长期以来音乐创作的传统。

现阶段的打谱软件虽然各有特色，适合不同的人群使用，却没有一款能兼顾功能齐全和上手容易两个方面。

国内的打谱软件也只是刚刚起步，仍然有很多细节待优化处理。

2.系统设计2.1音乐创作系统市场需求概述根据我们对应用市场已有的10几个较为成熟的音乐创作系统的调查，以及各大音乐网站相关帖子、评论的浏览，目前主流的且已被开发的需求包括以下几个：市场普遍需求已有应用实现情况支持基本音符输入好支持修饰符输入好支持乐谱试听好支持乐谱导出好支持音频导出中乐谱显示规范化好此外，我们还发现了很多有音乐爱好者提出，但尚无系统实现或效果较差的需求：新型市场需求已有应用实现情况支持复合音符输入无支持自定义批注无支持混音渲染差支持音质的多样化较差支持新型输入方式差根据目前市场已有的音乐创作软件需求，结合用户调研的结果，我们将确定本系统的系统级需求。

2.2目标用户及需求分析首先，为了在调查大众对市面已有音乐类应用的使用意见、个人音乐创作的需求及偏好、以及使用平板应用的习惯与偏好，课题组成员设计了一套音乐相关应用的调查问卷。

在收到的来自普通音乐爱好者的39份有效问卷中，我们得出在音乐创作领域中，使用者最为关注的是快捷、准确、自然的输入，以及简便、无遗留痕迹的修改。

在输入上，无音乐学习经验的用户倾向于点击选择的方式，而所有具有乐理或器乐、声乐学习经历的用户则全部青睐手写及琴键这两类自然的输入形式，据此我们将目标用户主体定位为有一定音乐基础、素养的爱好者。

而在修改上，目前几乎所有的相关应用都不能满足大众的期待，不仅操作相对繁琐，形式呆板（例如点击选择后删除），而且极易导致谱面布局的扭曲或非标准化。

因此设计一套自然且灵活的修改模式亦是本系统的关键需求之一。

此外，大部分用户在创作之余，都表达了其对混音特效处理的期待，但操作必XP A中国用户体验文集须足够简单，复杂度必须明显低于专业混音软件。

根据以上分析，同时结合一些市面已有音乐软件的常见必要功能，我们定义出了系统的用户需求及实现优先级：用户需求实现优先级精准、快捷的手写输入高灵活、快捷、无痕的修改高多音轨的处理支持高乐谱试听高音频及打印稿导出高混音处理中原笔迹批注低之后，我们从39位受访者中挑选了11位满足具有一定音乐素养条件的用户，进行了详细的用户访谈及DEMO 演示反馈，以期获得目标用户的公共特性及对系统设计的详细意见。

经统计分析，我们将该类音乐爱好者细分为了流行乐爱好者及古典乐爱好者（含乐器习奏者）两大类，针对其使用习惯及创作需求，今后将在混音、输出等细节上予以区别处理。

2.3流程分析开始绘制完毕？Y播放？播放乐谱混音注释？原笔迹注释导出？导出音频打印？打印预览打印NN图1手绘五线谱设计流程系统主要包括乐谱书写、音乐播放、作品输出这三大模块。

用户可以在书写过程中或者书写结束之后进行音乐播放、混音渲染等操作，最后可以将乐谱及音频导出分享。

2.4交互设计在系统交互的设计中，我们提出了两套通用的交互模型。

第一套是纸带放大镜模型。

因为需要模拟纸笔手写时从左至右移动的习惯，又不给用户增加向右移动手腕乃至换行的额外时间（基于击键层次模型，该操作平均每次会带来1.3秒的额外开销），所以我们决定采用纸带模型的形式显示乐谱，如图2所示。

图2纸带模型示例这样以完全左右伸展的形式排列音符可以避免换行时带来的左下移手腕的动作，减少无效的时间开销，同时用户在书写过程中，纸带会随着识别的进行自动左移，永远将屏幕正中的区域留给用户书写，在保持用户从左向右的手写体验时尽可能地降低移动开销。

若用户需要浏览乐谱时，仅需用手指左右轻轻滑动即可，这一设计也完全贴合了平板用户的操作习惯。

此外我们还结合采用了放大镜模型，如图3所示。

图3纸带放大镜模型示例该设计采用了局部放大的原则，将屏幕中间的用户手写区域进行了放大，降低了手写时XP 国用户体验文集的位移误差，也适应了小型屏幕用户的手写需求，同时将其包装在放大镜中，使这一改变不会显得突兀和奇怪。

第二套交互模型是自由书写模型。

该模型被应用于系统除音符外所有的手写场景中，包括绘制修饰符、删除、复制粘贴等。

为了贴近日常的书写习惯，我们将绘制修饰符设定为了在纸带上任意位置绘制、识别，删除设定为了纸上常用的折线涂鸦形式。

图4自由书写模型示例采用该交互模式，用户将完全无法意识到自己在与平板进行交互，很好的满足了启发式原则中的与现实世界高吻合度的理论。

2.5系统主要界面介绍图5手写音符界面图6纸带浏览乐谱界面图5、6展示了纸带放大镜模型的实际效果，由用户在放大镜中书写音符，纸带上不断滚动显示识别结果，同时用户还可以关闭放大镜进行全纸带乐谱的浏览。

图7自由书写修饰符界面图8自由擦除界面图7、8展示了自由书写模型的实际效果，用户可以在全纸带上的任意位置书写修饰符或是以涂鸦的形式擦除错误，完美的体现了对实际纸笔创作的拟合度。

图9系统播放界面图9展示了系统播放乐谱时的界面，纸带会随着播放的进行同步左移，同时当前播放中的符号会以红色高亮显示，以提升播放时的用户体验。

XP A中国用户体验文集图10系统乐谱浏览界面图10展示了系统在乐谱导出前，供用户浏览的界面形式，该功能下系统将纸带上的乐谱做了自动的分行处理，以形成标准纸质乐谱的形式，同时加上用户自定义的标题、备注乃至以原笔迹形式保存的涂鸦注释，在保障乐谱输出的规范性时同时兼顾了用户的个性化需求。

2.6系统完成界面展示基于上述分析与交互设计理念，并结合了ios 所主打的大按钮菜单及灰度图标的设计风格，系统最终形成了如下的界面形态：图11系统完成界面界面最上方为标题栏，包含回滚、前滚的按钮以及打开文件名称和系统logo 说明，中部则是包含卡片、纸带、放大镜的主要操作区域，三者分别用于显示谱号拍号、显示乐谱和绘制音符。

最下方为呈左右延展态的工具栏，其中包括了文件、编辑、音轨、播放和设置五大类功能的23个按钮。

2.7技术可行性分析手写音符的识别主要分为音符的识别和修饰符的识别。

音符识别部分我们采用的是基于几何特征与隐Markov 模型的手绘笔画图元分解算法。