音乐哼唱检索技术在WEB上的应用

第25卷第12期 计算机应用与软件

Vo l 25N o .12

2008年12月 Co m puter App lications and So ft w are Dec .2008

音乐哼唱检索技术在WEB 上的应用

张 晶1 周明全2 耿国华1 王小凤

1

1(西北大学可视化技术研究所 陕西西安710127)

2

(北京师范大学信息科学与技术学院 北京100875)

收稿日期:2007-07-30。国家自然科学基金项目(60203011)。张

晶,硕士生,主研领域:多媒体技术与图形图像处理。

摘 要 将基于内容的哼唱检索技术用于W EB 上。首先阐述了音乐检索现状,并对基于内容的音乐检索过程进行了详细地分析,然后介绍了W EB 的相关技术,提出了将音乐检索技术用于W EB 的思路,最后对全文归纳总结,并对进一步的工作进行了展望。关键词 音乐检索 哼唱检索 特征提取 W EB

THE TECHNOLOGY OF MUSI C QUERY BY HU MM ING BASED ON WEB

Zhang Ji n g 1 Zhou M i n gquan 2 G eng Guohua 1 W ang X i a ofeng

1

1(Instit u te of Vis ua liza ti on T ec hnology ,N orthw estUniversit y,X i an 710127,Shaanxi ,Ch i na )

2

(C olle g e of Informa tion S cie n c e and T ec hnology ,B eiji ng N orma l Un i v e rsit y ,B eiji ng 100875,China )

Ab stract In the paper ,the query by hu mm i ng technology based on content was app lied to the W eb .The act ua lities ofm usi c retr i eva lw ere

discussed ,and the process of content based m usi c re trieval w as ana l y zed i n deta i.l T he co rre lated techno l ogy o fm us i c retrieva l based on W eb was i ntroduced ,and the t hought of usi ng the techno l ogy of music query on W eb w as proposed .In t he end ,we su mm arized t he who le expression i n the pape r and took the expecta tion o f the future w ork .

K ey words M usi c re trieval Q ue ry by hu mm i ng F eature ex trac ti on W eb

0 引 言

随着计算机技术的高速发展和互联网的蓬勃发展,网络中的信息和数据呈爆炸式增长。这样,计算机用户在处理信息时所面临的主要问题,已经从早期的信息匮乏转变为如何从海量信息中快速合理地检索出所需要的信息。

当前,多数搜索引擎仅能对文本进行检索,对图片、声音、视频这些以二进制编码的多媒体数据无能为力,而后者目前增长非常迅猛。传统的基于文本检索方式已经越来越无法满足用户新的需求,因此,对多媒体数据进行内容检索具有重要的实用价值。

基于内容的音乐检索是对音乐数据从内容本身进行检索的一种方法。目前,网络中进行音乐检索都是通过音乐的元数据(M e tadata)如歌名、歌手、歌词等进行的。当用户没有歌曲的元数据信息时,如果能够记忆起歌曲的某些片断,那么通过哼唱方式就可以找到目标歌曲。它可以带给用户更新的体验。

基于W EB 的音乐哼唱检索将使用户通过互联网来体验这种新的检索技术,这样,用户就可以通过个人电脑、无线设备(手机)等终端来进行访问。

1 国内外现状分析

目前国内外对于基于内容的音乐检索的研究已经被大量提出。1995年,G h i as [1]等展示了首个QB H 系统,此系统将歌曲转

换为音调轮廓信息进行匹配,利用三个字符S same 、U up 、D down 来表示音乐的旋律轮廓,将音乐的旋律转换成字符串,使用了字符串匹配的相似度方法进行检索。至此以后,对于基于内容的音乐检索的研究如雨后春笋般地发展起来。国内中国科学院声学研究所在哼唱检索方面开展了工作,另外如浙江大学、上海交通大学、西北大学等也在基于内容音乐检索方面开展了研究工作。基于内容的音乐哼唱检索技术以其独特的体验方式,已经被越来越多的人所关注。

2 基于内容的音乐哼唱检索

基于内容的音频检索,是指通过音频特征分析,对不同音频数据赋以不同的语义,使具有相同语义的音频在听觉上保持相似,其中基于内容的音乐检索是具有较高实用价值的一个部分。基于内容的音乐检索是根据音乐的内容特征来进行检索,也就是根据音乐的旋律、节奏等音乐特征进行检索。基于内容的音乐哼唱检索是基于内容的音乐检索一部分。其将检索的数据源缩小为用户的哼唱,通过接收用户哼唱的旋律,对接收的音乐旋律进行内容的描述,即提取特征,然后与数据库中的特征进行相似度匹配,最后将搜索结果集返回。

第12期

张晶等:音乐哼唱检索技术在W EB 上的应用37

图1

说明了基于内容的音乐哼唱检索的具体流程。图1 音乐哼唱检索流程图

2.1 哼唱片断进行预处理

因为语音信号是一种非平稳时变信号,其中浊音部分在一段相对短的时间内可以认为是准周期的,因此语音信号处理中

通常采取短时处理技术[2]。这样,就可以将平稳过程的处理方法和理论引入到语音信号的短时处理中,每个短时的语音段称为一个分析帧。分析帧既可以是连续的,也可以采用交叠分帧的方法,一般帧长取10~30m s 。通常我们采用一个长度有限的窗函数来截取语音信号形成分析帧。

较常用到的窗函数是矩形窗和汉明窗,它们的表达式如下(其中N 为帧长):

矩形窗:

w (n)=

1 0 n

(N -1)

e

lse

汉明窗:w (n )=

0.54-0.46cos [2 !n /(N -1)] 0

n

(N -1)

0 e lse

窗形的选择对音乐信号分析来说是比较重要的。矩形窗具

有较高的频谱分辨率,但其频谱泄漏大。汉明窗具有更平滑的低通特性,能够在较高程度上反映短时信号的频率特性。

一般在计算短时能量和平均幅度时通常使用矩形窗。为了方便后面的基音提取工作,我们在设计过程中采用矩形窗对输入的信号进行分帧。

2.2 基音提取

当发浊音时,气流通过声门时使声带发生振动,产生准周期激励脉冲串,这个脉冲串的周期就称为?基音周期(p itch)#,其倒数称为?基音频率#。基音周期是语音信号中的重要参数之一,它在语音识别、语音合成和语音编码中有广泛的应用。

语音信号是短时平稳的,常用的短时基音周期估计方法有基于短时平均幅度差函数(AM DF )的基音周期估计方法和基于短时自相关函数的周期估计方法。我们采用AM DF 的基音周期估计方法。AM DF 法的思想是:如果信号是一个标准的周期函数,那么不同周期段的对应信号之差为零。浊音是一个准周期信号,在一帧语音内基音周期近似恒定,那么不同基音周期段的对应信号之差应该很小;但清音因其接近于随机噪声而不具备上述特点[3]。而且,AM DF 函数只需要加、减和取绝对值运算,运算量较之短时自相关函数大大下降。

音乐信号中基音的变化同音乐文件中的音调变化具有相对应性。所以音乐信号中的基音的提取对于音乐音调特征的提取具有重要的意义。

2.3 旋律提取

音乐的旋律是由一系列能反映该音乐主题的音符组成,能够充分显示音乐的内容特征[4]。在一段旋律中,各个音符以一种含义丰富的形式连接在一起。在音乐的所有特征中,旋律最能打动人,最能直接唤起人们的情感。所以说,音乐的旋律是音乐的灵魂。我们需要将用户输入的旋律片断,通过分析处理,得到计算机可以识别的一种旋律轮廓的表达方式,从而实现检索功能。

要得到旋律的轮廓,首先需要求得一个旋律片段的基音序列,对基音序列按照基音值的不同,进行分段,相同的值分为一段,然后对所得到的基音序列进行合并处理,并得到新基音段的

基音值。因为音调之间的变化可以反映音乐旋律上的变化,所以,我们将最后得到的基音序列的差值按照顺序排列起来,就得到了音调的旋律轮廓[5]。

假设求得了一个旋律片段的基音序列L m ,m 为序列长度。对L m 按值大小进行分段以后得到的序列为L n ,其值大小记为L n ,n 为基音段总个数(1 n m )。设阈值P,对任意段L i (1

i n),记 Lef t =L i -L i-1,

R i ght =L i -L i+1,令函数f (L i )表示段L i 的长度,则:

若 L e f t >P 且 R ight

若 L e f t

合并后产生的新基音段基音值大小按照以下方法计算:记进行合并的两段为L i 和L j ,合并后新段为L t ,则:

若f (L i )=f(L j ),L t =(L i +L j )/2;

若f (L i )>f(L j ),L t =L i ;反之,L t =L j 。

L n 经上述操作后记为L w ,各段值为L w ,w 为当前基音段总个

数(1 w n)。

对L w 中任意连续段L i 、L i+1(1 i

2.4 查询匹配并返回结果集

得到音调的轮廓序列 L i 以后,再根据标准音调差值图或表,就可以将其转换为旋律轮廓。然后,将此轮廓序列与数据库中存储的所有歌曲的旋律轮廓特征进行比较,选取相似度较高的歌曲为检索结果,并返回给用户。

至此,基于内容的音乐哼唱检索过程就结束了。

3 基于W EB 的音乐哼唱检索

随着Interne t 网络传送速度与计算机信息处理速度的提高,网页中对多媒体信息的使用变得十分普及,基于网络的应用越来越多,网络信息量不断以几何级数爆炸式增长,网上的多媒体信息急剧增加。互联网上的多媒体信息以图像、音频、视频为主。为了使用户能够方便地使用哼唱进行音乐检索,如果我们可以利用W EB 技术在网络上实现音乐检索功能,这样,用户就可以利用互联网随时随地的进行搜索了。

3.1 W EB 处理流程

W EB 处理流程如图2所示。

图2 W EB处理流程图示

客户端是基于浏览器的,用JSP生成表示层的内容。在这里,Serv let充当控制器的角色,负责处理用户请求,创建JSP页所需要使用的JavaB ean对象,根据用户请求选择合适的JSP页返回给用户。这样的结构更加清晰,实现了业务逻辑和内容显示的分离,方便了编程人员的开发和维护。各种基于Java的技术,都具有良好的可移植性、安全性和可重用性。

3.2 W EB相关技术

3.2.1 JSP

JSP(Java Serve r Pag es)是一种动态网页技术标准。它提供了一种简单快速的方法来创建显示动态生成内容的W EB页面。它是在传统的网页HTM L文件中插入Java程序段(Sc riptlet)和JSP标记(tag),从而形成JSP文件。

JSP页面封装了生成页面内容的逻辑。它将各种格式的标签直接传递回响应页面。通过这种方式,JSP页面实现了页面逻辑与其设计和显示的分离。

W EB服务器在遇到访问JSP网页的请求时,首先执行其中的程序段,然后将执行结果连同JSP文件中的HTM L代码一起返回给客户。插入的Jav a程序段可以操作数据库、重新定向网页等,以实现建立动态网页所需要的功能。

3.2.2 JavaBe an

JavaBean是一种用Java语言写成的可重用组件。它遵从一定的设计模式,使它们易于和其他开发工具和组件一起使用。

用户可以使用JavaB ean将功能、处理、值、数据库访问和其他任何可以用Java代码创造的对象进行打包,并且其他的开发者可以通过内部的J SP页面、Serv let、其他JavaB ean、app l e t程序或者应用来使用这些对象。用户可以认为JavaBean提供了一种随时随地的复制和粘贴的功能,而不用关心任何改变。

在Jav a模型中,通过Jav aBean可以无限扩充Jav a程序的功能,通过JavaBean的组合可以快速地生成新的应用程序。最好的一点就是JavaBean可以实现代码的重复利用,对于程序的易维护性等也有很重大的意义。

3.2.3 Serv let

Serv l e t是运行在服务器端的Java应用程序,它与协议和平台无关。JSP是基于Se rv le t的,服务器收到请求后触发JSP引擎,对于首次被访问的JSP文件,引擎将其翻译成Serv let程序,再编译生成c lass文件,由Java虚拟机执行,生成响应页面发送给用户。当相同的JSP网页再次被访问时,JSP引擎就直接调用已经装载的Serv let程序。JSP页面要被编译成se rv l e ts,理论上,可以直接写serv lets来支持基于W EB的应用程序。然而,JSP技术通过将页面内容和显示逻辑分开,简化了创建网页的过程。

3.3 功能设计

为了使用户和计算机达到较好的交互,我们需要设计一个在线的录音功能,使用户可以通过在线录音,将他所要查找的旋律以哼唱的形式进行输入,接收到输入的旋律以后,服务器将通过预处理,特征提取等过程,最终连接数据库,通过计算查找到用户所要搜寻的音乐,并将结果以网页的形式返回给用户。这样,用户可以在线方便的使用哼唱进行音乐检索了。

运行时界面如图3、图4

所示。

图3

检索首页面

图4 哼唱检索页面

如图3所示,在检索首页面处,设计了通过元数据(歌手名称和歌曲名称)检索音乐的功能,如果用户想要通过哼唱进行检索,点击超链接?哼唱检索#,就会进入到图4所示的哼唱检索页面。通过在线录音,搜索自己感兴趣的歌曲。

4 结束语

基于内容的音频检索是近年来研究的热点之一,基于内容的音乐检索因它的实用性受到广大研究者的关注。基于W EB 的音乐检索更是处在发展的初始阶段。在音乐检索技术中,特征提取算法和特征匹配算法仍需作进一步的研究与探讨。为了吸引用户使用网上检索系统,在界面的设计和布局上仍需要做大量的工作,尽量呈现给用户一个美观、大方、实用的新系统。

参考文献

[1]Gh i as A,Logan J,Cha m berli n D,Sm ith B.Qu ery by humm i ng:M us i cal

i nfor m ati on retrieval i n an aud i o dat ab ase.In Proc.ACM In ternati onal

Conference on M u lti m edia,Fran sisco,C alif orn i a,Nov.1995,11:

231 236.

[2]刘建,郑方,邓菁,等.基于混合幅度差函数的基音提取算法[J].

电子学报,2006,10(10).

[3]张雄伟,陈亮,杨吉斌.现代语音处理技术及应用[M].北京:机械

工业出版社,2003:33.(下转第56页)

在现实生活中大多数大公司都是同时经营多种不同的产品,同一类产品的生产和销售又可能有多个子公司共同经营;二是为了检验我们提出的局部模式库划分算法能否有效地将不同类别的局部模式库进行正确的划分。将以上三组数据共划分为12个子数据库,各个子数据库的基本信息如表4所示。

表4 子数据库的基本信息

Na m e of database Num ber

of tran s.

Frequent_

2_ite m s ets

Frequ ent_

3_i te m sets

m i n s up

Na m e

O fRB

A1255001920.1RB1

A2255001820.1RB2

A3257041930.1RB3

B1665803800.1RB4

B2665803800.1RB5

B3665803900.1RB6

B4665813800.1RB7

C11000003800.1RB8

C21000004100.1RB9

C31000004100.1RB10

C41000003800.1RB11

C5767244100.1RB12

表4中的频繁2-项集和频繁3-项集是用A pri o ri算法[9]在最小支持为0.1的情况下挖掘出来的。下面我们用算法fi nd bestnon tri v ia l partition将RB i(i=1,2,?,12)进行划分,划分前要计算它们的相似度,在这里我们直接利用A pr i or i算法生成的频繁项集当作从子公司中提交上来的局部模式库中得到的最大频繁项集。先得到各个局部模式库的相识度然后再对它们进行划分,划分结果如表5所示。

表5 局部模式库的划分情况

Val u e of Parti ti on

Val ue of

goodness

[0,0.02]{1,2,3,4,5,6,7,8,9,10,11,12}22.98837347

0.03{1,2,3,4,5,6,7,8,9,10,12}{11}25.17005772 [0.04,0.38]{1,2,3,4,5,6,7}{8,9,10,11,12}53.89647095 [0.39,0.82]{1,2,3}{4,5,6,7}{8,9,10,11,12}55.70551826 [0.83,0.89]{1,2}{3}{4,5,6,7}{8,9,10,11,12}53.29161291

0.90{1,2}{3}{4,5,6,7}{8,9,10,12}{11}48.99559087

0.91{1}{2}{3}{4,5,6,7}{8,9,10,12}{11}47.18734085

1{1}{2}{3}{4}{5}{6}{7}{8}{9}{10}{11}{12}30.07675892

从表5划分的良好度我们可以看出:最差的划分是当=0和=1时,最好的划分是当=[0.39,0.82],其划分结果为{{1,2,3},{4,5,6,7},{8,9,10,11,12}},得到三个局部模式库相关组c lass1={1,2,3},c l ass2={4,5,6,7},class3={8,9,10,11,12}}这个结果跟我们最开始的数据库划分是一致的,也就是说我们的算法findbest non tr i v ialpa rtition能有效地将各个子公司上交的局部模式库进行正确的分组,因此算法fi ndbest non tr i v ialpa rti tion是准确而有效的。

6 结 论

文中提出的基于关联规则的模式库划分算法,直接运用用户感兴趣的关联规则作为参考条件,而且用关联规则所包含的项来考虑模式库(数据库)间的相似度,能很好地区分各个模式库(数据库),也能很好地满足用户的实际需要,能在多数据库挖掘中发挥很重要的作用。提出的算法也可以直接运用于多数据库的划分上。

参考文献

[1]韩家炜,坎伯.数据挖掘:概念与技术[M].范明,等译.北京:机械

工业出版社,2001.

[2]王能斌.数据库系统原理[M].北京:电子工业出版社,2000.

[3]W u X i ndong,Zh ang Sh i ch ao.Synthesizi ng H i gh Frequ ency Rules fro m

D iff eren tD ata Sou rces[J].I EE

E T ransacti on s on Know ledge and Dat a

Eng i neeri ng,2003,15(2):353 367.

[4]Zhang Sh ichao,W u X i ndong,Zh ang Ch engq.i M u lti Database M i n i ng

[J].I EEE Co m putati onal In telli gence B ull eti n,June2003,2(1):

5 13.

[5]Zhang Sh i chao,Zhang Chengq,iW u X i ndong.Kno w l edge D iscovery i n

M u lti p l e Databases[M].Sp ri nger,2004.

[6]Agra w al R,I m ieli nsk iT,Sw a m i A.M i n i ng A ss oci ati on Ru les Bet w een

S ets of Ite m s i n Large Databases[C].In:Proceed i ngs of t h eAC M S I G M OD International C on f eren ce M anage m en t of Data.W ash i ngton,

1993:207 216.

[7]W u Xindong,Zhang Ch engq,i Zhang Sh ichao,Dat ab ase C las s ification

forM u lti Dat abaseM i n i ng.In f or m ati on Syste m s,2005(30):71 88.

[8]h ttp://https://www.360docs.net/doc/209699092.html,.hk/~kdd/data/I BM_VC++.z i p.

[9]Agra w alR,Sri kantR.Fast al gori thm s form i n i ng as soci ation ru l es[C].

In:Proced i ngs of the20th VLDB Con ference,1994:487 499.

[10]L i u H,Lu H,Yao J.Iden tif y i ng Rel evan t Databases f or M u lti database

M i n i ng[C].In:P roceed i ngs of Paci fi c A sia C on f eren ce on Know ledge

D i scovery and DataM i n i ng,1998:210 221.

[11]Zhang Chengq,i Zhang Sh i ch ao.Database C l u steri ng f orM i n i ng M u l ti

Dat abases[C].In:Proceed i ngs of the11t h I EEE In t ernationalC on f er

ence on Fuzz y S yste m s,H onol u l u,H a w ai,i USA,M ay2002.

[12]Zhang Ch engq,i L i u M eili ng,N i e W en l ong,Zhang Sh i ch ao.Identi fyi ng

G l obal Excep tional Patt erns i n M u lti databaseM i n i ng[J].I EEE Co m

pu tati on al In t elli gence Bu ll eti n,2004,3(1):19 24.

[13]Zhang Sh ic h ao,Zhang C hengq,i Jeffrey Xu Yu.An effi cient strategy for

m i n i ng excepti on s i n mu lti d atabases[J].Infor m ati on S ci ences,2004,

165(1-2):1 20.

(上接第38页)

[4]金毅,黄敏.基于旋律的音乐检索研究旋律特征的表达和提取

[J].现代图书情报技术,2003(4).

[5]郭红波.音乐哼唱检索关键技术研究[D].西安:西北大学,2007.