基于DirectSound技术的音频捕获与多路混音的实现

0引言

DirectX 是Microsoft 开发的专门用于开发游戏和多媒体软件的应用程序接口，它包含编制高级计算机游戏和多媒体应用程序的最新技术工具，可以方便的实现图形/图像、动画、多媒体等方面的应用开发。DirectSound 应用程序接口是Di-rectX SDK 的声音处理部分。DirectSound 在与已存在的设备驱动程序保持兼容的同时提供了低延迟的音频混合、硬件加速和在不知道硬件的具体细节情况下对声音设备的直接访问。因此，开发者可以十分方便的利用DirectSound 使用各种音频设备，并针对其特性做出优化。随着网络和Internet 的日益发展和普及，人们对通过网络进行有声交流与沟通的需求逐渐提高。本文给出了一个基于DirectSound 的实现方案，该方案可方便有效的实现对本地音频流数据的捕获，并混合网络上的多路音频流，达到网络上多人同时讲话的目的。

1DirectSound 中音频流的捕获和混音

1.1DirectSound 的音频流捕获

DirectSound 的声音捕获是通过缓冲机制实现的。Direct-

Sound 提供了静态缓冲和流式缓冲两种缓冲区机制。静态缓

冲指一次将一段完整的音频数据写入缓冲中；而流式缓冲并不将全部的音频数据一次写入缓冲，而是由程序周期性的动态写入，占用内存空间较小，因此可以通过使用较小的内存来播放较长的声音，这样可以提高缓冲区的使用效率。通常来讲，如果音频数据容量有限，使用静态缓冲更有助于提高系统的效率；相反，如果是容量很大、实时性要求较高的音频数据流，则使用流式缓冲为佳。在实现网络多路混音的系统中，由于接收的音频数据量一般来说是较大的，为保证各路话音的流畅性，使声音能够连续播放，可选择使用流式缓冲。

1.2DirectSound 的混音机制

进行混音时，声音缓冲区分为主缓冲区和辅助缓冲区两种。主缓冲区内含用户将要听到的音频，每个辅助缓冲区都包含一段单一的声音或音频流。除了主缓冲区外，程序至少还应该创建一个辅助缓冲区，辅助缓冲区的作用是储存将要使用的声音，在不使用的时候可以释放掉，但主缓冲区是不可释放的。在初始化DirectSound 时，会自动创建一个主缓冲区，当声音在辅助缓冲区中播放时，主缓冲会进行混音并把混音结果送到输出设备。通常情况下，并不需要和主缓冲打交道，DirectSound 会自己来管理它，除非我们要使用自己写的混音部分，这时，DirectSound 就会让我们自行管理主缓冲。

收稿日期：2006-01-08E-mail ：cm_yuan@https://www.360docs.net/doc/5010406013.html,

作者简介：苑春苗(1975－)，女，天津人，硕士，讲师，研究方向为网络多媒体；杨清永，男，硕士，讲师。

基于DirectSound 技术的音频捕获与多路混音的实现

苑春苗1，杨清永2

(1.天津工业大学计算机学院，天津300160；2.天津天地伟业数码科技公司，天津300384)

摘

要：给出了一个如何使用DirectSound 技术实现音频流的捕获并实现网络上多路声音混合的方案。该方案通过Direct-Sound 提供的缓冲机制实现了音频流的捕获，

结合网络技术和辅助缓冲技术可实现网络上多路声音的混合，提高了音频处理的效率和通用性。阐述了DirectSound 的相关技术，给出了系统的框架图及音频捕获与混音的实现方法，提出了环形缓冲区设计方案，最后给出了系统优化方案。

关键词：DirectSound;网络;音频流;混音;缓冲技术中图法分类号：TP37

文献标识码：A

文章编号：1000-7024(2007)03-0613-02

Method of audio capture and multi-audio mixing based on DirectSound technology

YUAN Chun-miao 1,

YANG Qing-yong 2

(1.School of Computer,Tianjin Polytechnic University,Tianjin 300160,China;

2.Tianjin Tiandy Digital Technology Company Limited,Tianjin 300384,China )

Abstract ：An implementation of audio streaming capture and mixing multiple audio streaming on network based on DirectSound tech-nology.Audio streaming capture adopts DirectSound's buffer mechanisms,while multi-sound mixing combines technologies related network with DirectSound's secondary buffer mechanisms.The scheme enhance the efficiency and generality of audio process.Some related technologies of DirectSound and the architecture of system are introduced,how to implement voice capture and mixing and the using of ring-buffer are https://www.360docs.net/doc/5010406013.html,st,an optimization policy is proposed.

Key words ：DirectSound;network;audio streaming;sound-mixing;buffer technology

2007年2月计算机工程与设计

Feb.2007

第28卷第3期Vol.28

No.3

Computer Engineering and Design

混音过程如图1所示，当程序同时对多个辅助缓冲区中的音频数据进行回放时，DirectSound 会把这些来自于不同辅助缓冲区的声音在主缓冲区进行自动混音，然后通过输出设备输出。如果所有的缓冲区都使用同一种声音格式而且硬件输出也是使用这种格式，那么DirectSound 的混音将不需要在格式转换上花任何的工夫，从而达到最优的效果。

2

基于DirectSound 的音频流捕获及网络多路混音

2.1

系统的实现框架

为实现网络多路混音，在系统中可设置多个辅助缓冲区，

在将本机捕获的声音发送给网络的同时，不断将本机捕获的声音及从网络上收到的多路声音分别写入辅助缓冲区中，这样在播放时就可实现声音的混合了，系统框架如图2所示。

2.2环形缓冲区设计

可将辅助缓冲区设计成环形缓冲，不断循环向其中写入

音频数据，当数据积累到一定程度时，就可以播放声音了，播放过的声音则成为旧音频数据，可以重新向该部分缓冲区内写入新捕获的音频数据。环缓冲区是使用动态方式申请的内存区域，利用数学中的取余运算，可以把它建构成一个抽象的环形域。在缓冲区中设立写指针和回放指针，写指针用于记录接收线程的写数据位置，回放指针用于记录回放线程读数据的位置。环形流式缓冲的使用如图3所示。按回放音频数据的顺序来看，写指针的位置总是较回放指针稍微靠前，并且它们间保持着一定的间距，而这个间距会根据不同的系统状况而有所不同。缓冲区大小一般设置为1M 字节左右为宜，一般可以将缓冲区分割成3~4个区域，并在分割位置设定通知事件。当写指针或回放指针到达该位置后会得到相应的事件通知，当一个区域写满数据后才可以进行回放；当一个区域的数据回放完之后才可以写入新数据。这样可以很好地互斥使用缓冲区，使回放的声音更平滑顺畅。

2.3音频流捕获实现方案

DirectSound 的声音捕获部分基于IDirectSoundCapture 和

IDirectSoundCaptureBuffer COM 接口实现。

在进行声音的捕获时，要使用该接口，必需先建立一个接口实例，然后给该接口

创建一个捕获缓冲区，声音捕获工作是由捕获缓冲区对象的

方法完成的。

首先需要创建一个缓冲区，通过对一个DSBUFFERDESC 结构赋值，可以指定要创建的缓冲区的特征，例如：单双声道、采样率、量化位数、对齐方式等；然后调用IDirectSoundCapture::CreateSoundBuffer ()方法，

创建一个需要的缓冲区对象，之后就可以按照如下步骤实现声音的捕获了：①调用IDirectSound-CaptureBuffer::Start 方法启动缓冲区。从缓冲区开始处填入来自输入设备的音频数据。②等待直到有足够的数据被读入。可以通过使用IdirectSoundNotify::SetNotificationPosition 方法在缓冲区中设置通知点，当捕获指针到达缓冲区中某一位置时，即触发指定事件，表明此时缓冲区中数据已足够多。③当有足够的数据后，会收到前面所设置的消息通知，调用IDirec-tSoundCaptureBuffer::Lock 方法锁住该部分捕获缓冲区。④从缓冲拷贝数据。⑤用IDirectSoundCaptureBuffer::Unlock 方法对缓冲去锁。⑥重复步骤②到⑤直到所有的数据被捕获。然后调用IDirectSoundCaptureBuffer::Stop 方法。

通常缓冲区会在捕获位置到达其末尾时自动停止捕获操作。然而，如果在调用IDirectSoundCaptureBuffer::Start 方法时设置其dwFlags 参数为DSCBSTART_LOOPING ，捕获操作会继续下去直到IDirectSoundCaptureBuffer::Stop 方法被调用，这时捕获位置被移动到了缓冲区的开始处。部分关键代码如下：

LPDIRECTSOUNDCAPTURE

m_dscDirectSoundCapture;

DirectSoundCaptureCreate (NULL,&m_dscDirectSoundCapture,

NULL );

DSCBUFFERDESC dscbd;

static LPDIRECTSOUNDCAPTUREBUFFER m_dscbInput;…//初始化dscbd ，用于设置捕获缓冲区的特征；

m_dscDirectSoundCapture ->CreateCaptureBuffer (&dscbd,&m_dscbInput,NULL );

m_dscbInput->Start (DSCBSTART_LOOPING );//开始捕获…//拷贝音频数据到缓冲区m_dscbInput ；m_dscbInput->Stop ();//停止CaptureBuffer

m_dscbInput ->Release ();//释放m_dscbInput

m_dscDirectSoundCapture ->Release ();//释放m_dscDirectS-oundCapture

2.4网络混音的实现方案

为实现声音的混音和回放，则需要创建IDirectSound 对

象，DirectSound 会自动创建主缓冲区，

但辅助缓冲区需要我们图3回放指针和写指针与流式缓冲区的关系

图1DirectSound 的混音机制

辅助缓冲区

图2系统实现框架

收到的声音

输入设备

输出设备网

络

旧音频数据

新音频数据；回放指针

写指针

导航控制系统的设计。实际系统采用嵌入式计算机及基于微电子机械器件(MEMS)的导航传感器设备，结合合理的软件、硬件设计，大为提高了导航系统的可靠性，同时也满足了工程中对系统性能的要求。

参考文献:

[1]胡小平.自主导航理论与应用[M].长沙:国防科技大学出版社,

2002.

[2]肖业伦.航空航天器运动的建模－飞行动力学的理论基础[M].

北京:北京航空航天大学出版社,2003.[3]吴俊伟.惯性技术基础[M].哈尔滨:哈尔滨工程大学出版社,

2002.

[4]付梦印,邓志红,张继伟.Kalman滤波理论及其在导航系统中

的应用[M].北京:科学出版社,2003

[5]耿德根,宋建国,马潮,等.AVR高速嵌入式单片机原理与应用

[M].北京:北京航空航天大学出版社,2001.

[6]高鹏,安涛,寇怀成.电路设计与制版－Protel99入门与提高[M].

北京:人民邮电出版社,2000.

[7]何强,何英.Matlab扩展编程[M].北京:清华大学出版社,2002.

[8]John Goerzen.Linux编程宝典[M].北京:电子工业出版社,2000.

(上接第614页)

自己创建。使用辅助缓冲区时，也要使用和前述相似的加锁和解锁机制及通知机制，在此不在赘述。本方案中，首先要根据要混合的声音的最大路数，在应用程序中创建相应个数的辅助缓冲区，然后将从本机捕获的音频数据和从网络上接收的多路音频数据分别写入到不同的辅助缓冲区中，由主缓冲进行混音并把混音结果送到输出设备，这样就可以实现网络上多路声音的混合了。以下是部分关键代码：

LPDIRECTSOUND m_dsDirectSound;//Directsound对象DirectSoundCreate(NULL,&m_dsDirectSound,NULL);

m_dsDirectSound->SetCooperativeLevel(hWnd,DSSCL_ PRIORITY);//设置合作级别

DSBUFFERDESC dsbd;

static LPDIRECTSOUNDBUFFER m_dsbPrimary;

//主缓冲区

…//初始化dsbd，用于设置主缓冲区的特征；

m_dsDirectSound->CreateSoundBuffer(&dsbd,&m_dsbPrimary, NULL);

DSBUFFERDESC m_dsbdOutput;

…//初始化m_dsbdOutput，用于设置多个辅助缓冲区的特征；

//创建多个辅助缓冲区用于混音

static LPDIRECTSOUNDBUFFER m_arDsbOutput[MAX_ NUM];

for(i=0;i

dsrval=m_dsDirectSound->CreateSoundBuffer(&m_dsbd-Output,&m_arDsbOutput[i],NULL)

…//填充本机捕获的音频数据到环形辅助缓冲区；

…//填充从网络上接收的音频数据到环形辅助缓冲区；

for(int i=0;i

m_arDsbOutput[i]->Play(0,0,DSBPLAY_LOOPING);

…

//停止播放辅助缓冲区

for(int i=0;i

m_arDsbOutput[i]->Stop();

…//释放缓冲区。

3系统优化

考虑到网络传输带宽的限制，可以在音频采集模块中加入静音检测技术，即监测到有音频输入时才将音频流从网络上传输出去，当无音频输入即音频流数据为静音数据时则不传输，这样既可以节省网络带宽，又可以减少混音的路数，可以提高系统的效率和混音后的音频质量。

4结束语

经测试，该方案可以十分容易的实现音频流的捕获，并可以实现多路网络音频流混合，且混合后的各路声音没有时延、停顿，语音清晰，效果良好。DirectX技术在开发多媒体应用时使用十分方便高效，现已被广泛采用。音频的捕获、混音以及回放在现今的网络通信中如网络视频会议、网上聊天、多媒体教学及多人网络游戏中有广泛的应用，本方案可以达到多人同时讲话的效果，提高了音频处理的效率和通用性。

参考文献:

[1]Microsoft公司.Microsoft directX8.0SDK[EB/OL].http://www.

https://www.360docs.net/doc/5010406013.html,.

[2]罗智勇,张会汀.使用DirectX技术实现视频会议中的音频通

信[EB/OL].https://www.360docs.net/doc/5010406013.html,.

[3]林浩,张国基.DirectSound封装技术及其音频捕捉应用[J].微

型电脑应用,2004,20(3):57-59.

[4]林丕源,肖德琴.局域网上声音实时捕捉和传送的实现[J].计算

机应用,2002,22(6):64-66.

[5]张占君,韩承德,杨雪量.基于自适应节的多媒体流QoS保证的

研究[J].计算机学报,2002,23(12):1320-1324.

[6]肖勇军,金伟正.基于DirectX技术的语音编解码系统的实现

[J].计算机工程,2005,31(8):180-182.

[7]唐朝京,鲜明,肖顺平,等.Windows平台上实现多媒体信息实

时捕获的几种主要技术研究[J].计算机应用研究,2003,20(5): 37-39.

[8]黄永峰.因特网语音通信技术及其应用[M].北京:人民邮电出

版社,2002.

[9]Richard Stevens W.TCP/IP详解卷1:协议[M].北京:机械工业

出版社,2001.

[10]黄永峰.IP网络多媒体通信技术[M].北京:人民邮电出版社,

2003.

[11]沈乐君,程小平.基于模式的实时音频流分割与控制系统[J].

计算机工程与设计,2004,25(7):1211-1213.