Android4.0的多媒体框架Nuplayer介绍

Android4.x 的RTSP 框架学习
——NuPlayer 介绍
本文介绍如下内容：
播放框架介绍 RTSP 源介绍
HTTP 流媒体的区别 要研究的点
NuPlayer 框图：
NuPlayer
NuPlayerDriver
ALooper
<<接口>>
MediaPlayerInterface
NuPlayer::Renderer
NuPlayer::Decoder
ACodec::UninitializedState
AHierarchicalStateMachine
ACodec ACodec::UninitializedState
ACodec::LoadedToIdleState ACodec::IdleToExecutingState ACodec::ExecutingState
ACodec::ExecutingToIdleState ACodec::IdleToLoadedState ACodec::FlushingState
AHandler
1
*
*
11*
<<接口>>NuPlayer::Source
*1
NuPlayer::HTTPLiveSource
NuPlayer::RTSPSource
ALooper
1*
MyHandler
*
1
ARTPConnection ARTSPConnection ALooper
1*
mNetLooper for
ARTPConnection
ARTPSource
ARTPAssembler AAVCAssembler
AAVCAssembler
AMPEG4AudioAssembler AH263Assembler AAMRAssembler AAMRAssembler
AMPEG4ElementaryAssembler ARawAudioAssembler
AnotherPacketSource
<<接口>>MediaSource
APacketSource
*
1
*
1*
1OMX AHandler
概述：
1.整个播放框架是基于ALooper、AHandler和Amessage实现的消息机制的。

2.从MediaPlayerService看，有RTSP和http且为m3u8的url会用NuPlayerDriver，前者
就走RTSPSource后者走HTTPLiveSource(还没看呢)。

3.分播放框架和RTSP源两部分来介绍，他们之间耦合很低，可以分开看代码。

播放框架：
1.NuPlayerDriver是对NuPlayer的封装，前者继承MediaPlayerInterface接口，后者实现
播放的功能。

2.NuPlayer通过RTSPSource接口得到数据流的信息和解码数据本身，RTSPSource的接口
有start、getFormat、getDuration、seekTo、dequeueAccessUnit、feedMoreTSData和stop。

后面会对NuPlayer做详细介绍。

3.Decoder的核心是ACodec，后者相当于stagefright的OMXCodec，实例化一个OMX的
Client，调用OMX组件，实现Decode功能。

4.ACodec有几个跟OMX状态对应的内部类，这里有个状态机的概念。

如果一个msg的
Handler为Acodec，那么他对应的处理函数就对应其所在状态的onMessageReceived实现。

看ACodec代码要了解OMX的一些概念，否则找不到调用关系了，有些流程是要靠OMX回调来串联的。

5.Render，奇怪，我始终没能找到google组件软解的显示是在哪里实现的，期待debug。

6.Android4.0引入了SurfaceTexture的概念，在给组件分配输出buffer时有两种方式可选，
分配一段内存buffer，或是从显示模块分配buffer，后者显然更高效。

前者还需要再做一次格式转换，后者貌似由OMX完成。

7.OMX组件，在qcom平台上有两套组件plugin，qcom的和google的，qcom在
libstagefrighthw.so中。

google的组件和库命名规则为"OMX.google. aac.decaac.decoder"//对应动态库libstagefright_soft_aacdec.so
RTSP源：
1.RTSPSource的与播放框架接口，是播放框架的数据源。

其主要接口有：
2.AnotherPacketSource在RTSPSource中作为mAudioTrack和mVideoTrack，他虽然继承
了MediaSource接口，但是并没有使用read来读数据，而是通过dequeueAccessUnit接
口，Server端的压缩流通过queueAccessUnit保存到这里。

3.MyHandler是核心，其中包含ARTSPConnection和ARTPConnection两大部分。

MyHandler负责向Server端发送Request和处理Response。

4.ARTSPConnection负责维护RTSP socket，发送Request，循环接收Server端数据，响应
Server的Request。

这里只是接收Response，真正的处理在MyHandler侧。

5.代码使用的RTSP请求有DESCRIBE，其Response中有SDP信息，接下来是SETUP，
将本端的端口信息等发给服务器，然后是PLAY。

为了保持RTSP链接，还要周期性发OPTIONS。

6.ARTPConnection负责RTP和RTCP两个socket，接收RTP和RTCP包，周期性发送RTCP
包。

Public接口：
Private接口：
7.每个RTP数据流都有一个ARTPSource，后者会创建一个ARTPAssembler。

依据处理数
据流的压缩格式，实例化对应格式的Assembler。

ARTPAssembler的Public接口：
ARTPAssembler的Private接口：
8.ARTPAssembler对ARTPConnection接收到的数据进行处理，如A VC数据，他会把单一
NAL，NAL分片和复合NAL分别处理后，都以单独NAL的形式回调传给RTSPSource，存放在AnotherPacketSource中，供decoder端使用。

HTTP的比较：
1.HTTPLive还没看。

2.普通的http和rtsp最大的区别是什么呢？
HTTP流媒体是本地解析，而RTSP流媒体是server段解析。

HTTP流媒体通过HTTP 协议，下载一定buffer量的server端文件到本地，利用本地的parser，像播放文件一样解析，播放。

而RTSP流媒体，从server端得到的就是可解码流。

HTTP在实现seek时，是丢掉当前所有buffer内容的。

要研究的点：
1，RTSP协议，request和response数据包的解析。

2，RTSP播放过程的管理。

Seek过程为，先向Server端发一个PAUSE，带响应后再发一个带时间点的PLAY请求。

3，SDP协议。

4，RTP和RTCP协议，要了解接收到的RTP包头字段的信息。

5，RTSP协议，要了解接收到RTCP SR(SendReprot)和发送出的RR(Receive Report)信息。

6，如A VC要了解NAL单元信息。