RTP协议及编解码
RTP协议全解(H264码流和PS流)-2015-4-22
RTP协议全解（H264码流和PS流）写在前面：RTP的解析，网上找了很多资料，但是都不全，所以我力图整理出一个比较全面的解析，其中借鉴了很多文章，我都列在了文章最后，在此表示感谢。
互联网的发展离不开大家的无私奉献，我决定从我做起，希望大家支持。
原创不易，转载请附上链接，谢谢/chen495810242/article/details/392073051、RTP Header解析图11) V：RTP协议的版本号，占2位，当前协议版本号为22) P：填充标志，占1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组，它们不是有效载荷的一部分。
3) X：扩展标志，占1位，如果X=1，则在RTP报头后跟有一个扩展报头4) CC：CSRC计数器，占4位，指示CSRC 标识符的个数5) M: 标记，占1位，不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始。
6) PT: 有效荷载类型，占7位，用于说明RTP报文中有效载荷的类型，如GSM音频、JPEM图像等,在流媒体中大部分是用来区分音频流和视频流的，这样便于客户端进行解析。
7) 序列号：占16位，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。
这个字段当下层的承载协议用UDP的时候，网络状况不好的时候可以用来检查丢包。
同时出现网络抖动的情况可以用来对数据进行重新排序，序列号的初始值是随机的，同时音频包和视频包的sequence是分别记数的。
8) 时戳(Timestamp)：占32位，必须使用90 kHz 时钟频率。
时戳反映了该RTP报文的第一个八位组的采样时刻。
接收者使用时戳来计算延迟和延迟抖动，并进行同步控制。
9) 同步信源(SSRC)标识符：占32位，用于标识同步信源。
该标识符是随机选择的，参加同一视频会议的两个同步信源不能有相同的SSRC。
10) 特约信源(CSRC)标识符：每个CSRC标识符占32位，可以有0～15个。
RTP协议分析
RTP协议分析协议名称：RTP协议分析一、引言RTP（Real-time Transport Protocol）是一种用于实时传输音频和视频数据的协议。
该协议提供了一种标准化的方式，用于在多媒体应用程序之间传输实时数据。
本协议旨在分析RTP协议的基本原理、功能和特点，并提供相应的标准格式。
二、协议概述RTP协议是一个基于UDP的传输协议，用于在互联网上传输实时数据。
它提供了一种可靠的、实时的数据传输机制，适用于音频、视频和其他多媒体数据的传输。
RTP协议通过将数据分割成小的数据包（称为RTP包）并添加头部信息来实现数据的传输和同步。
三、协议结构1. RTP包头部RTP包头部包含以下字段：- 版本（V）：标识RTP协议的版本号。
- 填充（P）：指示是否在RTP包的末尾添加了额外的填充字节。
- 扩展（X）：指示是否在RTP包中包含了扩展头部。
- CSRC计数（CC）：指示后续包头中CSRC标识符的数量。
- 标记（M）：用于指示RTP包是否为一个帧的最后一个包。
- 负载类型（PT）：指示RTP包中负载的类型，例如音频或视频。
- 序列号（Sequence Number）：用于标识RTP包的顺序。
- 时间戳（Timestamp）：提供了RTP包中数据的时间信息。
- 同步源（SSRC）：用于唯一标识RTP流的源。
- CSRC列表（CSRC List）：包含了参与混合的媒体流的CSRC标识符的列表。
2. RTP包负载RTP包的负载部分包含了实时传输的音频、视频或其他多媒体数据。
四、协议功能1. 实时传输RTP协议提供了实时传输数据的功能，适用于音频和视频等多媒体数据的传输。
它通过将数据分割成小的数据包，并在每个包中添加时间戳信息，以确保接收方可以按照正确的顺序和时间重建数据。
2. 数据同步RTP协议通过使用时间戳字段来实现数据的同步。
接收方可以根据时间戳信息将多个数据包按照正确的顺序进行播放，从而实现音视频的同步。
网络视频传输协议RTPRTCPRTSPSIPSDP
网络视频传输协议RTPRTCPRTSPSIPSDP流媒体服务器做音视频媒体传输主要就两件事：媒体回话协商，媒体数据传输；下面这几种协议就围绕着这两个需求而产生。
1.RTP协议rtp的全称是实时传输协议RTP（Real-time Transport Protocol），是应用层的一个协议，主要用来做音视频数据传输，一般基于udp协议之上，也支持组播，当然基于tcp也是可以的。
用rtp传输音视频数据的一般做法是将音视频数据前面加上rtp头封装成一个个的rtp包，接收端根据接收到的数据在组成按帧标记组成音视频数据，里面可以是h264或者h265的裸码流打包，也是是ps 格式或者ts格式封装的数据包，也可以是具有私有头的第三方封包。
rtp主要说的就是rtp头，里面比较重要的字段就是sn，一般在一帧数据被拆成多个rtp包，sn就是拆包的顺序，从1-32767循环叠加，在一个帧的最后一包会被打上mark标记，以此来区分一帧与另外一帧，用于接收方组成一帧数据包，多路不同的音视频媒体流使用ssrc源标记区分。
2.RTCP协议一般提到rtp总会提到rtcp协议，它们是配套的一套协议RTCP的全称是实时传输控制协议(Real-time Control Protocol)，rtp虽然可以传输音视频数据，但是却不能携带其他的信息，比如当前网络的丢包，延迟，抖动，这些都是保证音视频数据传输质量的重要信息。
简单的说来就是rtp协议负责传输音视频数据，rtcp协议配套传输当前传输的控制信息。
rtcp主要说的就是两个东西，sr报告和rr报告，sr报告叫发送报告，随着发出的rtp包发出，主要告诉接收端，当前的发送情况；rr报告叫做接收报告，在接收到一个数据包后发出，回传到发送端，主要告诉发送端当前的接收情况；当然还有其他的媒体描述信息，应用程序消息等。
rtp另一个支持的特性就是端口复用，简单的说就是多路音视频传输使用一个端口接收，多路不同的媒体流使用一个叫做复用id的字段来区分，每一路的muxid不一样。
RTP协议
介绍RTP协议的概念和作用RTP（Real‑time Transport Protocol，实时传输协议）是一种用于实时数据传输的网络协议。
它被广泛应用于音频、视频和其他实时多媒体数据的传输，为实时通信提供了可靠的数据传输机制。
RTP协议的主要作用是提供实时数据的传输、同步和恢复机制，以确保在网络传输过程中的实时性和准确性。
它被设计用于在IP网络上传输实时数据流，如音频和视频，尤其适用于实时通信应用，如音视频会议、IP电话和流媒体传输。
RTP协议通过将实时数据分割成小的数据包（packet），并为每个数据包添加时间戳和序列号等信息，实现了实时数据的传输和同步。
这些信息可以用于恢复丢失的数据、调整数据的播放速率以及提供实时流媒体传输所需的其他功能。
RTP协议还支持多播和单播方式，可以在多个终端之间进行实时数据传输。
它还提供了一些扩展机制，如RTP控制协议（RTCP），用于监控和控制传输质量，并提供参与者间的交互。
总之，RTP协议在实时通信领域扮演着重要角色，为音频、视频和其他实时多媒体数据的传输提供了可靠的机制，保证了实时数据的同步和准确性，满足了不同实时通信应用的需求。
解释RTP协议的基本工作原理和数据传输方式RTP（Real‑time Transport Protocol，实时传输协议）是一种用于实时数据传输的网络协议，它采用了一系列机制来确保实时数据的传输和同步。
本节将解释RTP协议的基本工作原理和数据传输方式。
工作原理RTP协议的基本工作原理如下：1.数据分割：RTP将实时数据流（如音频或视频）分割成较小的数据包（packet），通常称为RTP包。
每个RTP包包含了数据的一部分。
2.包头信息：每个RTP包都包含了一些关键的信息，如时间戳和序列号。
时间戳指示了每个数据包的时间顺序，而序列号用于在接收端对数据包进行排序。
3.传输方式：RTP协议可以使用UDP或TCP作为底层传输协议。
UDP通常用于实时数据传输，因为它提供了较低的延迟和更快的传输速度，但对于可靠性要求较高的应用，也可以选择使用TCP。
RTP协议实时传输协议解析
RTP协议实时传输协议解析RTP协议（Real-time Transport Protocol）是一种用于在计算机网络中实时传输音频和视频数据的协议。
它提供了传输数据包的机制以及解决拥塞控制和时钟同步等问题的方法。
本文将对RTP协议的结构、特点和工作原理进行详细解析。
一、RTP协议的结构RTP协议由报头和有效载荷组成。
报头包含了版本、负载类型、时间戳等信息，而有效载荷则用于携带音频、视频等实时数据。
1. 报头（Header）RTP报头由12个字节组成，包括以下字段：- 版本（Version）：占2位，用于指定RTP协议的版本号。
- 填充位（Padding）：占1位，用于指示报头末尾是否有额外的填充字节。
- 扩展位（Extension）：占1位，用于指示是否存在扩展报头。
- CSRC计数（CSRC Count）：占4位，用于指示报头后面跟随的CSRC标识符（Contributing Sources）的数量。
- 标志位（Marker）：占1位，用于标示有效载荷的特殊条件。
- 负载类型（Payload Type）：占7位，用于标识有效载荷的编码格式。
- 序列号（Sequence Number）：占16位，用于指示报文的顺序。
- 时间戳（Timestamp）：占32位，用于指示接收端播放音频或视频的时钟信息。
- 同步源（Synchronization Source）：占32位，用于唯一标识一个同步源。
- CSRC列表（CSRC List）：包含0个或多个32位的CSRC标识符。
2. 有效载荷（Payload）RTP协议的有效载荷用于传输实时的音频、视频或其他实时数据。
有效载荷的具体格式和编码方式根据不同的应用而不同。
二、RTP协议的特点RTP协议具有以下几个特点，使其适用于实时传输应用：1. 无连接性：RTP协议在传输过程中不建立连接，这样可以降低传输时延。
2. 实时性：RTP协议被设计用于传输实时数据，提供了时间戳和时钟同步机制，确保数据的及时传输和正确播放。
RTP协议解析实时传输协议的通信流程
RTP协议解析实时传输协议的通信流程实时传输协议（Real-time Transport Protocol，简称RTP）是用于在计算机网络上传输音视频数据的一种网络传输协议。
通过对RTP协议的解析，可以更好地理解实时传输协议的通信流程。
本文将详细介绍RTP协议的通信流程，以帮助读者对其有更深入的了解。
一、RTP协议概述RTP协议是一种面向数据包的协议，用于在IP网络上实现实时音视频的传输。
它通过应用层协议和传输层协议，实现音视频数据的有效传输。
RTP协议具有相对较小的延迟和抖动，适用于对实时性要求较高的音视频传输场景。
二、RTP协议的通信流程1. 发送端准备数据在RTP协议的通信流程中，发送端首先需要准备需要传输的音视频数据。
该数据可以是声音、图像或视频等实时数据。
2. 封装RTP数据包发送端将准备好的数据进行RTP封装，将实时数据封装成RTP数据包。
RTP数据包包含了数据的负载（payload）和头部信息（header）。
头部信息中包括了与数据相关的信息，比如序列号、时间戳、同步信令等。
3. 选择传输协议发送端需要选择合适的传输协议来传输RTP数据包。
常用的传输协议包括用户数据报协议（UDP）和传输控制协议（TCP）。
UDP传输速度快，适合实时传输；而TCP具有可靠性，适合保证数据的可靠性传输。
4. 数据传输发送端将封装好的RTP数据包通过选择的传输协议发送到目的地。
在传输过程中，可能会经过多个路由器和网络节点。
5. 接收端接收数据接收端通过相应的传输协议接收到RTP数据包，并将其进行解析。
6. 解析RTP数据包接收端解析RTP数据包，提取出负载数据和头部信息。
头部信息中的序列号和时间戳可以用于实现数据的重构和同步。
7. 播放音视频接收端根据解析出的数据和头部信息对音视频进行播放或渲染。
通过解析RTP数据包和播放处理，接收端可以实现音视频的同步和实时性。
三、RTP协议的应用场景RTP协议在实时音视频传输领域具有广泛的应用。
2023流媒体传输协议及音视频编解码技术正规范本(通用版)
流媒体传输协议及音视频编解码技术引言随着互联网的普及和带宽的提高，流媒体技术在现代通信领域得到了广泛的应用。
流媒体传输协议和音视频编解码技术是实现流媒体的关键技术，本文将介绍流媒体传输协议的分类和特点，以及常用的音视频编解码技术原理。
一、流媒体传输协议流媒体传输协议是指用于实现音视频流传输的协议，常见的流媒体传输协议有HTTP、RTSP、RTMP、HLS等。
这些协议各有其特点和适用场景。
1.1 HTTPHTTP（Hyper Text Transfer Protocol）是一种应用层协议，常用于在万维网上进行数据传输。
在流媒体领域，HTTP被广泛用于传输音视频流。
其具有跨平台、易于使用的特点，同时也能保证较好的兼容性和稳定性。
然而，由于HTTP协议本身的限制，其传输效率相对较低，对实时性要求较高的应用场景有一定局限性。
1.2 RTSPRTSP（Real-Time Streaming Protocol）是一种应用层协议，用于控制多媒体服务器之间的数据传输。
RTSP协议提供了对流媒体的完整控制，包括播放、暂停、停止、快进、快退等功能。
其支持实时流媒体传输，并具有较好的实时性。
但是，RTSP协议不直接传输音视频流数据，因此需要结合其他协议（如RTP/RTCP协议）来实现音视频数据的传输。
1.3 RTMPRTMP（Real-Time Messaging Protocol）是Adobe开发的协议，用于高性能流媒体传输。
RTMP协议通过发送音视频数据块来实现实时性较高的流媒体传输。
尤其在直播领域，RTMP被广泛应用。
然而，由于其是Adobe自有协议，导致其在移动设备和部分客户端上的兼容性有一定问题。
1.4 HLSHLS（HTTP Live Streaming）是苹果公司推出的流媒体传输协议，在移动设备和桌面浏览器上具有良好的兼容性。
HLS协议通过将音视频流切分成若干个小片段进行传输，并根据网络情况动态调整码率，以实现适应不同网络环境下的流媒体传输。
RTP协议及编解码
RTP协议及编解码1.传输数据：RTP协议主要用于传输多媒体数据，如音频和视频等。
它提供了序列号、时间戳和同步信号等功能，保证传输的数据可以按照正确的顺序播放和同步。
2. 实时性：RTP协议是为实时通信而设计的，它采取了一些机制来减少延迟和抖动。
例如，通过设定适当的时间戳和同步信号，可以实现按时播放音视频数据。
此外，RTP还提供了FEC（Forward Error Correction）和重传机制，用于恢复因数据丢失而导致的错误。
3.压缩和解压缩：音视频数据通常需要经过压缩才能在有限的网络带宽下传输。
RTP协议并没有定义具体的编解码算法，但它可以与各种压缩算法配合使用。
在RTP数据包中，可以通过RTP负载类型字段指明使用的编解码算法以及其他相关信息。
4.数据包分组：RTP将音视频数据分组成多个数据包进行传输，每个数据包都包含了一部分数据以及一些控制信息。
每个RTP数据包都有一个序列号，用于验证数据的有序传输。
此外，每个数据包还包含一个时间戳，用于保证数据的同步播放。
编解码是将音视频数据进行压缩和解压缩的过程。
在音视频通信和媒体播放中，编解码技术起到了至关重要的作用，它可以减少数据的带宽占用和存储空间，提高数据的传输效率和传输质量。
编码是将原始音视频数据转换为压缩格式的过程。
在编码过程中，可以采用不同的压缩算法和参数来实现不同的压缩效果。
常见的音频编码算法包括MP3、AAC、Opus等，而视频编码算法则包括H.264、H.265、VP9等。
解码则是将压缩格式的音视频数据还原为原始数据的过程。
在解码过程中，需要使用相同的编码算法和参数来还原数据。
解码后的音视频数据可以被播放或进一步加工处理。
编解码不仅可以用于实时通信和媒体播放，还广泛应用于视频会议、流媒体传输、视频监控等领域。
编解码技术的发展不仅提高了音视频传输的效率和质量，还推动了音视频产业的发展。
总结起来，RTP协议和编解码技术在音视频通信和媒体播放中起到了至关重要的作用。
视频编解码和流媒体协议
RTP参考文档RFC3550/RFC3551Real-time Tran sport Protocol）是用于In ternet 上针对多媒体数据流的一种传输层协议。
RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。
RTP协议常用于流媒体系统（配合RTCP协议），视频会议和一键通（Push to Talk ）系统（配合H.323或SIP），使它成为IP电话产业的技术基础。
RTP协议和RTP控制协议RTCP一起使用，而且它是建立在UDP协议上的。
RTP本身并没有提供按时发送机制或其它服务质量（QoS保证，它依赖于低层服务去实现这一过程。
RTP并不保证传送或防止无序传送，也不确定底层网络的可靠性。
RTP实行有序传送，RTP中的序列号允许接收方重组发送方的包序列，同时序列号也能用于决定适当的包位置，例如：在视频解码中，就不需要顺序解码。
RTP由两个紧密链接部分组成：RTP —传送具有实时属性的数据；RTP控制协议（RTCP —监控服务质量并传送正在进行的会话参与者的相关信息。
RTCP实时传输控制协议（Real-time Tran sport Control Protocol 或RTP Co ntrol Protocol或简写RTCP是实时传输协议（RTR的一个姐妹协议。
RTCP为RTP媒体流提供信道外（out-of-band ）控制。
RTCP本身并不传输数据，但和RTP一起协作将多媒体数据打包和发送。
RTCP定期在流多媒体会话参加者之间传输控制数据。
RTCP的主要功能是为RTP 所提供的服务质量（Quality of Service ）提供反馈。
RTCP收集相关媒体连接的统计信息，例如：传输字节数，传输分组数，丢失分组数，jitter ，单向和双向网络延迟等等。
网络应用程序可以利用RTCP所提供的信息试图提高服务质量，比如限制信息流量或改用压缩比较小的编解码器。
RTCP本身不提供数据加密或身份认证。
视频通信协议
视频通信协议视频通信协议是指在视频通信过程中，用于规定数据传输格式、传输速率、错误校正等内容的一系列协议。
视频通信协议在现代社会中扮演着重要的角色，它们直接影响着视频通信的稳定性、清晰度和实时性。
本文将介绍几种常见的视频通信协议，并对它们的特点进行简要分析。
首先，我们来介绍一种常见的视频通信协议——RTP（Real-time Transport Protocol，实时传输协议）。
RTP是一种用于在互联网上传输实时数据的协议，它通常与RTCP（Real-time Control Protocol，实时控制协议）一起使用。
RTP协议可以保证多媒体数据在传输过程中的实时性和同步性，适用于视频会议、视频直播等场景。
RTP协议的特点是传输速率较快，能够保证视频数据的实时传输，但在传输过程中对网络环境要求较高，对延迟和丢包的容忍度较低。
其次，我们介绍一种常用的视频通信协议——RTSP（Real Time Streaming Protocol，实时流传输协议）。
RTSP是一种用于控制流媒体服务器的协议，它可以实现对流媒体的播放、暂停、快进、快退等控制操作。
RTSP协议的特点是能够实现对流媒体的灵活控制，适用于视频监控、视频点播等场景。
但是，RTSP协议在传输过程中对网络环境的要求较高，对延迟和带宽的要求也比较苛刻。
除了RTP和RTSP协议外，还有一种常见的视频通信协议是H.323协议。
H.323是一种多媒体通信协议，它包括了音频、视频和数据通信的标准，适用于实时的音视频通信。
H.323协议的特点是支持多种编解码器，能够适应不同的网络环境和带宽条件。
但是，H.323协议在实现过程中需要考虑的因素较多，配置和维护相对复杂。
综上所述，视频通信协议在视频通信中起着至关重要的作用。
不同的视频通信协议有着各自的特点和适用场景，选择合适的视频通信协议对于保证视频通信质量至关重要。
在实际应用中，我们需要根据具体的场景和需求来选择合适的视频通信协议，以实现稳定、清晰、实时的视频通信效果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
标识（M） 载荷类型（PT）
RTP头域（2－2）
名称 说明
系列号
16位，系列号随每个RTP数据包而增加1，由接 收者用来探测包损失，系列号初值是随机的， 使对加密的文本攻击更难 32位，时标反映RTP数据包中第一个八进制数的 采样时刻，采样时刻必须从单调、线性增加的 时钟导出，以允许同步与抖动计算 32位，标识同步源，此标识不是随机选择的， 目的在于使同一RTP包连接中没有两个同步源有 相同的SSRC标识 0到15项，每项32位。CSRC列表表示包内的对载 荷起作用的源。标识数量由CC段给出。如超出 15个作用源，也仅标识15个
实时流传输
实时流式传输保证媒体信号带宽能够与当前网络状 况相匹配，从而使得流媒体数据总是被实时地传 送，因此特别适合于现场事件。实时流传输支持随 机访问，即用户可以通过快进或者后退操作来观看 前面或者后面的内容。从理论上讲，实时流媒体一 经播放就不会停顿，但事实上仍有可能发生周期性 的暂停现象，尤其是在网络状况恶化时更是如此。 与顺序流传输不同的是，实时流传输需要用到特定 的流媒体服务器，而且还需要特定网络协议的支持。
USER_LOGIN_REQ USER_LOGIN_RES
USER_PRIVATE_TEXT USER_BROAD_TEXT USER_LOGOFF SRV_USER_LIST SRV_BROAD_TEXT SRV_PRIVAT_TEXT SRV_BROAD_USR_LOGIN SRV_BROAD_USR_LOGOFF
G729编解码
编码初始化 va_g729a_init_encoder(); 编码函数 va_g729a_encoder(short *,(unsigned char*) 解码初始化 va_g729a_init_decoder() 解码函数 va_g729a_decoder(unsigned char *, short *, int)
RTP协议
RTP是一种提供端对端传输服务的实时传输协 议，用来支持在单目标广播和多目标广播网络 服务中传输实时数据
RTP是传输层上的协议
RTP可以看成是传输 层的子层。由多媒体 应用程序生成的声音 和电视数据块被封装 在RTP信息包中，每 个RTP信息包被封装 在UDP消息段中，然 后再封装在IP数据包 中
流
流（Streaming）是近年在Internet上出现的新概 念，其定义非常广泛，主要是指通过网络传输多媒 体数据的技术总称。流媒体包含广义和狭义两种内 涵：广义上的流媒体指的是使音频和视频形成稳定 和连续的传输流和回放流的一系列技术、方法和协 议的总称，即流媒体技术；狭义上的流媒体是相对 于传统的下载-回放方式而言的，指的是一种从 Internet上获取音频和视频等多媒体数据的新方 法，它能够支持多媒体数据流的实时传输和实时播 放。
流媒体传输实现
实现流媒体传输主要有两种方法： 顺序流（progressive streaming）传输 实时流（realtime streaming）传输
顺序流传输
顺序流传输采用顺序下载的方式进行传输，在下载 的同时用户可以在线回放多媒体数据，但给定时刻 只能观看已经下载的部分，不能跳到尚未下载的部 分，也不能在传输期间根据网络状况对下载速度进 行调整。由于标准的HTTP服务器就可以发送这种形 式的流媒体，而不需要其他特殊协议的支持，因此 也常常被称作 HTTP流式传输。顺序流式传输比较 适合于高质量的多媒体片段，如片头、片尾或者广 告等。
应用层 RTP UDP IP 数据链路层 物理层
RTP和UDP之间的接口
从应用开发人员的角度来看，可把RTP执行程序看 成是应用程序的一部分，因为开发人员必需把 RTP 集成到应用程序中。 在发送端，开发人员必需把执行RTP协议的程序写 入到创建RTP信息包的应用程序中，然后应用程序 把RTP信息包发送到UDP的套接接口
USER_LOGIN_REQ USER_LOGIN_RES USER_PRIVATE_TEXT USER_BROAD_TEXT USER_LOGOFF SRV_USER_LIST SRV_PRIVAT_TEXT SRV_BROAD_TEXT SRV_BROAD_USR_LOGIN
SRV_BROAD_USR_LOGO FF
负载类型
标明RTP负载的格式，包括所采用的编码算法、采 样频率、承载通道等。例如，类型2表明该RTP数据 包中承载的是用ITU G.721算法编码的语音数据，采 样频率为8000Hz，并且采用单声道
序列号
用来为接收方提供探测数据丢失的方法，但如何处 理丢失的数据则是应用程序自己的事情，RTP协议 本身并不负责数据的重传。
时标
SSRC
CSRC列表
CSRC记数（CC）
表示CSRC标识的数目。CSRC标识紧跟在RTP固 定头部之后，用来表示RTP数据报的来源，RTP协 议允许在同一个会话中存在多个数据源，它们可以 通过RTP混合器合并为一个数据源。例如，可以产 生一个CSRC列表来表示一个电话会议，该会议通 过一个 RTP混合器将所有讲话者的语音数据组合为 一个RTP数据源。
编解码及RTP协议
回顾
SIP协议概述 SIP消息 OSIP库的使用
本章目标
音频编解码 RTP协议概述 对RTP协议进行封装
流媒体简介
随着Internet 的日益普及，在网络上传输的数据已 经不再局限于文字和图形，而是逐渐向声音和视频 等多媒体格式过渡。目前在网络上传输音频/视频 （Audio/Video，简称A/V）等多媒体文件时，基本 上只有下载和流式传输两种选择。
用户私聊消息流程
用户A
服务器端 USER_PRIVATE_TEXT
用户B
SRV_PRIVAT_TEXT
用户公聊消息流程
用户A USER_BROAD_TEXT
服务器端
用户B..C...Z
SRV_BROAD_TEXT
用户下线消息流程
用户A USER_LOGOFF
服务器端
用户B..C...Z
SRV_BROAD_LOGOFF
sequence number
RTP头域（2－1）
名称 说明
版本(v) 填充标识(P) 扩展(X) CSRC计数（CC）
2位，标识RTP版本 1位，如设置填充位，在包尾将包含附加填充字， 它不属于有效载荷 1位，如设置扩展位，固定头后跟一个扩展头 4位，CSRC计数包括紧接在固定头后CSRC标识符 个数 1位，标识解释由设置定义，目的在于允许重要 事件在包流中标识出来， 7位，记录后面资料使用哪种codec，接收端找 出相应的decoder解码出来
多方聊天室服务器端模块
数据 接收 线程
消息 解包 模块
消息 处理 模块
用户 管理 模块
网络接口层
多方聊天室客户端模块划分
UI层
系统 消息 队列
用户 管理 模块
数据 接收 线程
消息 解包 模块
消息 处理 模块
网络接口层
用户登录消息流程
用户端A 服务器端 用户端B
USER_LOGIN_REQ USER_LOGIN_RES SRV_USER_LIST SRV_BROAD_USR_LOGIN
时间戳
记录了负载中第一个字节的采样时间，接收方根据 时间戳能够确定数据的到达是否受到了延迟抖动的 影响，但具体如何来补偿延迟抖动则是应用程序自 己的事情。
音频编解码类型
G7231编解码 G729编解码
G7231编解码用法
编码初始化 Init_Coder() • 编码函数 Coder(short*, char *) 解码初始化 Init_Decod() 解码函数 Decod(short*, char *, short)
服务器端广播某个用户离线
多方聊天室协议具体描述
名称 协议描述 用户名称：16 字节 登录结果：1字节 0x00: 表示登录成功 0x01: 登录失败 私聊对象用户名： 16字节 私聊内容： 1024字节以下 发言内容: 1024字节以下 用户名称: 16字节 成员个数: 4字节 成员名称：16字节(有多少个成员，就有多少个该单元) 文本内容：1024字节以下 发起方用户名： 16字节 文本内容： 1024字节以下 用户名：16字节 用户名：16字节
网际通信的前提
A机
• 通信双方 • 双方约定即协议 B机
通 信 一 方
协议
通 信 一 方
协议
为进行网络中的数据交换（通信） 而建立的规则、标准或约定。 (=语义+语法+规则)
通信中常见的协议
• • • • • • • • IP协议/ICMP协议 TCP/UDP协议 FTP协议 SMTP/POP3协议 HTTP协议 Telnet协议 ARP协议 …
流媒体传输协议
实时传输协议RTP和TRCP：RTP是用于 Internet/Intranet针对多媒体数据流的一种 传输协议。RTP被定义为在一对一或一对多传 输的情况下工作，其目的是提供时间信息和实 现流同步。RTP通常使用UDP来传送数据，但 RTP也可以在TCP或ATM等其他协议上工作。 整个RTP协议由两个密切相关的部分组成：RTP 数据协议和RTP控制协议
多方聊天室服务器端类图
CSrvLi人聊天室客户端类图
CUsrRecvThd
CMsgTranslate
CUsrManager
总结 音频编解码 RTP协议概述 对RTP协议进行封装
RTP头
0 V=2 P X CC M 1 PT timestamp synchronization source (SSRC) identifier contributing source (CSRC) identifier „„„„„„ payload(audio video) „„„„„„„ 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1