调试视频服务器过程中的一些思路

调试视频服务器过种中的一些思路和心得

曹俊杰

七月中旬我们在定边采油六厂产能建设项目组实施一个视频监控工程，主要施工内容为产建办公楼一楼、二楼安装共计四个摄像机，员工餐厅安装五个摄像机，通过一台NVR将员工餐厅摄像头的画面传输到餐厅里的液晶电视上，另外在产建大门电线杆上又安装了一个高清枪机，共计十个新装摄像机。按照规划，在产建门岗房前配备一台带磁盘阵列的视频服务器，将所有的新装摄像机和原产建老的监控摄像机，共计二十六路，都集中到一起录像，并将视频服务器上的监控软件也安装到门卫室的电脑上，方便观看各路画面。

工程实施过程很顺利，直到监控软件在视频服务器上出问题后，问题来了，只要软件一运行，内存占用就会非常高，而且还在不断增加，很快就会因为内存占满而崩溃。视频服务器配置为I7处理器，4G内存，WIN7 64位系统。首先开始怀疑物理内存是不是太小，满足不了软件运行需求，但参照产建旁边的六厂厂区，集中了十路网络摄像机画面的电脑表现来看，并没有内存连续增加的情况，内存占用稳定在1G上下，因此初步排除物理内存不足，开始从软件方面着手测试解决。

测试方案1：在视频服务器上只添加产建原有的老式22101端口摄像机，运行24小时，无内存连续增加及迅速崩溃现象，软件运行正常，录像正常。

测试方案2：在视频服务器上只添加新装的十个高清网络摄像机，运行数分钟后还是因为内存占用持续上升最终因占满而崩溃。

经过这轮测试，问题范围就缩小到新装的十个网络摄像机身上，这十个摄像机6个是130万像素，4个200万像素的，比原来的摄像头都高得多。经过与厂家沟通及查询相关资料，得知网络摄像机录像和播放画面的码率与内存占用有一定的关系，于是开始着手设置摄像头的码率，并开始第二次测试。

测试方案3：将所有新装摄像头的码率由1024KBPS调低至256KBPS，画面帧数由1080P 调低至720P，运行24小时观察，发现软件内存占用还是在缓慢持续地上涨，最终还是因为内存占满而崩溃，只不过时间由原来的数分钟延长到现在的数小时。

我们将测试结果反馈给厂家，厂家答复可能是由于视频服务器上集中的摄像机过多导致内存占用过高，但根据我们的观察，六厂厂区也是网络摄像机，数量虽然仅为10路，但电脑配置非常低，硬盘容量也特别小，硬盘空间常满，但运行时内存和CPU占用非常稳定，而且上面的监控软件也和视频服务器上的一样，只不过版本较老。于是决定将厂区值班室内的老版视频软件复制到视频服务器和产建值班室电脑上，软件配置调整成一样的，所有摄像机图像全开，做对比测试：

测试方案4：将老版监控软件分别安装到产建值班室电脑（XP，32位系统）和视频服务器（WIN7，64位系统）上，所有监控画面全开，软件设置相同，运行24小时。

值班室电脑软件运行正常，内存占用稳定在1.5G，没有崩溃，录像正常。

视频服务器软件再次崩溃，崩溃时内存占用仍为3G以上，问题依然没有解决。

现在问题范围缩小到两个方向：软件方向和系统（XP32位和WIN764位）方向。因此

我们也同时从这两个方向入手，寻找解决措施。

软件方向，和软件供应商密切联系，通过让工程师远程查看视频服务器及在软件崩溃后保留现场让其远程抓取出错信息的方式，定位问题所在，针对64位系统对软件做优化和更新；系统方向，又找来一台WIN7 32位系统的台式机接在交换机上，三台电脑同时开始新一轮测试。

测试方案5：产建值班室电脑（XP 32位）、视频服务器（WIN7 64位），新增台式机（WIN7 32位），同时运行工程师修改过的最新版本监控软件，所有窗口全开，录像全开，软件设置相同，测试时间为36小时。

产建值班室电脑软件运行正常，内存占用稳定为1.5G，录像功能正常；

视频服务器电脑软件频繁卡死，无响应，但内存稳定在1.3G左右，卡死后录像功能不正常，要么生成长达数小时的单录像文件（默认情况下每个录像长度为十分钟），要么就根本无录像；

WIN7 32位台式机软件运行正常，内存占用在2.5G-2.8G，录像功能正常。

经过这一轮测试，问题集中在系统上，我们将此结果反馈给工程师，准备给视频服务器重装系统，但因为服务器上的WIN7是要加载磁盘阵列的，为谨慎起见，特地和厂家联系要来了该磁盘阵列在WIN7中的驱动及做好相关备份后，着手开始重装，和普通电脑装系统的过程一样，装完之后打上RAID驱动，再给磁盘阵列分配盘符，像普通硬盘一样格式化一下，阵列就加载到系统中了，紧接着我们就开始了新的测试。

测试方案6：产建值班室电脑（XP 32位）、视频服务器（WIN7 32位），新增台式机（WIN7 32位），同时运行工程师修改过的最新版本监控软件，所有窗口全开，录像全开，软件设置相同，测试时间为24小时。

产建值班室电脑软件运行正常，内存占用稳定为1.5G，录像功能正常；

视频服务器电脑软件运行正常，内存占用稳定为1.3G，录像功能正常；

WIN7 32位台式机软件运行正常，内存占用在2.5G-2.8G，录像功能正常。

自这一轮测试到现在，视频服务器软件依然在持续运行，崩溃现象未复现，但为了更稳妥起见，软件和监控系统还要继续试运行一段时间，以确保完全达到验收标准，对这一段时间以来的反复尝试和测试过程，总结几点心得体会如下：

1、问题出现以后，对问题所在的软硬件环境做一个详细的了解和观察，是非常有必要的，在上面的例子中，如果单纯只把注意力集中在软件崩溃、卡死的表现现象上，而没有注意到内存占用的异常和系统之间的区别，解决问题就会多走很多弯路，花更多的时间；

2、不要把思路局限在一台电脑上，多台不同系统电脑运行同一软件作对比是一个非常有效的方法，一方面多机测试排除了个别硬件问题的存在，另一方面也更快地找到差异，找到解决问题的突破口；

3、多思考，多观察，多分析，供应商的技术支持不是全知全能的，他们提出的方案也未必就是解决问题的金科玉律，除了要积极配合他们的动作，也要有自己的思考和分析，就像这次解决问题的过程中，对方工程师提出的摄像机数量过多导致内存占用过大，以及几台电脑同时运行监控软件，会达到摄像头“访问路数限制”导致录像不正常等看法，我们经过