视频图像帧内编码实验

合集下载

帧动画制作实验报告(3篇)

第1篇实验名称：帧动画制作实践实验目的：1. 理解帧动画的基本原理和制作流程。

2. 掌握使用动画软件进行帧动画制作的基本技巧。

3. 培养创新思维和动手能力，提高动画设计水平。

实验时间：2023年4月15日实验地点：计算机实验室实验设备：- 计算机- 动画制作软件（如Adobe Animate、Flash等）- 图形绘制工具（如Photoshop、Illustrator等）实验内容：本次实验旨在通过制作一个简单的帧动画，了解和掌握帧动画的制作原理和步骤。

实验步骤：1. 前期准备：- 确定动画主题：本次动画主题为“蝴蝶飞舞”。

- 设计角色和场景：绘制蝴蝶的静态形象和背景场景。

2. 绘制关键帧：- 在动画软件中创建一个新的项目，设置帧率为12fps。

- 根据蝴蝶飞舞的动作，设计出一系列关键帧，包括起飞、飞行、降落等关键动作。

3. 逐帧绘制：- 在第一帧中绘制蝴蝶静止时的形象。

- 在后续帧中，逐步改变蝴蝶的位置、姿态和翅膀的形状，以模拟飞行过程中的动态变化。

- 注意保持每帧之间的连贯性和流畅性。

4. 调整动画效果：- 根据需要调整动画的帧数，以控制动画的播放速度。

- 添加音效或背景音乐，增强动画的观赏性。

5. 导出和播放：- 将制作完成的动画导出为视频格式，如MP4。

- 使用视频播放器播放动画，检查动画效果是否达到预期。

实验结果：通过本次实验，成功制作了一个简单的“蝴蝶飞舞”帧动画。

动画中蝴蝶的起飞、飞行和降落动作流畅自然，背景场景也与主题相符。

实验总结：1. 帧动画原理：帧动画是通过连续播放一系列静止图像来产生运动效果的动画形式。

人眼具有视觉暂留现象，能够感知到连续播放的静止图像之间的动态变化。

2. 制作技巧：- 关键帧设计：关键帧是动画中表现运动变化的重要图像，需要准确把握动作的转折点。

- 逐帧绘制：逐帧绘制是帧动画制作的核心，需要耐心和细致。

- 动画连贯性：保持每帧之间的连贯性和流畅性，使动画更加自然。

图像编码实验报告

图像编码实验报告图像编码实验报告一、引言图像编码是一项重要的技术，它可以将图像数据进行压缩和传输，以节省存储空间和传输带宽。

本实验旨在探究图像编码的原理和方法，并通过实验验证不同编码算法的性能和效果。

二、实验目的1. 理解图像编码的基本原理和概念；2. 掌握JPEG和PNG两种常见的图像编码算法；3. 分析和比较不同编码算法的压缩率和图像质量。

三、实验过程1. 实验环境搭建在本实验中，我们使用MATLAB软件进行图像编码实验。

首先，安装MATLAB 并导入实验所需的图像处理工具箱。

2. 图像压缩选择一张分辨率较高的彩色图像作为实验对象。

首先，使用JPEG编码算法对图像进行压缩。

在压缩过程中，可以调整压缩比例参数，观察压缩后图像的质量变化。

然后，使用PNG编码算法对同一张图像进行压缩，并比较JPEG和PNG 两种算法的压缩率和图像质量。

3. 实验结果分析根据实验结果，我们可以得出以下结论：- JPEG算法在高压缩比下会出现明显的失真，但在适当的压缩比下可以获得较好的图像质量；- PNG算法在压缩过程中不会导致明显的失真，但压缩率相对较低。

四、实验讨论1. 图像编码的原理图像编码是将图像数据转换为二进制码流的过程。

常见的图像编码方法包括无损编码和有损编码。

无损编码可以完全还原原始图像，但压缩率较低；有损编码可以获得较高的压缩率，但会引入一定的失真。

2. JPEG编码算法JPEG是一种常用的有损图像编码算法。

它采用离散余弦变换（DCT）将图像从空间域转换为频域，并通过量化和熵编码实现压缩。

JPEG算法在高频部分进行较大幅度的量化，从而实现高压缩率，但也导致了明显的失真。

3. PNG编码算法PNG是一种无损图像编码算法。

它采用预测编码和差分编码的方法，将图像数据转换为无损的二进制码流。

PNG算法在压缩过程中不引入明显的失真，但压缩率相对较低。

五、实验总结通过本次实验，我们深入了解了图像编码的原理和方法，并通过实验验证了JPEG和PNG两种编码算法的性能和效果。

基于Delaunay三角形网格的彩色视频帧内编码方法

（ｔｔｙＬａ．ｏｎｅｒｔｄＳｒｉｅＮｅｗｏｋ，ＸｉｉｎＵｎｖＳａｅＫｅｂｆＩｔｇａｅｅｖｃｔｒｓｄａｉ．，Ｘｉｎ７０７１０１，Ｃｈｎ）ａｉａ
Ａｂｔａｔｓｒｃ：ＴｈｏｒｌｔｎｂｔｅｈｕｎｎｅａｄｃｒｍｉａｃｏｏｅｔｆｃｌｒｖｄｏｉｓｕｉｄｅｃｒｅａｉｅｗｅｎｔｅｌｍｉａｃｎｈｏｎｎｅｃｍｐｎｎｓｏｏｏｉｅＳｔｄｅｏ
ａｄａｎｗｔａｆａｏｉｇｓｈｍｅｏｏｏｉｅｒｐｓｄｂｓｄｏｈｎｅｉｒ－ｒｍｅｃｄｎｃｅｆｌｒｖｄｏｉｐｏｏｅａｅｎｔｅＤＴ（ｌｕａｉｎｕａｉｎｎｃｓＤｅａｎｙＴｒａｇｌｔ）ｏ
维普资讯
２００７年８月第３４卷第４期
西安电子科技大学学报（自然科学版）
ＪＯＵＲＮＡＬＯＦＸＩＡＮＵＮＩＤＩＶＥＲＳＩＴＹ
Ａｕ．２０７ｇ０Ｖｏ．４Ｎｏ４１３．
基于Ｄｅａｎｙ三角形网格的彩色视频帧内编码方法ｌｕａ
ｍｅｈＩｈｓｓｈｍｅｈｓ．ｎｔｉｃｅ，ｔｅＤＴｍａｅｒｐｅｅｔｔｎｉｏｌｄｏｈｕｎｎｅｃｍｐｎｎｎａｔｉｇｅｒｓｎａｉｎｙｍａｅｆｒｔｅｌｍｉａｃｏｏｅｔａｄｐｒｓｏｓｍｅｈｎｄｓｏｈｕｎｎｅｃｍｐｎｎａｅｕｅＯｇｎｒｔｈｓｆｃｒｍｉａｃｏｏｅｔｓｏｅｆｔｅｌｍｉａｃｏｏｅｔＹｒｓｄｔｅｅａｅｔｅｍｅｈｏｈｏｎｎｅｃｍｐｎｎｓＣｂａｄＣｒｖａｓｍｉｒｔａｓｏｍａｉｎＳｍｕａｉｎｒｓｌｈｗｈｔｔｅｐｏｏｅｔｏａｅｌｓ０ｎｉｉｌｒｎｆｒｔ．ｉｌｔｅｕｔｓｏｔａｈｒｐｓｄｍｅｈｄｓｖｓａｍｏｔ３ａｏｏｓ

视频编解码技术使用教程(系列七)

视频编解码技术使用教程一、前言现如今，随着高速互联网的普及和移动设备的智能化，视频内容已经成为人们日常生活的重要组成部分。

为了在互联网上高效传输和存储视频内容，视频编解码技术应运而生。

视频编解码技术是视频压缩的重要手段，能够有效降低视频文件的大小，提高传输速度和存储效率。

本文将通过详细的步骤和实例，教您使用视频编解码技术进行视频处理。

二、视频编码1. 视频编码概述视频编码是指将原始视频信号通过一定的算法进行压缩编码，以便于传输和存储的过程。

编码算法主要分为有损压缩和无损压缩两种类型。

有损压缩一般用于提高传输效率和减小文件大小，而无损压缩则用于保留原始视频信号的完整性。

2. 视频编码器的选择在进行视频编码前，我们需要选择适合的视频编码器。

常见的视频编码器有、、AVC和VP9等。

选择视频编码器时需要根据实际需要考虑压缩效率、解码性能和兼容性等因素。

3. 视频编码的步骤视频编码一般包括以下几个步骤：（1）视频预处理：对原始视频进行去噪、降噪和增强等处理，提高视频质量。

（2）图像帧划分：将视频分解为多个图像帧，以便进行分析和处理。

（3）运动估计与补偿：通过对连续帧之间的运动进行估计和补偿，减少冗余信息，提高压缩效率。

（4）变换与量化：对每个图像帧进行离散余弦变换和量化，以减少数据量。

（5）熵编码：通过哈夫曼编码或算术编码对经过量化的数据进行编码，进一步减小文件大小。

三、视频解码1. 视频解码概述视频解码是指将编码后的视频文件还原为原始视频信号的过程。

解码器是用于解码视频的工具，常见的解码器有FFmpeg、MediaCodec和VideoToolbox等。

2. 视频解码的步骤视频解码一般包括以下几个步骤：（1）视频文件解析：解析视频文件的封装格式，获得视频流和音频流等媒体数据。

（2）视频解码器初始化：初始化视频解码器，并设置解码参数。

（3）解码：对视频流进行解码，将编码后的视频数据还原为原始视频信号。

（4）图像显示：将解码后的视频帧进行图像显示，呈现给用户。

视频编码与HEVC中帧内编码的简要介绍

视频编码与HEVC中帧内编码的简要介绍作者：李晨曦来源：《数码设计》2019年第09期摘要：视频编码又称视频压缩。

随着多媒体时代与网络时代的到来，用户对数字媒体的要求越发提高。

由于未经压缩的视频数据过于庞大，视频压缩技术应运而生并随着软硬件设备的迭代而逐渐进化。

本文以H.264/AVC编码器原理为基础简单介绍了视频编码的基本原理，并与新一代视频编码标准H.255/HEVC的帧内编码模块进行了比较。

关键词：视频编码;HEVC;H.264;帧内编码中图分类号：TP13;;;;; 文献标识码：A;;;;; 文章编号：1672-9129（2019）09-0056-03A brief introduction of video coding and intra coding in HEVCChenxi Li（School of Computer Science， Southwest Petroleum University， Chengdu Sichuan 610500， China）Anstract： Video coding is also known as video compression. With the advent of the multimedia and network era， users' demands for digital media have increased. Since uncompressed video content is too large， video compression technology has emerged and evolved with the iteration of hardware and software. This paper briefly introduces the basic principle of video coding and compares it with the intra-frame coding module of the new generation video coding standardH.265/HEVC.Key words： Video coding; H.264/AVC; H.265/HEVC; intra coding1; 视频压缩简介隨着多媒体时代的到来，用户对视频质量与传输速度的要求也越来越高。

一种新的用于屏幕图像编码的HEVC帧内模式

ｓｃｒｅｅｎｃｏｎｔｅｎｔｉｓｒｉｃｈｉｎｎｏｎ－ｃｏｎｔｉｎｕｏｕｓｔｏｎｅｃｏｎｔｅｎｔ，ａｎｅｗｉｎｔｒａｃｏｄｉｎｇｍｏｄｅｂａｓｅｄｏｎＨｉｇｈＥｆｉｃｆｉｅｎｃｙＶｉｄｅｏ
ｉｎａｃｅｒｔａｉｎｌｅｎｇｔｈｄｉｃｔｉｏｎａｒｙｗｉｎｄｏｗｂｙｕｓｉｎｇＨａｓｈｔａｂｌｅ．Ｗｈｅｎｄｅｃｏｄｉｎｇ，ａｃｃｏｒｄｉｎｇｔｏｔｈｅｐｉｘｅｌｓｓｔｒｉｎｇｍａｔｃｈｉｎｇ
典窗口内，利用散列表，对当前Ｃｕ内的像素，进行串搜索和匹配；解码时，根据像素串匹配的距离和匹配长度，
在重建缓存内复制相应位置像素重建当前ＣＵ像素。实验结果表明，在编码复杂度增加很少的情况下，对于典型的
屏幕图像测试序列，在全帧内（ＡｌｌＩｎｔｒａ，ＡＩ），随机接）ｋ（Ｒ￣ｄｏｍＡｃｃｅｓｓ，ＲＡ），低￣ｉｇ（Ｌｏｗ — ｄｅｌａｙＢ，ＬＢ）３种配
置下，有损编码模式比ＨＥＶＣ分别节省码率１５．１％，１２．０％，８．３％，无损编码模式分别节省码率２３．３％，１４．９％，１１．６％。关键词：高效视频编码；屏幕图像编码；字典编码；散列表
中图分类号：ＴＮ９１９．８

视频编码技术的研究及应用

视频编码技术的研究及应用随着互联网飞速发展，人们对视频信息的需求也越来越多。

视频编码技术作为实现视频信息传输的重要手段，其在视频压缩、传输和存储等方面起着至关重要的作用。

在这篇文章中，我们将探讨视频编码技术的研究和应用，并展望未来的发展趋势。

一、视频编码技术的基础原理视频编码技术的基础原理就是将视频信号转换为数字信号，然后通过压缩技术减小信号的数据量，最后进行传输和存储。

具体来说，视频编码技术通过以下几个步骤实现：1. 帧率转换。

将视频采样的连续图像转换成一系列的帧，通常每秒钟25-30帧。

2. 空间采样转换。

将视频中各个图像块采样成数字信号。

3. 量化。

将数字信号的精度减小，以达到压缩的目的。

4. 变换。

将视频信号变换至频域，以达到更好的数据压缩效果。

5. 熵编码。

利用数据编码的观念，减小视频数据的冗余程度。

二、视频编码技术的研究现状和应用1. H.264编码技术H.264编码技术是当前最流行的视频编码技术之一，它可以将原始视频信号的数据量减小80%以上，实现高清视频信号的压缩存储。

在视频传输领域，H.264码流的压缩比高，传输速率低，较好地解决了网络带宽不足的问题。

2. VP9编码技术VP9是一种开源的视频编码技术，它是Google开发的新一代视频编码格式。

与H.264相比，VP9解码更加快速，具有更好的图像质量和更小的文件大小，同时可以支持4K和8K超高清视频信号的传输。

3. 视频监控系统中的应用视频编码技术在现代视频监控系统中也起着至关重要的作用。

在视频监控系统中，采集到的视频信号需要经过编码和压缩，同时可以实现视频数据的存储和远程传输。

通常会使用H.264、H.265和VP9等编码格式。

4. 视频共享平台中的应用视频编码技术也广泛应用于各种视频共享平台，如YouTube、Netflix等。

在这些平台上，视频编码技术可以大大减小视频数据量，提高用户观看视频的体验。

同时，视频编码技术也可以支持视频的快速下载和在线播放。

自适应分割的视频点云多模式帧间编码方法

自适应分割的视频点云多模式帧间编码方法陈建 1, 2廖燕俊 1王适 2郑明魁 1, 2苏立超3摘要基于视频的点云压缩(Video based point cloud compression, V-PCC)为压缩动态点云提供了高效的解决方案, 但V-PCC 从三维到二维的投影使得三维帧间运动的相关性被破坏, 降低了帧间编码性能. 针对这一问题, 提出一种基于V-PCC 改进的自适应分割的视频点云多模式帧间编码方法, 并依此设计了一种新型动态点云帧间编码框架. 首先, 为实现更精准的块预测, 提出区域自适应分割的块匹配方法以寻找最佳匹配块; 其次, 为进一步提高帧间编码性能, 提出基于联合属性率失真优化(Rate distortion optimization, RDO)的多模式帧间编码方法, 以更好地提高预测精度和降低码率消耗. 实验结果表明, 提出的改进算法相较于V-PCC 实现了−22.57%的BD-BR (Bjontegaard delta bit rate)增益. 该算法特别适用于视频监控和视频会议等帧间变化不大的动态点云场景.关键词点云压缩, 基于视频的点云压缩, 三维帧间编码, 点云分割, 率失真优化引用格式陈建, 廖燕俊, 王适, 郑明魁, 苏立超. 自适应分割的视频点云多模式帧间编码方法. 自动化学报, 2023, 49(8):1707−1722DOI 10.16383/j.aas.c220549An Adaptive Segmentation Based Multi-mode Inter-frameCoding Method for Video Point CloudCHEN Jian 1, 2 LIAO Yan-Jun 1 WANG Kuo 2 ZHENG Ming-Kui 1, 2 SU Li-Chao 3Abstract Video based point cloud compression (V-PCC) provides an efficient solution for compressing dynamic point clouds, but the projection of V-PCC from 3D to 2D destroys the correlation of 3D inter-frame motion and re-duces the performance of inter-frame coding. To solve this problem, we proposes an adaptive segmentation based multi-mode inter-frame coding method for video point cloud to improve V-PCC, and designs a new dynamic point cloud inter-frame encoding framework. Firstly, in order to achieve more accurate block prediction, a block match-ing method based on adaptive regional segmentation is proposed to find the best matching block; Secondly, in or-der to further improve the performance of inter coding, a multi-mode inter-frame coding method based on joint at-tribute rate distortion optimization (RDO) is proposed to increase the prediction accuracy and reduce the bit rate consumption. Experimental results show that the improved algorithm proposed in this paper achieves −22.57%Bjontegaard delta bit rate (BD-BR) gain compared with V-PCC. The algorithm is especially suitable for dynamic point cloud scenes with little change between frames, such as video surveillance and video conference.Key words Point cloud compression, video-based point cloud compresion (V-PCC), 3D inter-frame coding, point cloud segmentation, rate distortion optimization (RDO)Citation Chen Jian, Liao Yan-Jun, Wang Kuo, Zheng Ming-Kui, Su Li-Chao. An adaptive segmentation based multi-mode inter-frame coding method for video point cloud. Acta Automatica Sinica , 2023, 49(8): 1707−1722点云由三维空间中一组具有几何和属性信息的点集构成, 通常依据点的疏密可划分为稀疏点云和密集点云[1]. 通过相机矩阵或高精度激光雷达采集的密集点云结合VR 头盔可在三维空间将对象或场景进行6自由度场景还原, 相较于全景视频拥有更真实的视觉体验, 在虚拟现实、增强现实和三维物体捕获领域被广泛应用[2−3]. 通过激光雷达反射光束经光电处理后收集得到的稀疏点云可生成环境地收稿日期 2022-07-05 录用日期 2022-11-29Manuscript received July 5, 2022; accepted November 29, 2022国家自然科学基金(62001117, 61902071), 福建省自然科学基金(2020J01466), 中国福建光电信息科学与技术创新实验室(闽都创新实验室) (2021ZR151), 超低延时视频编码芯片及其产业化(2020年福建省教育厅产学研专项)资助Supported by National Natural Science Foundation of China (62001117, 61902071), Fujian Natural Science Foundation (2020J01466), Fujian Science & Technology Innovation Laborat-ory for Optoelectronic Information of China (2021ZR151), and Ultra-low Latency Video Coding Chip and its Industrialization (2020 Special Project of Fujian Provincial Education Depart-ment for Industry-University Research)本文责任编委刘成林Recommended by Associate Editor LIU Cheng-Lin1. 福州大学先进制造学院泉州 3622512. 福州大学物理与信息工程学院福州 3501163. 福州大学计算机与大数据学院/软件学院福州 3501161. School of Advanced Manufacturing, Fuzhou University, Quan-zhou 3622512. College of Physics and Information Engineer-ing, Fuzhou University, Fuzhou 3501163. College of Com-puter and Data Science/College of Software, Fuzhou University,Fuzhou 350116第 49 卷第 8 期自动化学报Vol. 49, No. 82023 年 8 月ACTA AUTOMATICA SINICAAugust, 2023图, 以实现空间定位与目标检测等功能, 业已应用于自动驾驶、无人机以及智能机器人等场景[4−7]. 但相较于二维图像, 点云在存储与传输中的比特消耗显著增加[8], 以经典的8i 动态点云数据集[9]为例, 在每秒30帧时的传输码率高达180 MB/s, 因此动态点云压缩是对点云进行高效传输和处理的前提.N ×N ×N 3×3×3为了实现高效的动态点云压缩, 近年来, 一些工作首先在三维上进行帧间运动估计与补偿, 以充分利用不同帧之间的时间相关性. 其中, Kammerl 等[10]首先提出通过构建八叉树对相邻帧进行帧间差异编码, 实现了相较于八叉树帧内编码方法的性能提升; Thanou 等[11]则提出将点云帧经过八叉树划分后, 利用谱图小波变换将三维上的帧间运动估计转换为连续图之间的特征匹配问题. 然而, 上述方法对帧间像素的运动矢量估计不够准确. 为了实现更精确的运动矢量估计, Queiroz 等[12]提出一种基于运动补偿的动态点云编码器, 将点云体素化后进行块划分, 依据块相关性确定帧内与帧间编码模式, 对帧间编码块使用提出的平移运动模型改善预测误差; Mekuria 等[13]则提出将点云均匀分割为的块, 之后将帧间对应块使用迭代最近点(Iterative closest point, ICP)[14]进行运动估计,以进一步提高帧间预测精度; Santos 等[15]提出使用类似于2D 视频编码器的N 步搜索算法(N-step search, NSS), 在的三维块区域中迭代寻找帧间对应块, 而后通过配准实现帧间编码. 然而,上述方法实现的块分割破坏了块间运动相关性, 帧间压缩性能没有显著提升.为了进一步提高动态点云压缩性能, 一些工作通过将三维点云投影到二维平面后组成二维视频序列, 而后利用二维视频编码器中成熟的运动预测与补偿算法, 实现三维点云帧间预测. 其中, Lasserre 等[16]提出基于八叉树的方法将三维点云投影至二维平面, 之后用二维视频编码器进行帧间编码; Bud-agavi 等[17]则通过对三维上的点进行二维平面上的排序, 组成二维视频序列后利用高效视频编码器(High efficiency video coding, HEVC)进行编码.上述方法在三维到二维投影的过程中破坏了三维点间联系, 重构质量并不理想. 为改善投影后的点间联系, Schwarz 等[18]通过法线将点映射于圆柱体上确保点间联系, 对圆柱面展开图使用二维视频编码以提高性能. 但在圆柱上的投影使得部分点因遮挡丢失, 影响重构精度. 为尽可能保留投影点数, Mam-mou 等[19]根据点云法线方向与点间距离的位置关系, 将点云划分为若干Patch, 通过对Patch 进行二维平面的排列以减少点数损失, 进一步提高了重构质量.基于Patch 投影后使用2D 视频编码器进行编码, 以实现二维上的帧间运动预测与补偿的思路取得了最优的性能, 被运动图像专家组(Moving pic-ture experts group, MPEG)正在进行的基于视频的点云压缩(Video-based point cloud compres-sion, V-PCC)标准[20]所采纳, 但将Patch 从三维到二维的投影导致三维运动信息无法被有效利用, 使得帧间压缩性能提升受到限制. 针对这一问题, 一些工作尝试在V-PCC 基础上实现三维帧间预测,其中, Li 等[21]提出了一种三维到二维的运动模型,利用V-PCC 中的几何与辅助信息推导二维运动矢量以实现帧间压缩性能改善, 但通过二维推导得到的三维运动信息并不完整, 导致运动估计不够准确.Kim 等[22]提出通过点云帧间差值确定帧内帧与预测帧, 帧内帧用V-PCC 进行帧内编码, 预测帧依据前帧点云进行运动估计后对残差进行编码以实现运动补偿, 但残差编码依旧消耗大量比特. 上述方法均在V-PCC 基础上实现了三维点云的帧间预测,但无论是基于二维的三维运动推导还是帧间残差的编码, 性能改善都比较有限.在本文的工作中, 首先, 为了改善三维上实现运动估计与补偿中, 块分割可能导致的运动相关性被破坏的问题, 本文引入了KD 树(K-dimension tree,KD Tree)思想, 通过迭代进行逐层深入的匹配块分割, 并定义分割块匹配度函数以自适应确定分割的迭代截止深度, 进而实现了更精准的运动块搜索;另外, 针对V-PCC 中二维投影导致三维运动信息无法被有效利用的问题, 本文提出在三维上通过匹配块的几何与颜色两种属性进行相似性判别, 并设计率失真优化(Rate distortion optimization, RDO)模型对匹配块分类后进行多模式的帧间编码, 实现了帧间预测性能的进一步改善. 实验表明, 本文提出的自适应分割的视频点云多模式帧间编码方法在与最新的V-PCC 测试软件和相关文献的方法对比中均取得了BD-BR (Bjontegaard delta bit rate)的负增益. 本文的主要贡献如下:1)提出了针对动态点云的新型三维帧间编码框架, 通过自动编码模式判定、区域自适应分割、联合属性率失真优化的多模式帧间编码、结合V-PCC 实现了帧间编码性能的提升;2)提出了一种区域自适应分割的块匹配方法,以寻找帧间预测的最佳匹配块, 从而改善了均匀分割和传统分割算法导致运动相关性被破坏的问题;3)提出了一种基于联合属性率失真优化模型的多模式帧间编码方法, 在改善预测精度的同时显著减少了帧间编码比特.1 基于视频的点云压缩及其问题分析本文所提出的算法主要在V-PCC 基础上进行1708自动化学报49 卷三维帧间预测改进, 因此本节对V-PCC 的主要技术做简要介绍, 并分析其不足之处. 其中, V-PCC 编码框架如图1所示.图 1 V-PCC 编码器框架Fig. 1 V-PCC encoder diagram首先, V-PCC 计算3D 点云中每个点的法线以确定最适合的投影面, 进而将点云分割为多个Patch [23].接着, 依据对应Patch 的位置信息, 将其在二维平面上进行紧凑排列以完成对Patch 的打包. 之后,依据打包结果在二维上生成对应的图像, 并使用了几何图、属性图和占用图分别表示各点的坐标、颜色及占用信息. 鉴于Patch 在二维的排列不可避免地存在空像素点, 因此需要占用图表示像素点的占用与否[24]; 由于三维到二维的投影会丢失一个维度坐标信息, 因此使用几何图将该信息用深度形式进行表示; 为了实现动态点云的可视化, 还需要一个属性图用于表示投影点的颜色属性信息. 最后, 为了提高视频编码器的压缩性能, 对属性图和几何图的空像素进行了填充和平滑处理以减少高频分量; 同时, 为了缓解重构点云在Patch 边界可能存在的重叠或伪影, 对重构点云进行几何和属性上的平滑滤波处理[25]. 通过上述步骤得到二维视频序列后, 引入二维视频编码器(如HEVC)对视频序列进行编码.V-PCC 将动态点云帧进行二维投影后, 利用成熟的二维视频编码技术实现了动态点云压缩性能的提升. 但是, V-PCC 投影过程将连续的三维物体分割为多个二维子块, 丢失了三维上的运动信息,使得三维动态点云中存在的时间冗余无法被有效利用. 为了直观展示投影过程导致的运动信息丢失,图2以Longdress 数据集为例, 展示了第1 053和第1 054两相邻帧使用V-PCC 投影得到的属性图.观察图2可以发现, 部分在三维上高度相似的区域,如图中标记位置1、2与3所对应Patch, 经二维投影后呈现出完全不同的分布, 该结果使得二维视频编码器中帧间预测效果受到限制, 不利于压缩性能的进一步提升.2 改进的动态点云三维帧间编码为了在V-PCC 基础上进一步降低动态点云的时间冗余性, 在三维上进行帧间预测和补偿以最小化帧间误差, 本文提出了一个在V-PCC 基础上改进的针对动态点云的三维帧间编码框架, 如图3所示. 下面对该框架基本流程进行介绍.首先, 在编码端, 我们将输入的点云序列通过模块(a)进行编码模式判定, 以划分帧内帧与预测帧. 其思想与二维视频编码器类似, 将动态点云划分为多组具有运动相似性的图像组(Group of pic-tures, GOP)以分别进行编码. 其中图像组中的第一帧为帧内帧, 后续帧均为预测帧, 帧内帧直接通过V-PCC 进行帧内编码; 预测帧则通过帧间预测方式进行编码. 合理的GOP 划分表明当前图像组内各相邻帧均具有较高运动相关性, 因此可最优化匹配块预测效果以减少直接编码比特消耗, 进而提高整体帧间编码性能. 受文献[22]启发, 本文通过对当前帧与上一帧参考点云进行几何相似度判定,以确定当前帧的编码方式进行灵活的图像组划分.如式(1)所示.Longdress 第 1 053 帧三维示例Longdress 第 1 054 帧三维示例Longdress 第 1 053 帧 V-PCC投影属性图Longdress 第 1 054 帧 V-PCC投影属性图11223图 2 V-PCC 从三维到二维投影(属性图)Fig. 2 V-PCC projection from 3D to2D (Attribute map)8 期陈建等: 自适应分割的视频点云多模式帧间编码方法1709cur ref E Gcur,ref Ωmode mode E O R 其中, 为当前帧点云, 为前帧参考点云, 表示两相邻帧点云的几何偏差, 为编码模式判定阈值. 当值为1时表示当前帧差异较大, 应当进行帧内模式编码; 当值为0时则表示两帧具有较大相似性, 应当进行帧间模式编码. 另外, 在动态点云重构误差的计算中, 使用原始点云中各点与重构点云在几何和属性上的误差均值表示, 即式(2)所示.N O O (i )R (i ′)i i ′E O,R O R 其中, 为原始点云点数, 和分别表示原始点云第点与对应重构点云点的几何或属性值, 即为原始点云与重构点云间误差值.N ×N ×N K 接着, 在进行帧间编码模式判断后, 通过模块(b)进行预测帧的区域自适应块分割. 块分割的目的在于寻找具有帧间运动一致性的匹配块以进行运动预测和补偿. 不同于等分或均值聚类, 所提出的基于KD 树思想的区域自适应块匹配从点云质心、包围盒和点数三个角度, 判断分割块的帧间运动程度以进行分割深度的自适应判定,最终实现最佳匹配块搜索.之后, 对于分割得到的匹配块, 通过模块(c)进行基于联合属性率失真优化的帧间预测. 在该模块中, 我们通过帧间块的几何与颜色属性联合差异度,结合率失真优化模型对匹配块进行分类, 分为几乎无差异的完全近似块(Absolute similar block, ASB)、差异较少的相对近似块(Relative similar block,RSB)以及存在较大差异的非近似块(Non similar block, NSB). 完全近似块认为帧间误差可忽略不计, 仅需记录参考块的位置信息; 而相对近似块则表示存在一定帧间误差, 但可通过ICP 配准和属性补偿来改善几何与属性预测误差, 因此除了块位置信息, 还需记录预测与补偿信息; 而对于非近似块,则认为无法实现有效的帧间预测, 因此通过融合后使用帧内编码器进行编码.最后, 在完成帧间模式分类后, 为了在编码端进行当前帧的重构以作为下一帧匹配块搜索的参考帧, 通过模块(d)对相对近似块进行几何预测与属性补偿, 而后将几何预测与属性补偿后的相对近似块、完全近似块、非近似块进行融合得到重构帧. 为了在解码端实现帧间重构, 首先需要组合预测帧中的所有非近似块, 经由模块(e)的V-PCC 编码器进行帧内编码, 并且, 还需要对完全近似块的位置信息、相对近似块的位置与预测补偿信息通过模块(f)进行熵编码以实现完整的帧间编码流程.至此, 整体框架流程介绍完毕, 在接下来的第3节与第4节中, 我们将对本文提出的区域自适应分割的块匹配算法与联合属性率失真优化的多模式帧间编码方法进行更为详细的介绍, 并在第5节通过实验分析进行算法性能测试.3 区域自适应分割的块匹配N B j cur j ref j ∆E cur j ,ref j 相较于二维视频序列, 动态点云存在大量空像素区域, 帧间点数也往往不同. 因此, 对一定区域内的点集进行帧间运动估计时, 如何准确找到匹配的邻帧点集是一个难点. 假设对当前帧进行帧间预测时共分割为个子点云块, 第块子点云与其对应参考帧匹配块间存在几何与属性综合误差 . 由于重构的预测帧实质上是通过组合相应的参考帧匹配块而估计得到的, 因此精准的帧间块匹配尝试最小化每个分割块的估计误差,以提高预测帧整体预测精度, 如式(3)所示:图 3 改进的三维帧间编码框架Fig. 3 Improved 3D inter-frame coding framework1710自动化学报49 卷K K N N ×N ×N 为了充分利用帧间相关性以降低时间冗余, 一些工作尝试对点云进行分割后寻找最佳匹配块以实现帧间预测. Mekuria 等[13]将动态点云划分为若干个大小相同的宏块, 依据帧间块点数和颜色进行相似性判断, 对相似块使用迭代最近点算法计算刚性变换矩阵以实现帧间预测. 然而, 当区域分割得到的对应匹配块间存在较大偏差时, 预测效果不佳.为了减少匹配块误差以提高预测精度, Xu 等[26]提出使用均值聚类将点云分为多个簇, 在几何上通过ICP 实现运动预测, 在属性上则使用基于图傅里叶变换的模型进行运动矢量估计. 但基于均值聚类的点云簇分割仅在预测帧中进行, 没有考虑帧间块运动相关性, 匹配精度提升受到限制. 为了进一步提高匹配精度, Santos 等[15]受到二维视频编码器中步搜索算法的启发, 提出了一种3D-NSS 方法实现三维上的匹配块搜索, 将点云分割为的宏块后进行3D-NSS 以搜索最优匹配块, 而后通过ICP 进行帧间预测.K 上述分割方法均实现了有效的块匹配, 但是,基于宏块的均匀块分割与基于传统均值聚类的块划分均没有考虑分割块间可能存在的运动连续性, 在分割上不够灵活. 具体表现为分割块过大无法保证块间匹配性, 过小又往往导致已经具有运动连续性的预测块被过度细化, 出现相同运动预测信息的冗余编码. 为了避免上述问题, 本文引入KD 树思想, 提出了一种区域自适应分割算法, 该算法通过迭代进行逐层深入的二分类划分, 对各分割深度下块的运动性质与匹配程度进行分析, 确定是否需要继续分割以实现精准运动块匹配. 算法基本思想如图4所示, 若满足分割条件则继续进行二分类划分, 否则停止分割.Ψ(l,n )其中, 准确判断当前分割区域是否满足运动连续性条件下的帧间运动, 是避免过度分割以实现精准的运动块搜索的关键, 本文通过定义分割块匹配函数来确定截止深度, 如式(4)所示:ρ(n )=max [sign (n −N D ),0]n N D ρ(n )=1ξ(l )l 其中, 为点数判定函数,当点数大于最小分割块点数阈值时, ,表示满足深入分割的最小点数要求, 否则强制截止; 为当前深度下的块运动偏移度, 通过衡量匹配块间的运动变化分析是否需要进一步分割.ξξw ξu 提出的函数分别通过帧间质心偏移度估计匹配块间运动幅度, 帧间包围盒偏移度进行匹ξn ξw ξu ξn T l ξ(l )配块间几何运动一致性判定, 点数偏移度进行点云分布密度验证, 最后通过、与累加值与分割截止阈值的比值来整体衡量当前块的运动程度与一致性. 即对于当前分割深度 , 可进一步细化为式(5):其中,w cur w ref u cur u ref n cur n ref l P Max P Min 并且, 、、、、与分别表示当前分割深度下该区域与其前帧对应区域的质心、包围盒与点数,和分别为当前块对角线对应点.ρ(n )=1ξ(l)lξξξξ在的前提下,值反映当前KD 树分割深度下该区域点云的帧间运动情况.值越大帧间运动越显著,当值大于1时,需对运动块进行帧间运动补偿,如果继续分割将导致块的运动一致性被破坏或帧间对应块无法实现有效匹配,从而导致帧间预测失败;值越小说明当前区域点云整体运动变化越小,当值小于1时,需进一步分割寻找可能存在的运动区域.l +1d 对于需要进一步分割的点云块,为了尽可能均匀分割以避免分割后匹配块间误差过大, 将待分割匹配块质心均值作为分割点, 通过以包围盒最长边作为分割面来确定深度下的分割轴 , 分割轴l = 0l = 1l = 2l = m l = m + 1条件满足, 继续分割条件不满足, 停止分割图 4 区域自适应分割块匹配方法示意图Fig. 4 Schematic diagram of region adaptive segmentation based block matching method8 期陈建等: 自适应分割的视频点云多模式帧间编码方法1711如式(6)所示:Edge d,max Edge d,min d 其中, 和分别为待分割块在维度的最大值和最小值.总结上文所述, 我们将提出的区域自适应分割的块匹配算法归纳为算法1. 算法 1. 区域自适应分割的块匹配cur ref 输入. 当前帧点云与前帧参考点云输出. 当前帧与参考帧对应匹配块j =1N B 1) For to Do l =02) 初始化分割深度 ;3) Docur j ref j 4) 选取待分割块和对应待匹配块 ;w u n 5) 计算质心、包围盒与块点数 ;ξ(l )6) 根据式(5)计算运动块偏移度 ;ρ(n )7) 根据函数判定当前分割块点数;Ψ(l,n )8) 根据式(4)计算分割块匹配函数 ;Ψ(l,n )9) If 满足匹配块分割条件:d 10) 根据式(6)确定分割轴 ;cur j ref j 11) 对与进行分割;12) 保存分割结果;l +113) 分割深度 ;Ψ(l,n )14) Else 不满足匹配块分割条件:15) 块分割截止;16) 保存匹配块;17) End of if18) While 所有块均满足截止条件;19) End of for图5展示了本文提出的区域自适应分割的块匹配算法对帧Longdress_0536和其参考帧Longdress_0535进行分割后的块匹配结果. 在该序列当前帧下, 人物进行上半身的侧身动作. 观察图5可发现,在运动变化较大的人物上半身, 算法在寻找到较大的对应匹配块后即不再分割; 而人物下半身运动平缓, 算法自适应提高分割深度以实现帧间匹配块的精确搜索, 因而下半身的分块数目大于上半身.4 联合属性率失真优化的多模式帧间编码P Q在动态点云的帧间编码中, 常对相邻帧进行块分割或聚类后依据匹配块相似性实现帧间预测, 并利用补偿算法减少预测块误差以改善帧间编码质量. 其中迭代最近点算法常用于帧间运动估计中,其通过迭代更新待配准点云相较于目标点云 S t E (S,t )间的旋转矩阵和平移向量 , 进而实现误差最小化, 如式(7)所示:N p p i P i q i ′Q p i 其中为待配准点云点数, 为待配准点云的第个点, 为目标点云中与相对应的点.但是, 完全依据ICP 配准进行动态点云的三维帧间预测存在两个问题: 首先, ICP 仅在预测块上逼近几何误差的最小化而没考虑到颜色属性偏差引起的匹配块差异, 影响了整体预测精度; 其次, 从率失真角度分析, 对运动变化极小的匹配块进行ICP 配准实现的运动估计是非必要的, 该操作很难改善失真且会增加帧间编码比特消耗.为改善上述问题, 提出了联合属性率失真优化的多模式帧间编码方法. 提出的方法首先在确保几何预测精度的同时, 充分考虑了可能的属性变化导致的预测精度下降问题, 而后通过率失真优化模型,对块依据率失真代价函数得到的最优解进行分类后, 应用不同的编码策略以优化帧间编码方案, 旨在有限的码率约束下最小化编码失真, 即式(8)所示:R j D j j N B R C λ其中, 和分别表示第个点云块的编码码率和对应的失真; 是当前帧编码块总数; 表示总码率预算.引入拉格朗日乘子 ,式(8)所示的带约束优化问题可以转换为无约束的最优化问题, 即式(9)所示:当前帧分割可视化当前帧分割效果参考帧分割效果图 5 区域自适应分割的块匹配方法分割示例Fig. 5 Example of block matching method based onadaptive regional segmentation1712自动化学报49 卷。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

实验一、视频图像帧内编码实验
一实验目的
1.了解多媒体通信中图像压缩技术
2.熟悉视频帧内压缩编码过程
3.掌握二维DCT变换算法
二实验原理
视频帧内编码有多种模式，最基本的是基于8×8块的DCT顺序编码，将一帧图像分为8×8的块，然后按照从左至右、自上而下的顺序，对块进行DCT、量化和熵编码。

其编、解码框图如下：
图1 基于DCT的顺序编码框图
DCT解码器
图2 基于DCT的顺序解压缩框图
视频帧内压缩编码算法的主要步骤：
1)正向离散余弦变换(DCT)。

2)量化(quantization)。

3)Z字形扫描(zigzag scan)。

4)使用差分脉冲编码调制(differential pulse code modulation，
DPCM)对直流系数(DC)进行编码。

5)使用行程长度编码(run-length encoding，RLE)对交流系数(AC)
进行编码。

6)熵编码(entropy coding)。

三实验过程
实验利用MATLAB仿真软件来实现
程序：I=imread('D:\p_large_iUNl_627c0001a3192d12.bmp')
figure(1),imshow(I);
title('原图像')
I=rgb2gray(I); %将真彩色RGB图像转换成灰度图像
figure(11),imshow(I);
title('灰度图像')
I=im2double(I);% double(I)是将I变成double类型的。

im2double(I)是将图象变成double类型的再归一化，比如对于8比特图象，就是将原来像素值除以255。

fun_1=@dct2;
A_1=blkproc(I,[8 8],fun_1);
figure(2),imshow(A_1);
title('离散余弦变换后的图像')
T=[0.3536 0.3536 0.3536 0.3536 0.3536 0.3536 0.3536 0.3536
0.4904 0.4157 0.2778 0.0975 -0.0975 -0.2778 -0.4157 -0.4904
0.4619 0.1913 -0.1913 -0.4619 -0.4619 -0.1913 0.1913 0.4619
0.4157 -0.0975 -0.4904 -0.2778 0.2778 0.4904 0.0975 -0.4157
0.3536 -0.3536 -0.3536 0.3536 0.3536 -0.3536 -0.3536 0.3536
0.2778 -0.4904 0.0975 0.4157 -0.4157 -0.0975 0.4904 -0.2778
0.1913 -0.4619 0.4619 -0.1913 -0.1913 0.4619 -0.4619 0.1913
0.0975 -0.2778 0.4157 -0.4904 0.4904 -0.4157 0.2778 -0.0975]
A_2=blkproc(A_1,[8 8],'x./P1',T);
figure(3),imshow(A_2);
title('量化后的图像')
A_3=blkproc(A_2,[8 8],'x.*P1',T);
figure(4),imshow(A_3);
title('逆量化后的图像')
fun_2=@idct2;
I_2=blkproc(A_3,[8 8],fun_2);
figure(5),imshow(I_2);
title('对逆量化的进行逆离散余弦变换');
E=I-I_2;
figure(6),imshow(E),colormap(hot);
title('误差图像')
B=blkproc(I,[8,8],'P1*x*P2',T,T')
%计算二维DCT，矩阵T及其转置是DCT函数P1*X*P2的参数
mask=[1 1 1 1 0 0 0 0
1 1 1 0 0 0 0 0
1 1 0 0 0 0 0 0
1 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 ]
%二值掩模，用来压缩DCT系数，只留下DCT系数中左上角的10个B2=blkproc(B,[8 8],'P1.*x',mask) %只保留DCT变换的10个系数
I2=blkproc(B2,[8 8],'P1*x*P2',T',T) %重构图像
figure
imshow(I2);
title('压缩图像');
inf1=imfinfo('D:\untitled.bmp') %显示图像信息
inf=imfinfo('D:\p_large_iUNl_627c0001a3192d12.bmp') %显示图像信息面的高度
其仿真结果如下：
1.输入图像
2. DCT变换后的频域图像
3、8×8的DCT变换后图像
4.压缩后的图像
5、误差图像
四、实验小结
DCT 将原始图像信息块转换成代表不同频率分量的系数集，这有两个优点：其一，信号常将其能量的大部分集中于频率域的一个小范围内，这样一来，描述不重要的分量只需要很少的比特数；其二，频率域分解映射了人类视觉系统的处理过程，并允许
后继的量化过程满足其灵敏度的要求。