基于单幅图像的交互式建模技术研究

一种基于单目相机的人脸实时交互动画的实现方法

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910839412.7(22)申请日 2019.09.03(71)申请人电子科技大学地址 611731 四川省成都市高新区（西区）西源大道2006号(72)发明人谢宁　杨心如　申恒涛　(74)专利代理机构成都希盛知识产权代理有限公司 51226代理人陈泽斌(51)Int.Cl.G06T 13/20(2011.01)(54)发明名称一种基于单目相机的人脸实时交互动画的实现方法(57)摘要本发明涉及三维角色动画技术，其公开了一种基于单目相机的人脸实时交互动画的实现方法，通过融合人脸表情捕捉和语音情感识别技术，生成动画参数，并通过基于骨骼的技术来实时合成可视化的动态皮肤变形动画，使得生成的实时动画的表情更加具有丰富性、自然性，真实感，更具备自身特色。

该方法可以概括为：捕获人脸视频图像和语音输入信息，提取人脸表情动画参数和语音情感动画参数；通过动作状态空间模型学习由骨骼运动和相应的皮肤变形组成的训练序列，建立基于辅助骨控制器的虚拟角色骨骼蒙皮模型，通过提取的人脸表情动画参数和语音情感动画参数驱动所述虚拟角色骨骼蒙皮模型，生成实时交互动画。

权利要求书2页说明书7页附图3页CN 110599573 A 2019.12.20C N 110599573A1.一种基于单目相机的人脸实时交互动画的实现方法，其特征在于，包括以下步骤：S1、通过单目相机捕获人脸视频图像，获取人脸图像序列；同时通过语音传感器捕获语音输入信息；S2、在人脸图像序列中标记人脸特征点，并提取人脸表情动画参数；S3、在捕获的语音输入信息中提取语音特征，并提取语音情感动画参数；S4、通过动作状态空间模型学习由骨骼运动和相应的皮肤变形组成的训练序列，建立基于辅助骨控制器的虚拟角色骨骼蒙皮模型，通过提取的人脸表情动画参数和语音情感动画参数驱动所述虚拟角色骨骼蒙皮模型，生成实时交互动画。

基于单幅图像的建筑物建模方法

Ｓｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＶｉｓｉｏｎ科技视界科技・探索・争鸣
基于单幅图像的建筑物建模方法
郭美莉向南平（中南大学校本部，湖南长沙４１００８３）
【摘要】针对建筑物模型的规则性问题，本文用基于灭点的相机的标定方法对建筑物的图像进行三维的恢复。改进和拓展先前的利用几何信息对建筑物进行建模的三维重建方法。把原有的基于单张图像对建筑物建模只能局限于相似于平行六面体的建筑物．拓展到对含有三角立方体元素的建筑物进行恢复实验结果表明该方法比传统方法做的建筑物模型更加丰富．计算方法更简单。具有一定的现实借鉴意义【关键词】三维重建；透视投影；单幅图像
ｓｉｏｎｌａｒｅｃｏｖｅｒｙ．ＩｍｐｒｏｖｅａｎｄｅｘｐａｎｄｔＩ１ｅｕｓｅｏｆｇｅｏｍｅｔｉｃｒｉｎｆｏｒｍａｔｉｏｎｅａｒｌｉｅｒｂｕｉｌｄｉｎｇｓｍｏｄｅｌｉｎｇｔｈｒｅｅ— ｄｉｍｅｎｓｉｏｎａｌｒｅｃｏｎｓｔｒｕｃｔｉｏｎｍｅｔｈｏｄ．ｓｉｍｉｌａｒｔｏｔｈｅｏｒｉｇｉｎａｌｓｉｎｇｌｅｉｍａｇｅｃａｎｏｎｌｙｂｅｌｉｍｉｔｅｄｔｏｔｈｅｂｕｉｌｄｉｎｇｍｏｄｅｌｉｎｇｂｕｉｌｄｉｎｇｓｐｒａａｌｌｅｌｅｐｉｐｅｄｅｘｐａｎｄｔｏｃｏｎｔａｉｎｔｉａｒｎｇｕｌａｒｃｕｂｅｔｈｅｅｌｅｍｅｎｔｓｏｆｔｈｅｂｕｉｌｄｉｎｇｆｏｒｒｅｃｏｖｅｒｙ．Ｔｈｅｅｘｐｅｉｍｅｒｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｉｓｍｅｔｈｏｄｔｈａｎｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｓｏｆｂｕｉｌｄｉｎｇｍｏｄｅｌｉｓｉｃｒｈｅｒ，ｔｈｅｃｌｃａｕｌａｔｉｏｎｍｅｔｈｏｄｉｓｍｏｒｅｓｉｍｐｌｅ．ｔｈｅｒｅａｌｉｔｙＳｉｇｎｉｉｃｆａｎｃｅ．

Real-Time Human Pose Recognition in Parts from Single Depth Images中文翻译

Real-Time Human Pose Recognition in Parts from Single Depth Images 基于单深度特征图像的实时人体姿态识别摘要：我们提出了一种能够迅速精确地预测人体关节3D位置的新方法，这种方法仅需要单幅深度图像，无需使用时间信息。

我们采用了一种实物识别方案，并设计了一种人体组成中间模型，这种模型能够把高难度的姿势统计问题转化为更简单的像素分类问题。

我们大量、多种多样的训练数据库允许分类器能够估计出身体部位而不受姿势、身体形状和着装等的影响。

最后，我们提出了一种基于人体多个关节的3D检测可信方案，该方案通过重新投影分类结果并建立本地模型。

系统在消费者硬件上以200帧每秒的速度工作。

无论是合成的抑或真实的测试设置，我们的评价体系中多个训练参数都表明极高的精度。

在与相关研究的比较中我们达到了极高的精度要求，并且改进了整个人体骨架相邻匹配的精确度。

1.简介强大的交互式人体跟踪应用有游戏、人机交互、安全、远程呈现甚至健康监护。

随着实时深度相机的出现，这项任务被大大地简化[16,19,44,37,28,13]。

然而，即便是当前最好的系统仍然存在局限性。

尤其是在Kinect发布之前，并没有一款互动式的消费级别的硬件能够处理大范围的人体形状和尺寸[21]。

也有一些系统能够通过追踪一帧帧图案来达到高速度，但是快速初始化的努力却不够强大。

在本论文中，我们集中于姿势识别的研究：通过对单幅深度图像的检测识别出每个骨骼关节的3D位置。

我们对每帧图像的初始化和恢复的集中研究是为了补充一些合适的追踪算法。

[7,39,16,42,13]。

这些将来有可能合并暂停与运动的连贯性。

该算法目前是Kinect游戏平台的核心组成部分。

如图一所示，受最近把实体划分成多个部分进行实物识别的研究方法的影响[12,43]，我们的方法可以划分为两个关键性的设计目标:计算效率与鲁棒性。

一幅输入的深度图像被分割成身体紧密概率的标记部分，同时每一部分被定义为在空间上相近的感兴趣的骨骼关节。

基于内河单幅图像的去雾算法研究

０引言
ＣＣＴＶ在内河航道的海事监管和防止内河水域污染等方面发挥重要作用。然而，当内河有雾天数达全年６Ｏｌ，雾航时ＣＣＴＶ系统无法获得清晰视频。此开展内河图像去雾算法的研究是非常重要的。雾图复原方法是基于大气散射规律建立雾图退化模型，通过求得图像的景深和天空亮度值来求取复原后的无雾图像。如Ｈｅ等［提出的基于暗原色先验的去雾方法，虽然对一般户外图像去雾效果较好，由于该方法存在一定的局限性，
１雾天图像的大气散射模型
网像质量下降的主要原因是大气粒子的散射
作用，可用人射光衰减模型和大气光线成像模型
＊国家自然科学基金项目（批准号：５１２７９１５２）资助第一作者简介：刘清（１９６６），博十，博ｌｌＩ生导师．研究方向：交通检测与控制，智能控制技术。智能视频分析．Ｅｍａｉｌ：ｑｌｉｕ２０００＠
多数户外图像，通过寻找峰值点位置能分割天空区域，由于内河图像的直方冈可能出现多峰值点，显然采用全局直方图法给天空区域分割造成闲难。黄明晶等人ｌ提ｍ利用Ｋ均值聚类方法分割天空区域，能较好的获取内河雾天图像的景深值，然而，雾浓度较大时，会影响天空区域的分割，而且其计算量较大，导致实时性较差。

基于描绘单幅图像的三维树木交互建模系统

在虚拟现实技术迅速发展的今天，植物的仿真模拟已经应用在许多方面，游戏电影等娱乐业、如农业研究、城市美化和一些防自然灾害的研究等。然而由于植物种类、外界环境和人为修剪等一系列原因，导致植物的几何形态颇为复杂，以植物所
ｄｉ１．９９ｊｉｎ１０ —６５２１．６０７ｏ：０３６／．ｓ．０１３９．０２０．９ｓ
文章编号：１０ —６５２１）６２６ —４０１３９（０２０ —３４０
３ｔｅｓｉｔｒｃｉｅｍｏｅｉｇｓｓｅｂｋｔｈｎｃｏｄｎｏｓｎｌｍａｅｒｅｎｅａｔｄｌｎｙｔｍｙｓｅｃｉｇａｃｒｉｇｔｉｇｅｉｇＤｖ
ＬＵＹｉｏｇＸＵＸｉｎ — ｕＺＮＧａ — ｎ，ＺＩ — ｎ，ｓａｇｈ，ＥＬｎｌｇｉＨＡＮＹｏｇｚａｎ —ｈｏ
（ｃｏｌｆＣｍｕｅＳｉｃＳｈｏｏｏｐｔｃｎｅ＆ＴｌｏｍｕｉｔｎＥｇｎｅｉＪａｇｕＵｉｒｔ，ｈｎａｇＪｎｓ１０３ｈｎ）ｒｅｅｃｍｎａｉｎｉｒｇ，ｉｎｓｎｖｓｙＺｅｎｉｇｕ２２１，Ｃｉａｅｃｏｅｎｅｉｉｆａ
刘一松，许祥虎，曾兰玲，詹永照
（苏大学计算机科学与通信工程学院，江苏镇江２２１）江１０３摘要：为了提高树木建模的真实感与可交互性，出了一种基于单幅树木图像或直接手绘的交互式植物建模提

基于人工智能的智能交互式媒体艺术创作系统设计

基于人工智能的智能交互式媒体艺术创作系统设计随着人工智能技术的不断发展，智能交互式媒体艺术创作系统正在成为一个备受关注的研究领域。

这样的系统结合了人工智能和媒体艺术的特点，能够为艺术家们提供创作的灵感、工具和平台。

本文将详细介绍基于人工智能的智能交互式媒体艺术创作系统的设计，包括系统架构、关键技术和应用场景。

一、系统架构基于人工智能的智能交互式媒体艺术创作系统的架构主要由以下几个组件构成：1. 数据采集：系统可以通过图像、声音、视频等多种方式来采集艺术创作所需的数据。

这些数据可以来自摄像头、麦克风、传感器等设备，也可以通过网络获取。

2. 数据处理：系统需要处理采集到的数据，将其转化为计算机可以理解和处理的形式。

这包括图像处理、音频处理、视频处理等技术，用于提取特征和准备数据集。

3. 智能算法：系统需要运用人工智能算法来对数据进行分析和处理，从而实现智能化的交互。

这包括图像识别、语音识别、自然语言处理、情感分析等算法，可以根据用户的需求进行定制。

4. 用户界面：系统需要提供一个友好的用户界面，让艺术家可以方便地进行创作。

用户界面应该具备良好的交互性和可视化效果，让艺术家可以直观地看到创作效果。

5. 数据存储与管理：系统需要提供数据的存储和管理功能，将采集到的数据和经过处理的数据进行存储，方便后续的分析和查询。

二、关键技术基于人工智能的智能交互式媒体艺术创作系统设计涉及到许多关键技术，下面列举其中几个重要的技术：1. 图像、声音、视频处理：这些处理技术主要用于对采集到的数据进行清洗、分析和转化。

例如，利用图像处理技术提取图像的特征，通过声音处理技术分析声音的频谱等。

2. 数据挖掘和机器学习：这些技术用于从大量的数据中挖掘出有用的信息，并建立模型进行预测和判断。

对于媒体艺术创作系统来说，可以利用机器学习的方法来训练模型，使其能够生成艺术作品。

3. 自然语言处理：自然语言处理技术可以使系统理解和处理人类语言。

基于单幅线条图的三维立体重建方法综述

第４１卷第１期２０１４年１月
计
算
机
科
学
Ｖｏ１．４１ＮＯ．１
ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ
Ｊａｎ２０１４
基于单幅线条图的三维立体重建方法综述
郑金鑫汤帜王勇涛
（北京大学计算机科学技术研究所北京１０００８０）
线条图的三维立体重建方法的现状和不足，指出了未来的研究发展方向。
关键词
线条图，三维重建ＴＰ３９１文献标识码Ａ
中图法分类号
Ｓｕｒｖｅｙｏｎ３ＤＲｅｃｏｎｓｔｒｕｃｔｉｏｎｆｒｏｍＳｉｎｇｌｅＬｉｎｅＤｒａｗｉｎｇｓ
解能力，一般来说，维立体的整体结构，并很容易被人类理解。线条图是三维立体的轮廓在二维平面上的投影。按照投
摘要从单幅线条图重建物体的三维立体结构是机器视觉领域的一个重要问题。它的应用范围包括基于手工绘制
的立体设计与创作、将现有的工程线框模型图转换为三维模型、基于自然图像的三维建模、图像理解和检索等。从不
同的角度对现有的相关方法进行了分类，并重点从所用算法分类的角度回顾了现有的相关方法。最后总结了基于幅
ＺＨＥＮＧＪｉｎ－ｘｉｎＴＡＮＧＺｈｉＷＡＮＧＹｏｎｇ－ｔａｏ
（ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＰｅｋｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８０，Ｃｈｉｎａ）

图像处理中的图像复原与修复技术研究

图像处理中的图像复原与修复技术研究第一章：引言随着科技的不断发展，数字图像处理技术也变得越来越流行。

图像处理技术已经成为现代数字技术的重要组成部分。

其中，复原和修复技术是图像处理工程中的重要分支，被广泛应用于图像处理、电视、远程通信、医学成像等领域。

图像复原和修复技术的目标是通过各种算法和方法来还原或修复被噪声、失误、缺失或其他因素影响的图像。

这项技术的主要任务是重建一张尽可能接近原始图像的新图像，而不是仅仅对原图像进行简单的重复或再现。

在本文中，我们将深入探讨图像复原和修复技术的不同方法，同时评估这些方法在实践中的性能和各自的优点和不足。

第二章：图像复原技术图像复原的目标是通过去除长期积累的噪声，来恢复图像的质量和细节。

从技术上来讲，图像复原是一种泛化到信号和图像的过程，它通过消除噪声和朦胧，使得原始图像的信号增加。

2.1 基于数学模型的图像复原基于数学模型的图像复原技术是通过使用数学算法来恢复图像质量和细节的。

该方法通过将噪声和信号分析为数学模型，并针对这些模型设计复原算法来去除图像中的噪声。

这些复原算法可以分为线性和非线性方法。

线性方法是一种通过在频率域进行连续滤波来实现的复原方法。

该方法通过将图像转换为频率域，来通过频率过滤器去除噪声。

非线性方法则是通过其他方法，如小波分析、Markov随机场等，来去除图像噪声。

2.2 基于统计学的图像复原基于统计学的图像复原技术主要是建立在从噪声和信号的总体中提取出来的统计特征上。

该方法将信号看作是随机变量，并根据随机变量的概率分布来进行图像复原。

基于统计学的图像复原方法包括了著名的贝叶斯估计等方法。

这些方法能够平滑信号，从而消除噪声，同时保留原图像的细节和特征。

这些方法被广泛应用于医学成像、水下成像和遥感等领域。

第三章：图像修复技术图像的修复旨在通过自动或半自动方法，对图像中的缺陷和损伤进行修复。

这些缺陷可能包括噪声、裂缝、划痕、污渍以及其他破损或失真的情况。