【CN110097501A】一种基于非局部均值梯度稀疏正则化的NDVI图像融合方法【专利】
【CN110097110A】一种基于目标优化的语义图像修复方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910341570.X(22)申请日 2019.04.26(71)申请人 华南理工大学地址 510640 广东省广州市天河区五山路381号(72)发明人 郭炜强 徐绍栋 张宇 郑波 (74)专利代理机构 广州市华学知识产权代理有限公司 44245代理人 冯炳辉(51)Int.Cl.G06K 9/62(2006.01)G06N 3/04(2006.01)(54)发明名称一种基于目标优化的语义图像修复方法(57)摘要本发明公开了一种基于目标优化的语义图像修复方法，该方法是以网络结构优化和修复过程优化为主要目标。
在网络结构优化方面，通过移除Context -Encoder中的通道连接层、添加并联空洞卷积层和设置符合人类感官层次的损失函数的方式，使整个网络在尽量捕获更多图像语义特征的同时保留其空间关系。
在修复过程优化方面，通过图像语义分割网络捕获待修复图像中的特定目标，在利用泛化模型对整张图像进行修复的同时可以针对捕获到的目标进行修复优化操作，从而使修复结果具备更高的可靠性和准确性。
本发明既保留了图像的空间信息，也针对特定的目标进行修复优化，进而有效地解决了常规修复方法中存在的语义混乱问题。
权利要求书2页 说明书5页 附图3页CN 110097110 A 2019.08.06C N 110097110A1.一种基于目标优化的语义图像修复方法，其特征在于：该方法是以网络结构优化和修复过程优化为主要目标，在网络结构优化方面，通过移除Context -Encoder中的通道连接层、添加并联空洞卷积层和设置符合人类感官层次的损失函数的方式，使整个网络在尽量捕获更多图像语义特征的同时保留其空间关系，在修复过程优化方面，通过图像语义分割网络捕获待修复图像中的特定目标，在利用泛化模型对整张图像进行修复的同时能够针对捕获到的目标进行修复优化操作，从而使修复结果具备更高的可靠性和准确性；其包括以下步骤：1)通过线性插值对输入图像和掩膜进行预处理，使所有图像满足网络输入要求；2)将输入图像与掩膜相结合，获得缺失图像；3)对缺失图像进行第一次修复操作，获取修复结果；4)利用语义分割网络对第一次修复结果进行修复，获取图像中的特定目标；5)分离图像中的特定目标，使用特定网络进行修复，获取第二次修复结果；6)将第一次修复结果和第二次修复结果在目标区域的位置进行融合，得到最终修复结果。
【CN110084773A】一种基于深度卷积自编码网络的图像融合方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910225446.7(22)申请日 2019.03.25(71)申请人 西北工业大学地址 710072 陕西省西安市友谊西路127号(72)发明人 李晖晖 苗宇宏 郭雷 刘航 (74)专利代理机构 西北工业大学专利中心61204代理人 刘新琼(51)Int.Cl.G06T 5/50(2006.01)G06N 3/04(2006.01)(54)发明名称一种基于深度卷积自编码网络的图像融合方法(57)摘要本发明涉及一种基于深度卷积自编码网络的图像融合算法。
首先，参考多尺度分解的思想与原理构建了深度卷积自编码网络框架；然后通过构建训练数据集、设置网络参数等操作对网络模型进行训练，该网络模型能够实现图像分解重构，最终得到一种图像的有效表示方式；最后，利用该网络模型将待融合图像分解为高频图像和低频图像，对于高频图像利用绝对值取大的原则进行融合，对于低频图像利用图像显著度作为权重进行融合，再利用网络的重构部分对融合后高、低频图像进行重构得到最终的融合图像。
权利要求书2页 说明书6页 附图2页CN 110084773 A 2019.08.02C N 110084773A1.一种基于深度卷积自编码网络的图像融合方法，其特征在于步骤如下：步骤1：构建深度卷积自编码网络步骤1a：对输入图像利用conv1层的“卷积+Tanh激活函数”操作和conv9层的“卷积”操作进行图像的高、低频分解；其中，conv1卷积核为人工预设的高斯拉普拉斯卷积核，大小为5×5；conv9卷积核为人工预设的高斯卷积核，大小为11×11；经过操作后，conv1得到图像中初始高频信息，conv9得到图像中低频信息；步骤1b：对conv1得到的初始高频信息利用conv2-conv4层的“卷积+Tanh激活函数”操作进行高频信息的多层次提取，其中conv2-conv4卷积核大小为3×3；conv1以及conv2-conv4得到的结果为图像高频信息在不同层次的表示，称为特征提取层结果；步骤1c：将特征提取层conv1-conv4中每一层得到的图像特征图利用conv5-conv8的“卷积”操作来实现特征融合与映射，得到图像高频信息，并与conv9得到的图像低频信息共同称为网络的特征映射层结果；其中conv5-conv8卷积核大小为3×3；步骤1d：将特征映射层的结果利用conv10层的“卷积+Sigmiod激活函数”操作实现图像信息的重构，得到原输入图像的重构图像，其中，卷积核大小为11×11；步骤2：对深度卷积自编码网络进行训练步骤2a：训练数据：选择多种类型的图像数据，包括自然图像、成对的红外与可见光图像，将所有的图像均调整至256×256大小的灰度图像；按照3:1的比例将图像数据分为网络训练集与测试集；步骤2b：参数初始化：对于Conv9，加入非负性约束，其学习得到的权重参数均为正值；对于Conv1，限制其卷积核参数之和为0，即其中，λ的取值范围为[0.05,0.10]；对于其余卷积层，采用he_normal初始化方法进行初始化，具体表示为，对于具有n in 个输入的层，其初始化权重W满足其中N为正态分布；步骤2c：损失函数：利用平均绝对误差函数作为损失函数对网络进行训练，所述的平均绝对值误差表示为网络模型的预测值与真实值之间距离的平均值，其对应的公式如下所示：其中，y i 与y i ′分别表示真实图像结果与网络输出图像结果；经过步骤2，我们最终得到了一个训练好的基于深度卷积自编码网络的图像分解与重构框架；步骤3：利用深度卷积自编码网络进行图像融合步骤3a：利用深度卷积自编码网络将输入的待融合图像A、B分解至特征映射层，得到图权 利 要 求 书1/2页2CN 110084773 A。
基于区域特征加权的IHS图像融合方法
);- 颜 色 模 型 由 于 与 人 感 受 颜 色 的 方 式 紧 密 相 连 因 而 成 为 彩
色图像处理最常用的颜色模型。);- 变换图像融合方法就是建 立在 );- 颜色模型基础之上的。从 0=> 空间到 );- 空间的变 换公式见文献 ’:(。在 );- 空间中 （ 表示图像的强度， ) )5?@5AB?C ） 对应于图像的空间分辨率； （;D@ ） 表示色调、 （-4?DE4?BF5 ） 表 ; 示饱和度， ; 与 - 代表图像的光谱分辨率。 );- 变 换 图 像 融 合 的基本思想就是通过融合 ) 分量和高分辨率图像来提高多光 谱图像的空间分辨率， 同时尽量保持多光谱图像的光谱特性。 传 统 的 );- 变 换 融 合 方 法 包 括 三 个 步 骤 ： （& ） 原始多光谱 图 像 作 );- 变 换 ； （! ） 用高分辨率图像直接替换掉多光谱图像 空间分辨率较低的 ! 分量 （以下简称为 ! 分量） ， 保持 ; 和 - 分 量不变； （9 ） );- 反变换得到增强后的多光谱图像。传统的 );变换融合方法虽然大大提高了融合图像的空间分辨率， 但它却
TBA?FE?BF5$1NBA V4V@E E@RB@OA A@R@E4K B7VEFR@T );- ?E45AMFE74?BF5 B74L@ MDABF5 4KLFEB?N7， 45T VEFVFA@A 4 5@O MDABF5 7@?NFT， ONBPN MDA@A ?N@ NBLN E@AFKD?BF5 LE4C B74L@ 45T ?N@ )5?@5AB?C PF7VF5@5? FM ?N@ 7DK?BAV@P?E4K B74L@ ?NEFD?N 4T4V?BR@ O@BLN?A W4A@T F5 OB5TFO E@LBF5 M@4?DE@A ADPN 4A @5?EFVC 45T 4R@E4L@ LE4TB@5?$2XV@EB7@5?4K E@ADK?A VEFR@ ?N@ @MM@P?BR@5@AA FM ?N@ VEFVFA@T MDABF5 7@?NFT$ ?)@A.72,： E@LBF54K M@4?DE@ ， );- ?E45AMFE74?BF5 ， B74L@ MDABF5
【CN109887023A】一种基于加权梯度幅度的双目融合立体图像质量评价方法【专利】
称权重；K(x，y)表示在(x，y)处的高斯核系数，窗口大小为8*8且σ＝0 .5； 1-2 .将局部加权后的梯度幅度图WGMv与传统的独眼图计算相融合，得到梯度独眼图，计
算方式如下：
其中 ，C (x ，y) 代表融合梯度幅度图WGMv后的 梯度独眼图，E是一个和原图像大小相同的 全1矩阵 ；It (x ，y) 为原始左图像 ，IR (x ，y) 为原始右图像 ；
像质量评价方法 ( 57 )摘要
本发明公开了一种基于加权梯度幅度的双 目融合立体图像质量评价方法。客观图像质量评 价算法根据是否利用原图像参与图像质量评价， 可分为全参考、半参考和无参考图像质量评价算 法三种。本发明采用的是半参考立体图像客观质 量评价算法。与传统的融合左右眼图像生成独眼 图算法不同 ，本发明将经过局部加权后的梯度幅 度因子加入双目融合算法中 ，从而对传统的独眼 图构造过程中丢失的结构信息进行一定补偿。本 发明 在消除 对比 度变化的同时 增强 局部图 像结 构。采用经典的自适应稀疏字典和OMP迭代算法， 捕获随着迭代次数增加而增强的边缘和纹理信 息，能更好的体现图像的结构信息。
其中，e是一个小的正常数，以避免当α(x，y)具有较小值时的数值不稳定；v∈(L，R) ，代
表左右立体图像 ；α(x ，y) 可根据公式
得
出；其中CG(x，y)可根据公式
得出 ，πx，y是以 (x ，y) 为中心一
个局部窗口；ω(x ′，y ′)是通过公式
满足∑x ′，y ′ω(x ′，y ′)＝1的正对
(74)专利代理机构 杭州君度专利代理事务所 (特殊普通合伙) 33240
代理人 朱月芬
(51)Int .Cl . G06T 7/60(2017 .01) G06T 5/50(2006 .01)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 201910293728.0
(22)申请日 2019.04.12
(71)申请人 武汉大学
地址 430072 湖北省武汉市武昌区珞珈山
武汉大学
(72)发明人 田昕 张蒙亮 李松 马跃
(74)专利代理机构 武汉科皓知识产权代理事务
所(特殊普通合伙) 42222
代理人 王琪
(51)Int.Cl.
G06T 3/40
(2006.01)
G06T 7/35
(2017.01)
(54)发明名称
一种基于非局部均值梯度稀疏正则化的
NDVI图像融合方法
(57)摘要
本发明公开了一种基于非局部均值梯度稀
疏正则化的NDVI图像融合方法，包括如下步骤：
步骤1，获得同一时间同一地理区域已配准的多
光谱图像和全色图像。本步骤在于获得同一时间
同一地理区域已配准的多光谱图像和全色图像，
其中多光谱图像包含红色和近红外谱段的信息；
步骤2，基于步骤1的结果，获得低分辨率的NDVI
图像；步骤3，基于步骤2的结果，获得低分辨率的
NDVI图像与高分辨率的NDVI图像的l2范数；步骤
4，计算高分辨率的NDVI图像与全色图像的l1范
数；步骤5，基于步骤3和步骤4，获得高分辨率的
NDVI图像与低分辨率的NDVI图像，全色图像的能
量函数，并使用交替方向乘子法(ADMM)迭代求解
获得高分辨率的NDVI图像。
权利要求书3页 说明书9页 附图2页
CN 110097501 A
2019.08.06
C
N
1
1
0
0
9
7
5
0
1
A
1.一种基于非局部均值梯度稀疏正则化的NDVI图像融合方法，其特征在于，包括以下
步骤：
步骤1，获得同一时间同一地理区域已配准的多光谱图像和全色图像，记多光谱图像记
为ms，全色图像与多光谱图像的分辨率之比为c，由多光谱图像计算得到的低分辨率NDVI图
像记为n，全色图像记为p，获得的高分辨率NDVI图像记为f；
步骤2，基于步骤1的结果，获得低分辨率的NDVI图像n；
步骤3，基于步骤2的结果，获得低分辨率的NDVI图像n与高分辨率的NDVI图像f的l2范
数；
步骤4，计算高分辨率的NDVI图像f与全色图像p的l1范数；
步骤5，基于步骤3和步骤4，获得高分辨率的NDVI图像与低分辨率的NDVI图像，全色图
像的能量函数，并使用交替方向乘子法(ADMM)迭代求解获得高分辨率的NDVI图像。
2.根据权利要求1所述的一种基于非局部均值梯度稀疏正则化的NDVI图像融合方法，
其特征在于：步骤3的具体实现包括以下子步骤，
步骤3.1，对高分辨率的NDVI图像进行下采样操作；
步骤3.2，获得高分辨率的NDVI图像与低分辨率的NDVI图像的l2范数，用最小二乘拟合
项表示如下：
其中，f表示获得的高分辨率NDVI图像，n表示从多光谱图像计算得到的低分辨率NDVI
图像，L(f)代表了高分辨率的NDVI图像下采样的信息与低分辨率的NDVI图像之间的差异。
3.根据权利要求1所述的一种基于非局部均值梯度稀疏正则化的NDVI图像融合方法，
其特征在于：步骤4的具体实现包括以下子步骤，
步骤4.1，获得高分辨率NDVI图像与全色图像的非局部均值梯度，给定输入图像f(x)，
则x点的非局部均值梯度▽Wf(x)定义如下：
f(y)代表输入图像在y点的像素值，Ω代表x的一个邻域范围，W(x,y)是根据点x周围不
同的块的相似性计算出的权重矩阵，定义为：
其中h是滤波因子，Gσ是高斯核函数，其标准差是σ，f(x+t)定义为以点x为中心，大小为
m*m的块，t为方块的半径；
步骤4.2，获得梯度稀疏的l1范数；由于梯度信息是稀疏的，为了使用非局部均值梯度表
示相似的空间结构信息，引入l1范数，则非局部均值梯度稀疏正则化表示为：
其中，J(f)代表用于衡量非局部均值梯度稀疏性的函数，||.||1表示l1范数。
4.根据权利要求1所述的一种基于非局部均值梯度稀疏正则化的NDVI图像融合方法，
其特征在于：步骤5的具体实现包括以下子步骤，
权 利 要 求 书
1/3页
2
CN 110097501 A