低照度图像的增强及降噪技术研究
低照度视频监控图像降噪算法设计与实现

关健 词 :低照 度 ;图像 降噪 ;运动 检测 ;数 学形 态学 ;中值 滤 波 ;维纳 滤波
De s i g n a nd I m pl e me n t a t i o n 0 f No i s e Re du c t i o n Al g o r i t hm f o r
[ Ab s t r a c t ]F o r s t r o n g n o i s e o f l o w— l i g h t v i d e o s u r v e i l l a n c e i ma g e , a n e w i ma g e n o i s e r e d u c t i o n a l g o r i t h m b a s e d o n mo t i o n d e t e c t i o n i s
DV/ BV o f i ma ge a te f r n o i s e r e d u c t i o n i s h i g h e r t ha n o t h e r a l go r i t hm s .Thi s p r o v e s t he t i me c o mp l e xi t y of t h e i ma g e n oi s e r e d u c t i o n
度视频 监控 图像 噪声 特点 的基 础上 ,通过 一种 阈值 运动 检测 算法将 图像帧 划分 成 8 x 8的运 动像 素宏 块和 静止像 素 宏块 ,对运 动像 素宏 块采 用改进 的维纳 滤波 算法 进行 降 噪 ,对 静 止像 素宏块 采 用数 学形 态学 和 中值 滤波相 结合 的算法进 行 降噪 。实 验数 据显 示 , 该算法 总体 时间复杂 度接 近 O ( n ) , 使 用该 算法 降噪 后的 图像 的 P S N R值 和 D V / B V 值均 高于 经典 降噪 算法 , 证 明 了该 算法 在 降低 时
低光增强算法指标 -回复

低光增强算法指标-回复低光增强算法是一种图像处理技术,用于改善在低照度环境下拍摄的图像质量。
它通过增加图像的亮度和对比度来提高画面的可见性。
在本文中,我们将逐步回答有关低光增强算法的指标,包括其原理、常用技术以及评估方法。
一、低光增强算法的原理低光增强算法的目标是提高图像在低照度环境下的可视性。
它采用多种技术来增加图像的亮度和对比度,从而使图像更清晰、更易观察。
这些技术通常涉及灰度拉伸、直方图均衡化、多尺度变换和图像增强滤波等。
灰度拉伸是一种常见的低光增强技术,通过扩展图像的灰度范围来增强图像的明暗细节。
直方图均衡化则是一种统计方法,根据图像的直方图分布特性来增加图像的对比度。
多尺度变换是一种通过将图像分解为不同比例的尺度来提取和增强图像细节的方法。
而图像增强滤波是通过应用滤波器来调整图像的亮度和对比度,以达到增强的效果。
二、常用的低光增强算法技术1. 双边滤波算法:双边滤波算法是一种常用的低光增强算法,它通过保持边缘信息,同时对图像进行平滑处理,以减少噪声的影响。
双边滤波算法能够在增强图像的同时保持图像的细节。
2. 清晰度增强算法:清晰度增强算法通过增加图像的锐度来提高图像质量。
它能够增强图像的细节和边缘,使其更加清晰和鲜明。
3. 深度学习技术:近年来,深度学习技术在低光增强领域取得了显著的成果。
通过使用大量的图像数据进行训练,深度学习模型能够学习到图像的特征,并通过增强细节和对比度来提高图像质量。
三、低光增强算法的评估方法评估低光增强算法的效果是非常重要的,因为它能够帮助我们了解算法的优势和不足之处。
以下是一些常用的评估方法:1. 主观评估:主观评估是一种使用人工主观感觉进行评估的方法。
通过请专家或普通用户对增强后的图像进行观察和评价,从而确定增强算法的效果如何。
主观评估方法通常采用问卷调查或实验室实验来进行。
2. 客观评估:客观评估是一种使用指标和度量方法来评估算法效果的方法。
例如,可以使用图像质量评价指标,如峰值信噪比(PSNR)、结构相似性指标(SSIM)和感知质量评估指标(PQI)等来评估增强算法的效果。
基于Retinex理论的低照度图像自适应增强算法

基于Retinex理论的低照度图像自适应增强算法目录1. 内容概览 (3)1.1 研究背景 (3)1.2 研究意义 (5)1.3 文献综述 (6)1.4 本文结构 (7)2. Retinex理论概述 (8)2.1 Retinex理论起源 (8)2.2 Retinex理论核心 (9)2.3 Retinex与其他图像增强算法的区别 (10)3. 低照度图像增强问题分析 (12)3.1 低照度图像的特点 (13)3.2 图像增强的目的与挑战 (13)3.3 现有方法存在的问题 (14)4. 基于Retinex的理论低照度图像自适应增强算法 (15)4.1 算法原理 (16)4.1.1 Retinex与自适应增强的理论联系 (18)4.1.2 算法自适应性的实现手段 (19)4.2 算法关键步骤 (20)4.2.1 光照映射的获取 (21)4.2.2 局部对比度的计算 (22)4.2.3 光照校正和对比度增强 (23)4.3 算法实现细节 (24)4.3.1 光照映射的精确计算 (25)4.3.2 对比度增强的策略 (27)4.3.3 自适应参数的确定 (28)4.4 算法有效性验证 (29)4.4.1 算法精度分析 (30)4.4.2 算法性能测试 (31)5. 实验验证与结果分析 (32)5.1 数据集与实验设置 (34)5.2 对比算法与方法 (35)5.3 实验结果与分析 (36)5.3.1 增强效果 (37)5.3.2 对比算法的比较 (39)5.4 算法存在的问题与改进建议 (40)6. 结论与展望 (42)6.1 研究总结 (43)6.2 未来工作方向 (44)1. 内容概览本文档详细介绍了一种基于Retinex理论的低照度图像自适应增强算法。
该算法旨在解决低照度条件下图像对比度低、细节不清晰等问题,通过自适应地增强图像的亮度和对比度,提高图像的视觉效果。
介绍了Retinex理论的基本原理,该理论认为图像是由光照和反射率两个部分组成的,通过分别处理这两个部分可以实现图像的增强。
利用β函数映射与帧间信息融合的低照度视频图像增强方法

p a p e r .T h e e n h a n c e me n t i s a c h i e v e d i n t h e l a y e r o f i l l u mi n a t i o n t o i n c r e a s e t h e c o n t r a s t r a t i o .T h e v i d e o i ma g e i s i f r s t
Ab s t r a c t :
V i d e o e n h a n c e me n t t e c h n o l o g y p l a y s a n i mp o r t a n t r o l e i n t h e i f e l d o f v i d e o s u r v e i l l a n c e ,v i d e o c o n f e r e n c e a n d
c o n t r a s t v i d e o e n ha nc e me nt b a s e d o n i l l umi na t i o n n o n l i ne a r ma p pi n g a n d i n t e r f r a me i n f o r ma t i o n f us i o n i s p r o p o s e d i n t h i s
图像 增强方法。该方法在 图像 的照度层实现对 比度增强 ,首先将 视频 图像从 R G B空问转换 到 H S I 色彩空 间,提
取其照度分量 ;然后用归一化非完全 卢函数的映射关系得到增强后 的照度成分 , 函数的参数通过本文提 出的评 价函数得到 ;最后 ,重建 图像 ,完成视频图像 的增强 。与其 他对 比度 增强 方法相 比,本文 方法 的增 强效果 好 , 且计果。 关键词 :视频增强 ; 对 比度增强 ; 低照度 ; 视频评 价准则 ;信息融合 中图分类号 :T P 7 5 1 文献标识码 :A 文章编号 :1 0 0 3 — 0 5 3 0 ( 2 0 1 3 ) 1 2 — 1 6 3 2 — 0 6
改进Retinex-Net的低光照图像增强算法

改进Retinex⁃Net的低光照图像增强算法欧嘉敏1 胡 晓1 杨佳信1摘 要 针对Retinex⁃Net存在噪声较大㊁颜色失真的问题,基于Retinex⁃Net的分解-增强架构,文中提出改进Ret⁃inex⁃Net的低光照图像增强算法.首先,设计由浅层上下采样结构组成的分解网络,将输入图像分解为反射分量与光照分量,在此过程加入去噪损失,抑制分解过程产生的噪声.然后,在增强网络中引入注意力机制模块和颜色损失,旨在增强光照分量亮度的同时减少颜色失真.最后,反射分量和增强后的光照分量融合成正常光照图像输出.实验表明,文中算法在有效提升图像亮度的同时降低增强图像噪声.关键词 低光照图像增强,深度网络,视网膜大脑皮层网络(Retinex⁃Net),浅层上下采样结构,注意机制模块引用格式 欧嘉敏,胡晓,杨佳信.改进Retinex⁃Net的低光照图像增强算法.模式识别与人工智能,2021,34(1):77-86.DOI 10.16451/ki.issn1003⁃6059.202101008 中图法分类号 TP391.4Low⁃Light Image Enhancement Algorithm Based onImproved Retinex⁃NetOU Jiamin1,HU Xiao1,YANG Jiaxin1ABSTRACT Aiming at the problems of high noise and color distortion in Retinex⁃Net algorithm,a low⁃light image enhancement algorithm based on improved Retinex⁃Net is proposed grounded on the decomposition⁃enhancement framework of Retinex⁃Net.Firstly,a decomposition network composed of shallow upper and lower sampling structure is designed to decompose the input image into reflection component and illumination component.In this process,the denoising loss is added to suppress the noise generated during the decomposition process.Secondly,the attention mechanism module and color loss are introduced into the enhancement network to enhance the brightness of the illumination component and meanwhile reduce the image color distortion.Finally,the reflection component and the enhanced illumination component are fused into the normal illumination image to output.The experimental results show that the proposed algorithm improves the image brightness effectively with the noise of enhanced image reduced.Key Words Low⁃Light Image Enhancement,Deep Network,Retinal Cortex Theory⁃Net,Shallow Up⁃per and Lower Sampling Structure,Attention Mechanism ModuleCitation OU J M,HU X,YANG J X.Low⁃Light Image Enhancement Algorithm Based on Improved Retinex⁃Net.Pattern Recognition and Artificial Intelligence,2021,34(1):77-86.收稿日期:2020-05-12;录用日期:2020-09-17 Manuscript received May12,2020;accepted September17,2020国家自然科学基金项目(No.62076075)资助Supported by National Natural Science Foundation of China(No. 62076075)本文责任编委黄华Recommended by Associate Editor HUANG Hua1.广州大学电子与通信工程学院 广州5100061.School of Electronics and Communication Engineering,Guang⁃zhou University,Guangzhou510006 由于低光照环境和有限的摄像设备,图像存在亮度较低㊁对比度较低㊁噪声较大㊁颜色失真等问题,不仅会影响图像的美学㊁人类的视觉感受,还会降低运用正常光照图像的高级视觉任务的性能[1-3].为了有效改善低光图像质量,学者们提出许多低光照图像增强算法,经历灰度变换[4-5]㊁视网膜皮层理论[6-11]和深度神经网络[12-19]三个阶段.早期,通过直方图均衡[4-5]㊁伽马校正等灰度变换方法对低亮度区域进行灰度拉抻,可达到提高暗区亮度的目的.然而,因为未考虑像素与其邻域像素的关系,灰度变换常会导致增强图像缺乏真实感.第34卷 第1期模式识别与人工智能Vol.34 No.1 2021年1月Pattern Recognition and Artificial Intelligence Jan. 2021Land [6]提出视网膜皮层理论(Retinal CortexTheory,Retinex).该理论认为物体颜色与光照强度无关,即物体具有颜色恒常性.基于该理论,相继出现经典的单尺度视网膜增强算法(Single Scale Retinex,SSR)[7]和色彩恢复的多尺度视网膜增强算法(Multi⁃scale Retinex with Color Restoration,MSR⁃CR)[8].算法主要思想是利用高斯滤波器获取低光照图像的光照分量,再通过像素间逐点操作求得反射分量作为增强结果.Wang 等[9]利用亮通滤波器和对数变换平衡图像亮度和自然性,使增强后的图像趋于自然.Fu 等[10]设计用于同时估计反射和光照分量(Simultaneous Reflectance and Illumination Esti⁃mation,SRIE)的加权变分模型,可有效处理暗区过度增强的问题.Guo 等[11]提出仅估计光照分量的低光照图像增强算法(Low Light Image Enhancementvia Illumination Map Estimation,LIME),主要利用局部一致性和结构感知约束条件计算图像的反射分量并作为输出结果.然而,这些基于Retinex 理论模型的算法虽然可调整低光图像亮度,但增亮程度有限.研究者发现卷积神经网络(Convolutional NeuralNetwork,CNN)[12]与Retinex 理论结合能进一步提高增强图像的视觉效果,自动学习图像的特征,解决Retinex 依赖手工设置参数的问题.Lore 等[13]提出深度自编码自然低光图像增强算法(A Deep Auto⁃encoder Approach to Natural Low Light Image Enhan⁃cement,LLNet),有效完成低光增强任务.Lü等[14]提出多边低光增强网络(Multi⁃branch Low⁃Light En⁃hancement Network,MBLLEN),学习低光图像到正常光照图像的映射.Zhang 等[15]结合最大信息熵和Retinex 理论,提出自监督的光照增强网络.Wei 等[16]基于图像分解思想,设计视网膜大脑皮层网络(Retinex⁃Net),利用分解-增强架构调整图像亮度.Zhang 等[17]基于Retinex⁃Net 设计低光增强器.然而,由于噪声与光照水平有关,Retinex⁃Net 提取反射分量后,图像暗区噪声高于亮区.因此,Retinex⁃Net 的增强结果存在噪声较大㊁颜色失真的问题,不利于图像质量的提升.为此本文提出改进Retinex⁃Net 的低光照图像增强算法.以Retinex⁃Net 的分解与增强框架为基础,针对噪声问题,在分解网络采用浅层上下采样结构[15],利用反射分量梯度项[15]作为损失.同时为了改善增强图像的色彩偏差,保留丰富的细节信息,在增强网络中嵌入注意力机制模块[18]和颜色损失[19].实验表明,本文算法在LOL 数据集和其它公开数据集上取得较优的视觉效果和客观结果.1 改进Retinex⁃Net 的低光照图像增强算法改进Retinex⁃Net 的低光照图像增强算法框图如图1所示.S lowS normalR highI highI lowR lowI end图1 本文算法框图Fig.1 Flowchart of the proposed algorithm87模式识别与人工智能(PR&AI) 第34卷 Retinex理论[6]认为彩色图像可分解为反射分量和光照分量:S=R I.(1)其中: 表示逐像素相乘操作;S表示彩色图像,可以是任何具有不同曝光程度的图像;R表示反射分量,反映物体内在固有属性,与外界光照无关;I表示光照分量,不同曝光度的物体光照分量不同.本文算法主要利用2个相互独立训练的子网络,分别是分解网络与增强网络.具体地说,首先,分解网络以数据驱动方式学习,将低光照图像和与之配对的正常光照图像分解为相应的反射分量(R low, R normal)和光照分量(I low,I normal).然后,增强网络以低光图像的光照分量I low作为输入,在结构感知约束下,提升光照分量的亮度.最后,重新组合增强的光照分量I en与反射分量R low,形成增强图像S en,作为网络输出.1.1 分解网络的浅层上下采样结构由于式(1)是一个不适定问题[20],很难设计适用于多场景的约束函数.本文算法以数据驱动的方式进行学习,不仅能解决该问题,还能进一步提高网络的泛化能力.如图1所示,在训练阶段,分解网络以低光照图像S low和与之对应的正常光照图像S normal 作为输入,在约束条件下学习输出它们一致的反射分量R low和R normal,及不同的光照分量I low和I normal.值得注意的是,S low与S normal共享分解网络的参数.区别于常用的深度U型网络(U⁃Net)结构及Retinex⁃Net简单的堆叠卷积层,本文算法的分解网络是一个浅层的上下采样结构,由卷积层与通道级联操作组成,采样层只有4层,网络训练更简单.实验表明,运用此上下采样结构变换图像尺度时,下采样操作一定程度上舍去含有噪声的像素点,达到降噪效果的目的,但同时会引起图像的模糊.因此为了提高分解图像清晰度,减少语义特征丢失,在图像上采样后应用通道数级联操作,可给图像补偿下采样丢失的细节信息,增强清晰度.在浅层上下采样结构中,首先,使用1个9×9的卷积层提取输入图像S low的特征.然后,采用5层以ReLU作为激活函数的卷积层变换图像尺度,学习反射分量与光照分量的特征.最后,分别利用2层卷积层及Sigmoid函数,将学习到的特征映射成反射图R low和光照图I low后再输出.对于分解网络的约束损失,本文算法沿用Retinex⁃Net的重构损失l rcon㊁不变反射率损失l R及光照平滑损失l I.另外为了在分解网络中更进一步减小噪声,添加去噪损失l d.因此总损失如下:l=l rcon+λ1l R+λ2l I+λ3l d,其中,λ1㊁λ2㊁λ3为权重系数,用于平衡各损失分量.对于L1㊁L2范数和结构相似性(Structural Similarity, SSIM)损失的选择,当涉及图像质量任务时,L2范数与人类视觉对图像质量的感知没有很好的相关性,在训练中容易陷入局部最小值,而SSIM虽然能较好地学习图像结构特征,但对平滑区域的误差敏感度较低,引起颜色偏差[21].因此本文算法使用L1范数约束所有损失.在分解网络中输出的结果R low和R normal都可与光照图重构成新的图像,则重构损失如下:l rcon=∑i=low,normalW1Rlow I i-S i1+∑j=low,normal W2R normal I j-S j1,其中 表示逐像素相乘操作.当i为low或j为normal 时,权重系数W1=W2=1,否则W1=W2=0.001.对于配对的图像,使用较大的权重能够使分解网络更好地学习配对图像的特征.对于配对的图像对,使用较大的权重可使分解网络更好地学习配对图像的特征.不变反射率损失l R是基于Retinex理论的颜色恒常性,在分解网络中主要用于约束学习不同光照图像的一致反射率:l R=Rlow-R normal1.对于光照平滑损失l I,本文采用结构感知平滑损失[16].该损失以反射分量梯度项作为权重,在图像梯度变化较大的区域,光照变得不连续,从而亮度平滑的光照图能保留图像结构信息,则l I=ΔIlow exp(-λgΔR low)1+ΔI normal exp(-λgΔR normal)1,其中,Δ表示图像水平和垂直梯度和,λg表示平衡系数.Rudin等[22]观察到,噪声图像的总变分(Total Variation,TV)大于无噪图像,通过限制TV可降低图像噪声.然而在图像增强中,限制TV相当于最小化梯度项.受TV最小化理论[22-23]启发,本文引入反射分量的梯度项作为损失,用于控制反射图像噪声,故称为去噪损失:l d=λΔRlow1.当λ值增加时,噪声减小,同时图像会模糊.因此对于权重参数的选择十分重要,经过实验研究发现,当权重λ=0.001时,图像获得较好的视觉效果.1.2 增强网络的注意力机制如图1所示,增强网络以分解网络的输出I low作97第1期 欧嘉敏 等:改进Retinex⁃Net的低光照图像增强算法为输入,学习增强I low的亮度,将增强结果I en与分解网络另一输出R low重新结合为增强图像S en后输出.在增强网络中,I low经过多个下采样块生成较小尺度图像,使增强网络有较大尺度角度分配光照,从而具有调节亮度的能力.网络采用上采样方式重构局部光照,对亮的区域分配较低亮度,对较暗的区域调整较高亮度.此外,将上采样层的输出进行通道数的级联,在调整不同局部光照的同时,保持全局光照一致性.而且跳过连接是从下采样块引入相应的上采样块,通过元素求和,强制网络学习残差.针对Retinex⁃Net出现的颜色失真问题,在增强网络中嵌入注意力机制模块.值得注意的是,与其它复杂的注意力模块不同,注意力机制模块由简单卷积层和激活操作组成,不要求强大的硬件设备,也不需要训练多个模型和大量额外参数.在光照调整过程中,可减少对无关背景的特征响应,只激活感兴趣的特征,提高算法对图像细节的处理能力和对像素的敏感性,指导网络既调整图像亮度又保留图像结构.由图1可见,注意力模块的输入是图像特征αi㊁βi,输出为图像特征γi,i=1,2,3,表示注意力机制模块的序号.αi为下采样层输出的图像特征,βi为上采样层的输出特征.这2个图像特征分别携带不同的亮度信息,两者经过注意力模块后,降低亮度无关特征(如噪声)的响应,使输出特征γi携带更多亮度信息被输入到下一上采样层,提高网络对亮度特征的学习能力.αi与重建尺度后的βi分别经过一个独立的1×1卷积层,在ReLU激活之前进行加性操作.依次经过1×1卷积层㊁Sigmoid函数,最后与βi通过逐元素相乘后将结果与αi进行通道级联.在此传播过程中,注意机制可融合不同尺度图像信息,同时减少无关特征的响应,增强网络调整亮度能力.独立于分解网络的约束损失,增强网络调整光照程度是基于局部一致性和结构感知[16]的假设.本文算法除了沿用Retinex⁃Net中约束增强网络的损失外,在实验中,针对Retinex⁃Net出现的色彩偏差,增加颜色损失[19],因此增强网络损失:L=L rcon+L I+μL c,其中,L rcon为增强图像的重构损失,L rcon=Snormal-R low I en1,L I表示结构感知平滑损失,L c表示本文的颜色损失,μ表示平衡系数.L rcon定义表示增强后的图像与其对应的正常光照图像的距离项,结构感知平滑损失L I 与分解网络的平滑损失类似,不同的是,在增强网络中,I en以R low的梯度作为权重系数:L I=ΔIen exp(-λgΔR low)1.此外,本文添加颜色损失L c,衡量增强图像与正常光照图像的颜色差异.先对2幅图像采用高斯模糊,滤除图像的纹理㊁结构等高频信息,留下颜色㊁亮度等低频部分.再计算模糊后图像的均方误差.模糊操作可使网络在限制纹理细节干扰情况下,更准确地衡量图像颜色差异,进一步学习颜色补偿.颜色损失为L c=F(Sen)-F(S normal)21.其中:F(x)表示高斯模糊操作,x表示待模糊的图像.该操作可理解为图像每个像素以正态分布权重取邻域像素的平均值,从而达到模糊的效果,S en为增强图像,S normal为对应的正常光照图像,F(x(i,j))=∑k,lx(i+k,j+l)G(k,l),G(k,l)表示服从正态分布的权重系数.在卷积网络中G(k,l)相当于固定大小的卷积核,G(k,l)=0.æèçç053exp k2-l2öø÷÷6.2 实验及结果分析2.1 实验环境本文算法采用LOL训练集[16]和合成数据集[16]训练网络.测试集选取LOL的评估集㊁DICM数据集㊁MEF数据集.在训练过程中,网络采用图像对训练,批量化大小(Batch Size)设为32,块大小(Patch Size)设为48×48.分解网络的损失平衡系数λ1=0.001,λ2=0.1,λ3=0.001.增强网络的平衡系数μ=0.01,λg=10.本文采用自适应矩估计优化器(Adaptive Moment Estima⁃tion,Adam).网络的训练和测试实验均在Nvidia GTX2080GPU设备上完成,实现代码基于TensorFlow框架.为了验证本文算法的性能及效果,采用如下对比算法:Retinex⁃Net,SRIE[10],LIME[11],MBLLEN[14]㊁文献[15]算法㊁全局光照感知和细节保持网络(Global Illumination⁃Aware and Detail⁃Preserving Net⁃work,GLADNet)[24]㊁无成对监督深度亮度增强(Deep Light Enhancement without Paired Supervision, EnlightenGAN)[25].在实验过程中,均采用原文献提供的模型或源代码对图像进行测试.采用如下客观评估指标:峰值信噪比(Peak Signal to Noise Ratio,PSNR)㊁结构相似性(Structural08模式识别与人工智能(PR&AI) 第34卷Similarity,SSIM)[26]㊁自然图像质量评估(NaturalQuality Evaluator,NIQE)[27]㊁通用图像质量评估(Universal Quality Index,UQI)[28]㊁基于感知的图像质量评估(Perception⁃Based Image Quality Evaluator,PIQE)[29].SSIM㊁PSNR㊁UQI 值越高,表示增强结果图质量越优.相反,PIQE㊁NIQE 值越高,表示图像质量越差.2.2 消融性实验为了进一步验证本文算法各模块的有效性,以Retinex⁃Net 为基础设计消融性实验,利用PSNR 衡量噪声水平,采用SSIM 从亮度㊁对比度㊁结构评估图像综合质量.实验结果如表1所示,表中S⁃ULS 表示浅层上下采样结构,l d 表示去噪损失.Enhan _I low 表示增强网络输入仅为光照分量,AMM 表示注意力机制模块,L c 表示颜色损失.参数微调1表示增强网络的平滑损失系数由原Retinex⁃Net 的3设为1;参数微调2是增强网络的平滑损失系数为1,批量化大小由16设为32.表1 各改进模块及损失的消融性实验结果Table 1 Ablation experiment results of improved modules and loss序号基础框架改进方法PSNRSSIM1-Retinex⁃Net 16.7740.55923Retinex⁃Net 添加S⁃ULS,不添加l d 添加S⁃ULS,添加l d17.45217.4940.6890.699456Retinex⁃Net+S⁃ULS+l d添加Enhan _I low ,不添加AMM,不添加L c 添加Enhan _I low ,添加AMM,不添加L c 添加Enhan _I low ,添加AMM,添加L c17.89718.00218.0910.7030.7080.70478Retinex⁃Net+S⁃ULS+l d +AMM+L c参数微调1参数微调218.27218.5290.7190.720 表1中序号2给出以Retinex⁃Net 为基础,采用浅层上下采样结构作为分解网络的结果.相比Retinex⁃Net,PSNR 值显著提高,表明此结构可抑制由图像分解带来的噪声.在此基础上添加去噪损失,进一步降低噪声,见序号3.由此验证浅层上下采样结构与去噪损失的有效性.在本文算法中,由于采用两步训练的方式,即先训练分解网络后训练增强网络,因此在验证浅层上下采样结构和去噪损失的有效性后,以此为基础评估增强网络引入的注意力机制模块和颜色损失的有效性.在Retinex⁃Net 中增强网络的输入为反射分量与光照分量通道级联后的结果.该设置一定程度上会导致反射分量丢失图像结构和细节,同时影响光照分量的亮度提升.为此,先设置序号4的实验验证上述分析.由结果可见:PSNR㊁SSIM 值大幅提高,证明此分析的正确性,表明本文算法的增强网络仅以光照分量作为输入的有效性.另外,从序号5结果看出,利用注意力模块后,图像噪声显著降低,这归功于注意力模块可减少对图像无关特征的响应,集中注意力学习亮度特征,从而降低图像噪声水平.在颜色损失的消融性实验中,尽管客观数值上没有直观体现颜色的恢复,但根据图2和图3可知,该损失是有效的.为了使各模块更好地发挥优势,本文算法对参数进行微调.从序号7㊁序号8的实验结果可见,微调参数后本文算法各模块作用进一步体现,取得更优结果. (a)输入图像 (b)参考图像 (a)Input image (b)Ground truth18第1期 欧嘉敏 等:改进Retinex⁃Net 的低光照图像增强算法 (c)SRIE (d)LIME (e)GLADNet (f)MBLLEN (g)EnlightenGAN (h)Retinex⁃Net (i)文献[15]算法 (j)本文算法 (i)Algorithm in reference[15] (j)The proposed algorithm图2 各算法在LOL数据集上的视觉效果Fig.2 Visual results of different algorithms on LOLdatasetA B C D(a)输入图像(a)Inputimages(b)LIME(c)GLADNet28模式识别与人工智能(PR&AI) 第34卷(d)MBLLEN(e)EnlightenGAN(f)Retinex⁃Net(g)文献[15]算法(g)Algorithm in reference[15](h)本文算法(h)The proposed algorithm图3 各算法在DICM㊁MEF数据集上的视觉效果Fig.3 Visual results of different algorithms on DICM and MEF datasets38第1期 欧嘉敏 等:改进Retinex⁃Net的低光照图像增强算法2.3 对比实验各算法在3个数据集上的客观评估结果如表2所示,表中黑体数字表示最优结果,斜体数字表示次优结果.在LOL 数据集上,SSIM 可从亮度㊁对比度㊁结构度量2幅图像相似度,与人类视觉系统(Human Vision System,HVS)具有较高相关性[21,30],可较全面体现图像质量.从表2可见,在SSIM㊁UQI 指标上,本文算法取得最高数值,表明低光照图像经本文算法增强后图像质量得到明显提升.从图2和图3发现,本文算法也提升视觉效果的表现力.由表2的LOL 数据集上结果可知,在PSNR 指标上,本文算法总体上优于先进算法.根据文献[21]㊁文献[30]和文献[31]的研究,PSNR 指标因为容易计算,被广泛用于评估图像,但其计算是基于误差敏感度,在评估中常出现与人类感知系统不一致的现象,因此与图像主观效果结合分析能更好地体现图像质量.结合图2和图3的分析,GLADNet 的增强图像饱和度较低,存在颜色失真现象.文献[15]算法使图像过曝光.本文算法在Retinex⁃Net 基础上显著降低图像噪声,保留图像丰富结构信息,相比其它方法,视觉效果更佳,符合人类的视觉感知系统.在LOL 数据集上,对比大部分算法,本文取得与参考图像相近的NIQE 数值,表明本文算法的增强结果更接近参考图像.DICM㊁MEF 数据集没有正常光照图作为参照.本文只采用盲图像质量评估指标(NIQE㊁PIQE)评估各算法.在PIQE 指标上,本文算法取得最优值.对于NIQE,虽然未取得较好优势,但相比Retinex⁃Net,本文算法取得更好的增强结果.综上所述,虽然本文算法未在所有指标上取得最优结果,但仍有较高优势.在与人类视觉感知系统有较好相关性的SSIM 指标及噪声抑制和避免过曝能力上,本文算法最优.表2 各算法在3个数据集上的客观评估结果Table 2 Objective evaluation results of different algorithms on 3datasets 算法LOL 数据集SSIMUQI PSNRNIQEDICM 数据集PIQE NIQEMEF 数据集PIQE NIQESRIE0.4980.48211.8557.28716.95 3.89810.70 3.474LIME 0.6010.78916.8348.37815.60 3.8319.12 3.716GLADNet 0.7030.87919.718 6.47514.85 3.6817.96 3.360MBLLEN0.7040.82517.5633.58412.293.27012.043.322EnlightenGAN 0.6580.80817.483 4.68414.613.5627.863.221文献[15]算法0.7120.86019.150 4.79316.21 4.71811.78 4.361Retinex⁃Net 0.5590.87916.7749.73014.16 4.41511.90 4.480本文算法0.7200.88018.5294.49010.11 3.9607.77 3.820参考图像1--4.253---- 由图2可见,SRIE㊁LIME㊁EnlightenGAN 的增亮程度有限,增强结果偏暗.GLADNet㊁MBLLEN 改变图像饱和度,降低图像视觉效果.相比Retinex⁃Net,本文算法的增强结果图噪声水平较低,可保持图像原有的色彩.由图3可见,SRIE 增强程度远不足人类视觉需求,在图3的图像A 中,未展示其增强结果.在图3中,根据人眼视觉系统,首先能判断LIME㊁GLADNet㊁MBLLEN㊁EnlightenGAN 对人脸的增亮程度仍不足,GLADNet㊁MBLLEN 分别存在饱和度过低和过高现象.而文献[15]算法㊁Retinex⁃Net㊁本文算法能较好观察到人脸细节,但同时从左下角细节图可见,Retinex⁃Net 人脸的边缘轮廓对比度过强.从颜色上进一步分析可知,文献[15]算法亮度过度增强,导致图像颜色失真,如天空的颜色对比输入图像色调偏白㊁曝光难以观察远处的景物等.同样观察图3中图像B 右下角细节,经过分析可得,文献[15]算法㊁Retinex⁃Net㊁本文算法增强程度满足人类视觉需求,但文献[15]算法过曝光,从Retinex⁃Net 细节图可见人物服饰失真.对比其它算法,本文算法结果的亮度适中,图像具有丰富细节,避免光照伪影与过曝光现象.另外,从图3中图像C㊁D 可见,LIME㊁GLAD⁃Net㊁MBLLEN㊁EnlightenGAN 没能较好处理局部暗48模式识别与人工智能(PR&AI) 第34卷区,如笔记本㊁右下角拱门窗户区域仍未增亮,导致难以识别边缘细节.而文献[15]算法饱和度发生变化.Retinex⁃Net存在伪影和噪声等问题.本文算法不仅可增强图像的亮度,减小噪声,还保留图像的细节,图像效果更有利于高级视觉系统的识别或检测.综合上述分析发现,本文算法对低光照图像增强效果更优.3 结束语针对Retinex⁃Net噪声较大㊁颜色失真问题,本文提出改进Retinex⁃Net的低光照图像增强算法.算法在分解网络采用浅层上下采样结构及去噪损失,在增强网络嵌入注意力机制模块和颜色损失.实验表明,本文算法不仅能增强图像亮度,而且能显著降低噪声,并取得较优结果.本文算法较好地处理亮度增强过程中无法避免的噪声问题,兼顾提升亮度和降低噪声任务,可给未来研究图像多属性增强提供思路,如低光增强㊁去噪㊁颜色恢复㊁去模糊等多任务同步进行.今后研究重心将是实现图像多属性同步增强.同时扩展该研究网络结构到其它高级视觉任务中,作为图像预处理模块,期望实现网络的端到端训练.参考文献[1]HU X,MA P R,MAI Z H,et al.Face Hallucination from Low Quality Images Using Definition⁃Scalable Inference.Pattern Reco⁃gnition,2019,94:110-121.[2]陈琴,朱磊,后云龙,等.基于深度中心邻域金字塔结构的显著目标检测.模式识别与人工智能,2020,33(6):496-506. (CHEN Q,ZHU L,HOU Y L,et al.Salient Object Detection Based on Deep Center⁃Surround Pyramid.Pattern Recognition and Artificial Intelligence,2020,33(6):496-506.)[3]杨兴明,范楼苗.基于区域特征融合网络的群组行为识别.模式识别与人工智能,2019,32(12):1116-1121. (YANG X M,FAN L M.Group Activity Recognition Based on Re⁃gional Feature Fusion Network.Pattern Recognition and Artificial Intelligence,2019,32(12):1116-1121.)[4]CHENG H D,SHI X J.A Simple and Effective Histogram Equaliza⁃tion Approach to Image Enhancement.Digital Signal Processing, 2004,14(2):158-170.[5]ABDULLAH⁃AI⁃WADUD M,KABIR M H,DEWAN M A A,et al.A Dynamic Histogram Equalization for Image Contrast Enhancement. IEEE Transactions on Consumer Electronics,2007,53(2):593-600.[6]LAND E H.The Retinex Theory of Color Vision.Scientific Ameri⁃can,1977,237(6):108-128.[7]JOBSON D J,RAHMAN Z,WOODELL G A.Properties and Per⁃formance of a Center/Surround Retinex.IEEE Transactions on Im⁃age Processing,1997,6(3):451-462.[8]JOBSON D J,RAHMAN Z,WOODELL G A.A Multiscale Retinex for Bridging the Gap between Color Images and the Human Observa⁃tion of Scenes.IEEE Transactions on Image Processing,1997, 6(7):965-976.[9]WANG S H,ZHENG J,HU H M,et al.Naturalness Preserved En⁃hancement Algorithm for Non⁃uniform Illumination Images.IEEE Transactions on Image Processing,2013,22(9):3538-3548.[10]FU X Y,ZENG D L,HUANG Y,et al.A Weighted VariationalModel for Simultaneous Reflectance and Illumination Estimation// Proc of the IEEE Conference on Computer Vision and Pattern Re⁃cognition.Washington,USA:IEEE,2016:2782-2790. [11]GUO X J,LI Y,LING H B.LIME:Low⁃Light Image Enhance⁃ment via Illumination Map Estimation.IEEE Transactions on Image Processing,2017,26(2):982-993.[12]FUKUSHIMA K.Neocognitron:A Self⁃organizing Neural NetworkModel for a Mechanism of Pattern Recognition Unaffected by Shift in Position.Biological Cybernetics,1980,36:193-202. [13]LORE K G,AKINTAYO A,SARKAR S.LLNet:A Deep Autoen⁃coder Approach to Natural Low⁃Light Image Enhancement.Pattern Recognition,2017,61:650-662.[14]LÜF F,LU F,WU J H,LIM C S.MBLLEN:Low⁃Light Image/Video Enhancement Using CNNs[C/OL].[2020-05-11].http:// /bmvc/2018/contents/papers/0700.pdf. [15]ZHANG Y,DI X G,ZHANG B,et al.Self⁃supervised Image En⁃hancement Network:Training with Low Light Images Only[C/ OL].[2020-05-11].https:///pdf/2002.11300.pdf.[16]WEI C,WANG W J,YANG W H,et al.Deep Retinex Decom⁃position for Low⁃Light Enhancement[C/OL].[2020-05-11].https: ///pdf/1808.04560.pdf.[17]ZHANG Y H,ZHANG J W,GUO X J.Kindling the Darkness:APractical Low⁃Light Image Enhancer//Proc of the27th ACM In⁃ternational Conference on Multimedia.New York,USA:ACM, 2019:1632-1640.[18]AI S,KWON J.Extreme Low⁃Light Image Enhancement for Sur⁃veillance Cameras Using Attention U⁃Net.Sensors,2020,20(2): 495-505.[19]IGNATOV A,KOBYSHEV N,TIMOFTE R,et al.DSLR⁃QualityPhotos on Mobile Devices with Deep Convolutional Networks// Proc of the IEEE International Conference on Computer Vision.Washington,USA:IEEE,2017:3297-3305.[20]TIKHONOV A N,ARSENIN V Y.Solutions of Ill⁃Posed Pro⁃blems.SIAM Review,1979,21(2):266-267. [21]ZHAO H,GALLO O,FROSIO I,et al.Loss Functions for ImageRestoration with Neural Networks.IEEE Transactions on Computa⁃58第1期 欧嘉敏 等:改进Retinex⁃Net的低光照图像增强算法。
基于双路编解码器的卷积神经网络在低照度图像增强和超分辨率中的研究

基于双路编解码器的卷积神经网络 在低照度图像增强和超分辨率中的研究【摘 要】 本文以高清户外直播技术为切入点,针对夜晚场景下受光照条件限制直播画面亮度低、不清晰的问题,提出了一种基于双路编解码器的卷积神经网络,应用于低照度图像增强和超分辨率,有效提升了户外直播的画面质量,降低了对传输带宽的需求,有利于提升户外直播的用户体验。
【关键词】 低照度图像增强,超分辨率, 卷积神经网络, 双路编解码器【中图分类号】 TP37 【文献标识码】 A【DOI编码】 10.16171/ki.rtbe.20220003008【本文献信息】刘畅,姜竹青,李凯.基于双路编解码器的卷积神经网络在低照度图像增强和超分辨率中的研究[J].广播与电视技术,2022,Vol.49(3).Research on Convolutional Neural Network Based on Dual Codecin Low-light Image Enhancement and Super-resolutionLiu Chang, Jiang Zhuqing, Li Kai(School of Artificial Intelligence, Beijing University of Posts and Telecommunications, Beijing 100876, China)Abstract This paper takes HD outdoor live broadcast technology as research background. In night scenes, live broadcast videos captured under restriction of lighting conditions are unclear and have low brightness. To solve the problem, this paper proposes a convolutional neural network based on dual codec, which can be applied in low-light image enhancement and super-resolution. This network can effectively improve the quality of outdoor live broadcast in night scenes, reduce the demand for transmission bandwidth and help improve user experience of outdoor live broadcast.Keywords Low-light image enhancement, Super-resolution, Convolutional neural network, Dual codec刘畅,姜竹青,李凯(北京邮电大学人工智能学院,北京 100876)0 引言现代科技日新月异,手机的科技含量越来越高,4G 、5G 的发展更是催生了直播的潮流。
自适应小波神经网络算法在低照度红外图像增强中的应用

点 。因此 , WN N 近年来越来越受到人们的关注 ,并被广泛研究 和应用 于各种 不同的领域 中。本文将WN N  ̄ [ 入 到低照度红外 图像增 强研究 中,并针对低照度 红外 图像的特征提出一种基于WN N 的图像增强新算
法。
2 利 用中位滤波提 取田像特征
最大迭代 的次数而 网络仍然未收敛 , 则将小波基个数增加 l ( K = K + 1 ) , 再进行 网络学习。 在WN N 学习过程 中,在多维输人情况下 ,随着 网络的输入维数增 加 ,网络所训练的样本呈指数增长 ,网络结 构也将 随之变得庞大 ,使 得 网络收敛速度大大下降。因此本文在 自适应步长确定 的基础上 ,利
中所有像素点的灰度值集合 。
3在中值滤波提取田像特征基础上的小波神经网络田像增强算法 将经过中值 滤波对 图像进行特征提取后 的灰度 图像M * N 作为学 习 图像 ,则进行 网络学 习的样本数 为M * N。对 于样本 中的某 个特征点 & 相对应的网络输出即为:
。 【 4 )
函数逼近器 。 小波神经网络 的基元和整个结构是依据小波分析理论确定 的 ,可 以避免B P 丰 申 经 网络等结构设计上的盲 目 性。 本文将 WN N  ̄ 1 人 图像增 强领域 中,先利用 中值滤 波提取 图像 特 征 ,再在其基础上提 了一种针对车载红外夜视图像 的增强算法 ,并
.
—,则E 的梯度为源自 g ( w ) 辣 最 一 ∑ t ∑ 强 ( d x . y - ' 0 ) f — 寡 话 j c p ( — 譬 嘉 , ) 】
( 6)
P S N R 和S N R 两个参数主要反映的是 图像 的保真度 ,其数值越大表 明图像的保 真度越好 ,图像 中的细节保护的越好 。N M S E  ̄数 主要反映 了处理后 的图像与理想 中图像的逼近程度 ,其数值越小表明图像增 强 效果越好 ,越接近理想 中的图像 。 小波变换通过尺度伸缩和平 移对信号进行 多尺度分析 ,能有效提 取信号的局部信息 。 神经 网络具有 自 学习 、自适应和容错性等特点 , 并 且是一类通用
低照度和黑夜环境下视频监控清晰化的解决方案

低照度和夜视环境下视频监控清晰化解决方案 夜晚环境或光线很弱的昏暗室内,对视频监控来说总是存在着看不见和看不清的问题,尽管使用了红外等夜视设备,但视觉效果仍然很差,无法看清和分辨景物的细节信息,包括详细形状、明暗层次和色彩。
而夜间和昏暗环境正是视频监控发挥作用的时间段,尤其对安防领域更是如此。
一、存在的技术难题
以往的各种夜视摄像机因为降噪处理能力很弱,因而有意降低感光度、减少进光量,所以无法看清景物的细节信息,导致视频监控效果很差,甚至红外滤镜使得视频只能是黑白图像,没有色彩。
二、先进的解决方案
唐都仪器采用了先进的图像增强技术和3D数字降噪技术,能够对各种低照度环境下的视频图像进行实时增强和降噪处理,使极低照度下的视频图像变得明亮和清晰,形成明亮清晰的彩色视频图像,使在黑暗中看不见的景物细节都能明亮清晰的显示出来,而且不损失原景物色彩,视频感观如同白天效果。
未经处理的低照度图像 处理之后的清晰图像
未经处理的低照度图像 处理之后的清晰图像
三、先进技术方案的独特优点
1、具有高清、高帧率视频的实时处理能力
可对高清及标清视频进行实时处理,没有任何时间延迟,处理后的视频帧率不变,保证了各种视频应用领域对实时性处理的要求。
2、具有优异的超低照度实时处理能力
可实时处理各种低照度环境下的视频图像,能使极低照度下的视频图像变得明亮和清晰,使在黑暗中(如缺少光照的夜晚)看不见的景物细节都能明亮清晰的显示出来,而且不损失原景物色彩,视频感观如同白天效果。
3、不用改变原视频监控系统
在原视频监控系统不做改变的情况下,就能很好解决低照度和夜视视频监控的问题。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
张向东 副教授 交通信息工程及控制
二〇一三年三月
西安电子科技大学 学位论文独创性(或创新性)声明
秉承学校严谨的学风和优良的科学道德, 本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标 注和致谢中所罗列的内容以外, 论文中不包含其他人已经发表或撰写过的研究成 果; 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处,本人承担一切相关责任。
Abstract
Abstract
Images captured by video collection equipment under low light conditions usually have low identifiability and many noises, which makes the performance of intelligent transportation, surveillance, and target identification systems reduced. Therefore, the enhancement and noise reduction of low light level images play a very important role. Firstly, the common algorithms of low light level images enhancement are introduced. Then, after analysing the relation of low light level images and foggy ones, a general method for image contrast enhancement is developed base on haze removal algorithm. Experimental results validate the performance of the proposed approach, which makes many feature hided in low illumination visible. Next, the common algorithms of noise reduction are analysed, especially the principle and feature of bilateral filter. On the basis of the analysis, an improved joint bilateral filter is presented to reduce the noise. Experiment results show that the denoising-method can get good effect. Finally, more comparisons between our results and the original images or the ones at the same place in day time or results from other methods are presented to illustrate the effectiveness of the proposed algorithm. Keywords: low light conditions image denoising image enhancement bilateral filter image haze removal
目
录
4.2.2 基于频域滤波的方法..................................... 40 4.2.3 基于小波的图像降噪技术 ................................ 40 4.3 本章小结..................................................... 42 第五章 改进的基于联合双边滤波器的图像降噪算法 ....................... 43 5.1 双边滤波器 .................................................. 43 5.1.1 高斯卷积 .............................................. 43 5.1.2 双边滤波 .............................................. 44 5.2 联合双边滤波器 .............................................. 45 5.3 改进的基于联合双边滤波器的图像降噪方法 ...................... 45 5.3.1 算法解析............................................... 45 5.3.2 算法的执行............................................. 47 5.4 实验结果及分析............................................... 48 5.5 本章小结..................................................... 50 第六章 综合实验结果及分析 ........................................... 51 6.1 综合实验结果................................................. 51 6.2 与白天同一地点的图像对比..................................... 52 6.3 与其他算法的对比 ............................................ 53 6.4 本章小结..................................................... 56 第七章 总结与展望 ................................................... 57 致 谢 .............................................................. 59 参考文献 ............................................................ 61 硕士期间研究成果 .................................................... 65
目
录
目 录
第一章 绪论 .......................................................... 1 1.1 研究背景及意义 ............................................... 1 1.2 国内外研究现状 ............................................... 2 1.3 本文研究内容 ................................................. 4 第二章 低照度图像增强算法研究 ........................................ 5 2.1 传统的低照度图像增强算法 ..................................... 5 2.1.1 灰度变换法 ............................................. 5 2.1.2 直方图均衡 ............................................. 6 2.2 Retinex 图像增强算法 ......................................... 7 2.2.1 单尺度 Retinex 算法 ..................................... 8 2.2.2 多尺度 Retinex 算法 ..................................... 9 2.2.3 其他 Retinex 算法 ....................................... 9 2.3 基于人类视觉系统感知特性的补偿方法 .......................... 10 2.4 本章小结 .................................................... 11 第三章 改进的基于去雾技术的低照度图像增强方法 ....................... 13 3.1 低照度图像与白天有雾图像之间的联系 .......................... 13 3.2 基于暗原色先验知识的图像去雾技术 ............................ 15 3.2.1 雾天图像退化模型 ...................................... 15 3.2.2 暗原色先验规律 ........................................ 18 3.2.3 基于暗原色先验的去雾算法 .............................. 21 3.3 基于去雾技术的低照度图像增强技术 ............................ 23 3.3.1 全局大气光 ............................................ 24 3.3.2 透射率 ................................................ 24 3.4 实验结果及分析 .............................................. 26 3.4.1 部分实验结果及分析 .................................... 26 3.4.2 对算法执行的优化 ...................................... 31 3.5 本章小结 .................................................... 33 第四章 低照度图像降噪算法研究 ....................................... 35 4.1 低照度图像噪声分析 .......................................... 35 4.2 常用的低照度图像降噪方法 .................................... 37 4.2.1 空域滤波图像降噪方法 .................................. 37