雾霾太重?深度神经网络教你如何图像去雾

  雷锋网 (搜索“雷锋网”公众号关注) 按:本文作者蔡博仑,华南理工大学在读博士研究生。主要研究方向,机器学习,计算机视觉,图像处理等 。

  北京城被中度污染天气包围,到处都是灰蒙蒙一片——雾霾天又来了。 从11日起,雾霾天气就开始出现,根据北京环境监测中心最新预报,这一轮雾霾短期内不会明显好转,尤其是今明两天,北京空气质量维持在4级中度污染,雾霾会一直持续到本周日。

  雾霾是特定气候与人类活动相互作用的结果。高密度人口的经济生产及社会活动会排放大量细颗粒物,一旦排放量超过大气循环和承载能力,悬浮颗粒受静稳天气的影响持续积聚,极易出现大范围的雾霾。

  一、图像去雾的核心

  现有的 图像去雾 (Image Dehazing)技术离不开一个简单的自然模型—— 大气散射模型(Atmospheric Scattering Model) 。大气散射模型描述了,在雾霾和光照的共同作用下的成像机制:

物联网

  阳光在物体表面形成反射光 J ( x ) ,反射光在穿过雾霾的过程发生散射,只有部分能量 J ( x ) t ( x ) 能到达摄像头。与此同时,阳光也在悬浮颗粒表面散射形成大气光 α 被摄像头接收。因此,摄像头中的成像 I ( x ) 可由两部分组成,透射的物体亮度 J (x ) t ( x ) 和散射的大气光照 α ( 1-t ( x )) :

  其中, t ( x ) 是 媒介透射率 (medium transmission),顾名思义表示 能顺利透过雾霾到达摄像头的比率 。因此,透射率跟物体与摄像头距离 d ( x ) 成反比,离摄像头越远的物体受雾霾影响更大。 当距离 d ( x ) 趋于无穷大时,透射率 t ( x ) 趋于零, I ( x ) 趋近于 α , α= max y∈ { x|t ( x ) ≤t0 } I ( y ) 。综上所述, 去雾的核心是如何更精确地估计媒介透射率 t ( x ) 。

物联网

  二、基于人工特征

  手工特征是传统机器视觉的基础,讲究的是熟能生巧,依赖的是实践出真知。通过“观察→经验→设计”构建各式各样的特征来满足各式各样的任务需求。图像去雾技术也是沿着手工特征逐步地发展起来。

  (1)暗通道先验 [2] (Dark Channel Prior,DCP)

  说起去雾特征,不得不提起的暗通道先验(DCP)。大道之行在于简,DCP作为CVPR 2009的最佳论文,以简洁有效的先验假设解决了雾霾浓度估计问题。

  观察发现,清晰图像块的RGB颜色空间中有一个通道很暗(数值很低甚至接近于零)。因此基于暗通道先验,雾的浓度可由最暗通道的数值近似表示:

物联网

  (2)最大对比度 [3] (Maximum Contrast,MC)

  根据大气散射模型,雾霾会降低物体成像的对比度: Σ x ‖ ΔI(x) ‖ =tΣ x ‖ ΔJ(x) ‖ ≤Σ x‖ ΔJ(x) ‖ 。 因此,基于这个推论可利用局部对比度来近似估计雾霾的浓度。同时,也可以通过最大化局部对比度来还原图像的颜色和能见度。

  (3)颜色衰减先验 [4] (Color Attenuation Prior,CAP)

  颜色衰减先验(CAP)是一种与暗通道先验(DCP)相似的先验特征。观察发现雾霾会同时导致图像饱和度的降低和亮度的增加,整体上表现为颜色的衰减。根据颜色衰减先验,亮度和饱和度的差值被应用于估计雾霾的浓度:

物联网
物联网

  三、基于深度智能

  人的视觉系统并不需依赖这些显式的特征变换,便可以很好地估计雾的浓度和场景的深度。 DehazeNet 是一个特殊设计的深度卷积网络,利用深度学习去智能地学习雾霾特征,解决手工特征设计的难点和痛点。