引子

地点：北京

时间：2023年6月3日上午10：00

人物：司令、参谋长、总师、首席甲、首席乙、首席丙、首席丁等

刚做完白内障手术康复后的司令感觉今天视力特别好，原先模糊的视力一去不返，今日却像换了个天地，平时连总师脸都看不清楚的他，现在就连总师嘴上起了几个小水泡都看得清清楚楚。再转头看到那参谋长头顶油光锃亮的“地中海”，仿佛就像大院转弯处放置的凸面镜，直接起到了会场无死角监控的作用。司令的嘴角略微上翘，下意识地摸了摸头发亦不多哉的头顶，然后拿起了水杯喝了一口水，清了清嗓子，对参谋长说：“开始吧。”

参谋长点了下头，对着麦克风说：“今天某巡航弹打靶试验的总结会，我们重点讨论一下在能见度还不错的情况下，分析对地面移动靶标脱靶的原因。下面，请总师做情况分析。”

这时，总师的脸色铁青，硬着头皮地打开PPT，开始了他的报告。报告的核心部分其实是分析打靶时的视频录像，打靶试验当天的能见度是8 km，晴间多云，在试验前几天下过大雨，湿度有点大。总师正在播放着视频，当隐隐约约出现目标时，司令喊道：“停！”而此时，正好有一丝薄云飘过，画面恰好处于目标难以看清的状态下。

远距离不同情况下的小目标探测

“解释一下。”司令说。

首席甲说：“那天的能见度比较差，水汽大，在运动平台下，电视和红外的成像效果都不是很好，信噪比低于3……”

“放屁！”司令怒喝道：“给你们这些年投了多少经费，上了多少设备，单是首席科学家都评了好几个，却连个‘白内障’都解决不了！什么能见度差？这么好的天，蓝天白云，还说什么能见度差？！难道敌人都等着你天气好的时候再打仗？无稽之谈！你们动不动就说你们的光电装备具备很强的透雾功能，能够适应恶劣环境，能够应对光电对抗云云，打靶时那么好的天气却什么都看不清！首席甲同志，你可是光电制导大专家啊，研制个装备却是个天生的‘白内障’……”

 

1.名词解释

白内障：凡如老化、遗传、局部营养障碍、免疫与代谢异常、外伤、中毒、辐射等原因，皆能引起晶状体代谢紊乱，导致晶状体蛋白质变性而发生混浊，称为白内障。此时光线被混浊晶状体阻扰无法投射在视网膜上，导致视物模糊。

白内障晶体与正常晶体对比

人造晶体：人造晶体是经手术植入眼睛里代替摘除的自身混浊晶体的精密光学部件。它通常是由一个圆形光学部和周边的支撑袢组成，其光学部的直径一般在5.5-6.0 mm左右。

人造晶体

白内障摘除手术：天然的晶体具有一个囊袋，即晶状体囊，按照手术摘除时，晶体核于囊袋的关系，分为囊内摘除和囊外摘除。在摘除混浊的晶体后，往往还要放入一个人工晶体，人工晶体的位置可以放置在前房或者后房，在后房又可以在囊内或者囊外。放置人工晶体除了可以恢复视力外，还可以恢复眼内的解剖关系，防止前部玻璃体的脱出，如果前部玻璃体从玻璃体腔内脱出到前房并且和角膜或者虹膜组织相粘连，可能会对视网膜造成牵拉。

白内障摘除手术

光电成像中的介质：光电成像中经常遇到的介质是空气和水，受其他环境因素影响，烟尘、云雾、霾等也是成像过程中必须面对的介质。这些介质的特点是对不同波长的光波吸收、折射、散射等性质不同，会造成一定程度的能量衰减，降低成像信噪比。介质对成像的影响主要表现为对比度变差、图像畸变、信噪比降低。通常采用统计的方法描述介质的特性，比如大气透过率；而畸变则多采用自适应光学的方法应对。

光电成像受传输介质影响

计算介质：计算介质是计算光学成像中重要的组成部分，作为全链路一体化设计的一部分，以“编码”的形式出现在成像过程中，对光场进行调制。不同于传统光电成像单一维度（如大气透过率τ，通常为一个常数）的消极描述方法，将介质作为一种“编码”的积极方式来考虑，用更高维度的光场元素（时间、空间、相位、偏振、光谱等）描述光场的变化，即介质变为一个由高维度元素构成的函数M(x,y,z,t,φ,P(DoP,Ф),λ...)。

由高维元素描述的传输介质

计算介质其实是一种对传统成像中介质的“升维”，也就是说，它不仅考虑了光波的吸收问题，而且对于折射、散射等因素都综合考虑到“编码”层面，将原先的一个简单系数拓展为一个复杂函数。

那么，下面的问题就是如何来解译这个复杂函数，如何做好“编码”？

 

2.症状：视物模糊

天生“白内障”的光电成像最典型的特点是视物模糊，表现跟人眼的白内障症状相似。但不同的是，人眼的视力再好，受角分辨率的影响，也只能看比较近的场景，这当然是因为“定焦”的晶状体造成的；而光电成像则多是看几公里甚至上百成千公里以外的目标，远距离的大气传输特性给我们带来了非常大的麻烦，以至于我们看到的图像雾蒙蒙一片，目标模模糊糊，甚至压根什么都看不到。

在不同距离下的光电成像效果

不同于离焦模糊和运动模糊，因为介质引起的视物模糊实际上是因为大气扰动和能量衰减造成的目标不清晰，也就是焦面上看不到清晰的像，犹如在报纸上放了一块毛玻璃，下面的字也就模模糊糊了。

离焦模糊与清晰场景

运动模糊与清晰场景

其实观察仔细一点，还会发现在不同焦距下，“白内障”的表现似也不同，焦距长时，似乎“白内障”更严重一些。

 

3.诊断：光电成像的“白内障”的成因

在传统的光电成像模型中，经典大气散射模型常描述为：

其中，I(x)为观测图像，J(x)为“干净”的无雾图像，A为全局大气光， T(x)为传输矩阵，β 为大气散射系数，d(x)为作用距离。

改写一下这个公式，就可以得到“去雾”后的图像：

很显然，求解这个方程就要估计大气传输矩阵 T(x)和全局大气光A。

大气散射模型

这个模型已经很有意思了，既考虑了大气传输矩阵，又考虑了全局大气光，前者会造成光的吸收和散射，直接结果就是探测能量降低，信噪比变差；而后者则会造成背景光的干扰，图像会变得朦朦胧胧，罩了一个“罩子”一般。

在计算成像的模式下，大气传输矩阵T(x)会扩展为计算介质的光场调制函数M(x,y,z,t,φ,P(DoP,Ф),λ...)，从这个公式上，我们就很容易分析出介质对成像的影响。

首先，我们来看空间参数(x,y,z)，它描述的是介质的成分在空间上的分布变化，既有吸收，又有散射，这导致了光场调制函数在空间上不同程度的扰动。当不考虑扰动的空间分布时，可以采用单一数值的大气透过率描述介质，这犹如在报纸上盖了一片衰减片，报纸上的字只是整体均匀地变暗了一些；而考虑空间分布时，采用单一值的办法不再可行，这时候可以用一个矩阵来近似描述介质特性，就像在报纸上盖了一片毛玻璃，报纸上的字呈现出空间上复杂的明暗变化。

不同介质分布情况下图像的变化

然后，我们再来分析时间t带来的影响。很显然，介质具有时变明显的动态变化特性，此时带来的问题是此刻的状态与上一个时刻完全不同，因此，继续采用传输矩阵等方法描述介质特性就会遇到很大的困难。

接着，我们来看φ这个参数，它代表的是相位的变化，也就是动态介质的相位扰动特性。大气扰动是一种很常见的自然现象，比如透过蒸笼的热汽看到扭曲的人脸。解决扰动问题多采用自适应光学的方法，其代价也很高，尤其是需要一个引导星以测量大气的扰动特性，使用会受到很大的限制。

介质扰动对图像的影响

接下来，我们再来看P(DoP,Ф)偏振在介质中的传播特性。很多学者研究过线偏振和圆偏振在大气和水中的传播特性，给出的结论普遍都是偏振似乎更容易描述光在介质中的传播特性，于是，就有了很多偏振去雾、偏振提升作用距离等各种研究，但却实用性不强，究其原因，则是头疼医头，脚痛医脚，没有做全局考虑，主要因为目前的偏振探测手段存在两方面的问题：①能量损失大幅降低信噪比；②过分依赖偏振度这一特性，而偏振器件的性能限制了偏振度的精度，局限了信息差异性的解译，看不远自然正常。

偏振去雾模型

最后，我们来分析波长λ的影响。很显然，介质中的颗粒会引起吸收和散射，似乎波长更长的光波更适合在介质中传播。可是，我们却经常会遇到一个“大气窗口”这样的词，那是因为介质成分对不同波长的吸收特性截然不同，典型的成分有水和CO₂，于是，多年前那个被很多人炒得“火”得不得了的太赫兹，因为空气中水的吸收问题，其“近视”程度之高，让很多人被迫接受其应用范围严重变窄的事实。当然，太赫兹做超材料研究，发出来的论文影响因子往往能吓死人。

地球大气窗口

 

4.能否摘除光电成像的“白内障”？

既然说的头头是道，那么是不是就可以摘除光电成像的“白内障”了？很显然，这个“手术”难度远大于摘除人眼的白内障。近年来，随着视觉光学和医疗技术的发展，人造晶体越来越成熟，不仅可以将那个令人“老眼昏花”的原装正品的晶状体换掉，而且可以将近视/远视的屈光度数植入这个人工晶体，可以让您轻松摘掉眼镜，并且，还带“墨镜”功能哦，再也不怕紫外线对眼睛的伤害了！

可是，光电成像就不同了，这个“白内障”仅仅是一种视觉现象，原因不在相机内部，而出在外环境上。也就是说，即使看起来很不错的天气下，你看到的依然还是雾蒙蒙一片；即使摘除了眼睛的白内障，也解决不了外在的障碍！对，其实应该叫“白外障”！

计算介质对成像的影响

“白外障”的根本原因还是介质，那么，获得介质的光场调制函数就应该是解决问题的根本。然而，介质的光场调制函数非常复杂，研究大气光学的学者做了那么多年的研究，却也往往只能给出一个影响强度的概率的统计分布，更何谈带着这么多参数的复杂函数！

那么，这个“白外障”还有救吗？答案是肯定的。罗翔曾经说过，尽管我们不能画出一个完美的圆，但我们相信，那个完美的圆是一定存在的。科学家追求真理的步伐从未停止，永远也不会停止！

 

5.摘除“白内障”的手术手册

我们简单看一下摘除“白内障”的手术过程。首先，检查眼睛晶状体、屈光度和眼底情况，然后根据患者的意愿定制人工晶体，做人工晶体的植入手术。

前面我们说了，在光电成像中介质对成像的影响其实是“白外障”，这也就意味着人眼“白内障”手术不适用。

那你还谈什么摘除“白内障”啊？

别着急，我们看一下看起来清晰的图像到底是怎么回事？为什么经过“去雾”处理后的图像看起来视觉效果好多了呢？为何人们似乎越来越“喜欢”PS后的图片，甚至到了“无滤镜不视频”的地步？

这里不得不说，视觉是主观的，而主观受意识、知识和审美等因素的影响很大，尤其是审美。“Less is more”，在艺术领域几乎无往不胜。这也就是说，我们看到的好的艺术作品，无论简单还是复杂，一定由简单元素构成。回到图像的评价，主观因素依然占据了主要地位，也就是视觉上看起来简单、清亮的图往往会被认为是“好”的图像，而这些好的图像往往经过了“熵增”，信息比原图减少了。这也就是图像处理中一条基本定律：图像处理后，信息只会减少，不会增加。

极简艺术（Minimalism）

 

“熵增”与图像处理中的“熵”变化

与视觉恰恰相反，成像的目的是尽可能记录下更丰富的光场信息，由这些光场可以解译出更高维度的信息。对成像而言，一幅好的图像（image）必须具备信息丰富的特点，然后经过不同的图像处理得到不同结果的图，而这个图其实可以认为是由图像（image）反演出来的一个视图（view），典型的一对多映射。

由一张图像可以映射出多个视图

视觉效果比较好的图像往往具有一个典型特点：简单。这个简单体现在彩色图像中，你会发现像素中某些颜色通道具有非常低的亮度值，即暗通道。简单也体现在图像的颜色数量上，可以发现无雾图像的颜色可以近似为RGB空间中数百个不同的颜色簇，随着雾霾的出现，这些紧密地聚在一起的颜色簇被延伸为一条线，也就是所谓的“雾线”。简单亦可体现在图像的颜色退化上，通过直观的比较可以发现，在没有雾霾的影响下，图像通常具有鲜艳的色彩，也就是饱和度较高；但雾霾存在的情况下，由于空气光的原因，图像的亮度增加而饱和度降低，也就是发生了“颜色衰减”。基于这些关于图像的“简单”的先验知识来建立去雾模型，那么就有了第一代的“去雾”手术——以“暗通道”去雾为代表的摘除“白内障”。

真实图像去雾效果比较

第一代的手术周期短，恢复快，不需要在“眼睛”上动刀（不改动相机），配一副“去雾”眼镜就行了（加一个图像处理算法）。这是很多人都喜欢的模式，代价很小，“配副眼镜”就能还你一个“无雾”的世界，不改变原先设备形态，通过算法赋能，就能解决问题，多好啊！可是，好是好，缺点也明显，那就是很多时候不好用，甚至不能用。对，还是那个边界条件的问题。在灰度图像中因为找不到暗通道，于是红外去雾和黑白可见光去雾就失效了；即使是彩色图像，也经常会遇到效果不好的情况。而且，参数的自适应也是个问题，一旦切换了场景，效果就会变差。

于是，就有了以“偏振去雾”为代表的第二代“白内障”摘除手术，号称物理去雾方法。第二代手术的特点是给眼睛做了手术之后再配一副眼镜，也就是必须改造原有的光学成像系统，获得数据后再做去雾处理。我在“天下无雾：我们能不能透过那道雾霾？”一文中已有论述，结论就是似有改善，但效果难达预期。很显然，这个代价有些高，而且效果并不明显，此时，问题的原因出在了“视网膜”上，也就是探测器的性能难以满足“去雾”的要求。

偏振去雾效果图

那么，摘除“白内障”还有希望吗？答案是有，于是就有了第三代摘除“白内障”手术。不过，这个手术很复杂：不但要对晶状体做手术，而且要更换视网膜。对光电成像来说，就是既要在光学系统上做一个“悟空”式的“白内障”编码（详见上一篇文章），而且还要升级探测器。很显然，这个动作太大了，挑战性很高。

那么，这个大手术该怎么做？我们分别从晶状体和视网膜两个角度分析。

首先，在光学系统方面，需要植入一个自适应多维度光场编码器，以解决介质“白外障”带来的畸变和时变问题。如果按照传统的自适应光学方法，只要能测出传输矩阵，用哈特曼传感器就能解决大气湍流带来的问题。可是，你也没见过单用自适应光学解决去雾问题啊！也许，你会说，看第三部分的那个去雾公式，求出传输矩阵不就能还原清晰世界了吗？当然不是，因为介质对成像的影响是多方面的，还得从光场的角度来分析问题才能触及问题的本质。我们看一下光场的要素：光谱、偏振、相位、时间和空间，而大多传输矩阵只给出了强度的空间分布情况，至少光谱和偏振极少给出，当然时变特性是大气和水等动态介质的本征特性，是必须要考虑的。既然计算成像的灵魂是光场，引擎是升维，从升维来考虑问题一定没错。那就是说，偏振和光谱必然能带来维度的提升，偏振去雾已经验证了去雾的有效性，尽管饱受质疑；而不同谱段下我们看到的信息确实很不一样，比如在短波红外波段的透雾功能比可见光强多了，更精细的光谱也必然会带来新的“视”界。这就引出了另外一个问题：如何升维？即如何构建偏振、光谱等与去雾的关系。这个问题很复杂，我会在以后的文章里讲计算成像的范式问题。

哈特曼波前传感器原理

有人就提出：既然都验证了偏振去雾的有效性，为何还要质疑呢？这个问题主要出在探测器上，因为目前的偏振探测是以牺牲能量为代价的，雾天情况下偏振带来的那点高维信息的信噪比实在是让人为难，解译度太差，效果自然不理想。如果再引入光谱，估计很多人都会跳起来。那怎么办？换探测器！

能够记录高维信息的计算探测器

目前，眼科的手术还不能换视网膜。但对光电成像而言，探测器是可以换的，只要有。可是这样的探测器也没有！没有就造呗。您说的对！如何设计这样的探测器，我也会在之后的文章专门讲述。

读到这里，你会发现：计算成像的终极问题出在探测器上。不久的将来，你会发现探测器将不会是现在的形态了。

当然，我们不能忽视的另外一个问题是计算成像中的数学问题，因为能量损失之后，量化深度不够，而信噪比又很低时，这些在模拟信号里可以很平缓处理的问题到了数字信号处理就变成了麻烦事，积分的不连续性、数字信号处理的近似取整以及无穷的问题，都会增加处理的难度。详细请参阅“计算光学成像中的数学问题思考”。

 

6.摘除“白内障”，路漫漫其修远兮！

眼睛的“白内障”好除，光电成像的“白外障”难除。最主要的原因是介质的光场调制传递函数过于复杂，高维度光场函数鲜有关注。我们并不是一定要得到维度多么复杂的光场才能解决这个问题，而是要考虑计算介质中的强度、相位、偏振和光谱等特性在摘除“白外障”方面哪些特征显著，以什么样的方式投影求解更合适为宜。当然，计算探测器的角色依然很重要，尤其是多维度物理量高效率探测可以为我们提供更丰富的光场信息，而光场的解译算法也是解决问题的最后一公里，都需要我们去探索。

世界的不完美是我们追求完美的动力。终有一天，我们能摘除这个“白内障”！