元视觉与计算光学成像|邵晓鹏专栏第二季

我们看到的一切都是一个视角，不是真相。——马克·奥勒留《沉思录》

眼见是否为实？

我们来看一个例子：立体画画家张世先用炭粉在马路上画了一组又一组立体画，鸭子不敢过，狗绕着走，人吓得不敢过，汽车刹车停下……而这一幕幕的“罪魁祸首”却是视力的错觉。

我们再看一个例子：一把盛满热水的热水壶，你不小心摸了一下，立马让你撤手，因为人眼看不到热红外，物体的冷热很难从视觉上分辨。

丛林之中，我们抬眼看到的是白云朵朵蓝蓝的天，低端生物小蜜蜂却能够看到光的偏振态，顺顺利利把家还，而你却不知东南西北，空有一肚子知识离开了装备只能迷路。

我们再换个角度来看一个问题：同一个物体分别用可见光黑白相机、彩色相机、红外相机、多光谱相机、偏振相机拍摄，得到的图像各不相同。为什么？这其实涉及到成像的本质问题，那就是光场信息的获取和解译；光场是高维度的，成像仅仅是光场在不同维度的映射，我们看到的都是投影。

接着，我们再深层次考虑一个问题：同一幅城市马路上拍摄的交通图像，交管领导关心的是全局路况，警察关心的是自己分工的路段，违章的人关心自己怎么就被拍着了……

很显然，成像的原始数据应该是高维度光场的低维度映射，作为源（source）数据，可以根据不同的需求加工成不同的产品提供给不同的人，各取所需。

那么，这些不同的成像、投影和“显示”之间有什么样的关系，又有什么样的联系？下面，我们就详细讲一下元视觉与计算光学成像的关系。

一、元宇宙与元视觉

中文的“元”字，有开始、基本的、根源、根本之意，《易经》的第一卦乾卦的第一句系词“元亨利贞”之元，亦为此意；在英文中叫Meta，最早来源于拉丁语。在科技界，带上“元”/Meta前缀的词马上就变得高大上起来了，就连Facebook都把公司名字改成Meta了。当然，还有更绝的是埃隆·马斯克，据说为了封掉前女友在Twitter上的账号，直接收购了Twitter，还改了名为X。

这几年，铺天盖地流行起来的“元宇宙（Metaverse）”确实让人迷惑，让人搞不清楚它到底是个什么玩意儿，到底是什么黑科技。

那么，什么是元宇宙呢？

在百度百科中，元宇宙的描述如下：“元宇宙”本身并不是新技术，而是集成了一大批现有技术，包括5G、云计算、人工智能、虚拟现实、区块链、数字货币、物联网、人机交互等。于是，就有人说，元宇宙其实是个大杂烩、杂货铺，没什么新玩意儿。这种说法其实并不科学，我们先看看“元宇宙”这个词的历史。

“元宇宙”一词诞生于1992年的科幻小说《雪崩》。小说中提到“Metaverse（元宇宙）”和“Avatar（本义：化身，音译：阿凡达）”两个概念。人们在“Metaverse”里可以拥有自己的虚拟替身，这个虚拟的世界就叫做“元宇宙”。小说描绘了一个庞大的虚拟现实世界，在这里，人们用数字化身来控制，并相互竞争以提高自己的地位。到如今看来，小说描述的还是蛮超前的未来世界。

其实，我们可以理解元宇宙就是利用光、电、磁、声等技术实现人沉浸于现实与虚拟之间，让人的视觉、听觉、嗅觉、味觉、触觉和意识深度融入其中的复杂技术。

我们关心的是元视觉，赶个时髦，给它起个洋名：Metavision。所谓元视觉其实是物体经过成像后的高维度光场分布。因为人只能看到光场中光强信息分布情况，加上红绿蓝三色感光细胞，看到的也仅仅是三个光谱在大脑中合成的彩色图像而已。很显然，元视觉也可以称之为超视觉，因为它超出人类视觉之外，但可以用光场探测的方式获得“全”光场的信息，这就是那个近似的原始光场数据。

元视觉无疑是人类拓展“看清”世界的本源，因为它的本质是成像后的高维度光场信息，也是经过成像系统退化后的光场，只是这个光场是一个“全”维度的。有人问：为什么是经过成像系统后的光场？这是因为所谓的视觉就是感知到的场景图像，比如人类视觉就是人眼看到的场景。目前，所有的成像系统都无法获取元视觉数据，因为现有的成像系统感知维度不够，也就是要把光场全要素（时间、空间、强度、光谱、偏振、相位等）同时记录下来的设备目前还不存在。

既然如此，我们为何还要研究元视觉呢？这是因为我们看到的都是视角，不是全部；元视觉是“全”光场的记录数据，它的出现对于解决高维度光场的传输和映射问题意义重大，而且，我们可以通过成像的退化模型，还原、逼近真实的客观场景的光场分布情况；这不仅有助于优化计算成像范式设计和计算探测器的模型设计，而且能从光场的分布中精准辨析目标和背景的光学特性，这对于成像后的数据如何针对不同人群需要加工成不同的“视图”研究非常有帮助。任何一种成像方式都可以看做是元视觉的一种投影模式，而视图也是元视觉的投影方式。

二、元视角——元视觉的投影

马克·奥勒留说：我们看到的一切都是视角。

那么，在元视觉中的视角是什么？答案是元视觉的某一种投影，因为元视觉是成像后的“全”光场分布，它在任意维度的投影就是元视角，这个视角恰恰也就是一种计算成像方式，投影便是计算成像的范式。

于是，问题似乎变得简单了，因为之前我们已经讲过范式设计的问题。但，讲过并不意味着问题已解决，恰恰相反，这只是问题的开始。不信你看看，现在计算成像范式设计的种类有多少，掰着手指都能数得过来；而且，复杂一点的范式设计几乎没有，就连维度高一点的计算成像方法都不多。比如，偏振成像，是在传统强度成像的基础上加上了偏振这个维度，而且，很多做偏振成像处理时，经常地只用到偏振度这一个物理量，把偏振角扔到旮旯里了。这种阉割版的偏振成像既会由于解算偏振而带来能量的损失，也因为特征信息与噪声等相互影响对实际信息感知带不来多大好处，性价比很低。再看看光谱成像，费了牛劲分光，牺牲时间/空间分辨率得到了一幅严重“肥胖症”的光谱图像，有用信息少，且非常非常不好用，就像“按偏了的指纹”。然后，我们再举一个偏振光谱成像的例子，这个维度算是比较高的，既有强度，还有偏振和光谱，单从维度上看，几乎可以笑傲江湖了。但是，我们看偏振成像和光谱成像的缺点它该有的都有，优点呢是有更高的维度光场数据，按理讲，这种成像方法肯定能解决更复杂的问题，然而……现实却是，偏振特性与光谱很少见到能融合用好的，大都是偏振干偏振的活儿，光谱干光谱的活儿，各自挣工分，各不相欠，大有“远看成岭侧成峰，远近高低各不同”之象，如果这样，要你何用？还有没有更高维度的呢？比如，把时间再加上。答案是很难，因为无论光谱、偏振还是时间，最终在成像中竞争的还是信噪比问题，我将在后续的文章中探讨这个问题。

为什么会出现这种情况？

本质的原因我们只吃过猪肉，还真没有见过猪跑。因为我们确实还从来没有真正获得过完整的“全”光场数据，之所以称它为“元视觉”，就是因为它是最基础的本征数据，没有了“本源”，自然计算成像范式设计只能是“无源之水”了，元视角的偏差到底有多大，那就更难说了。

光场从来都是各个物理量混叠在一起的，我们努力地将它们分开，并在欧几里得空间中凿一口又一口深井，甚至装修的金碧辉煌，每个深井都是彼此的壁垒，生活着不同专业的人；各个专业的人在井下生活的怡然自得，连出去看一眼都懒得看。

难道真的要像外科手术细分病因或科室一样，把光场按门分类分别投影到不同空间，然后各自独立探测获得吗？当然不是。细想一下：外科手术真的精准地能把癌细胞和健康细胞分离出来吗？手术能不改变原有的状态吗？而且，我们还知道量子力学中有海森堡测不准原理。

那该如何？

三、元编码，通往元视觉之路

无疑，编码是通往元视觉之路最好的选择。关于编码的问题，我在“编码，该怎么编码？”那一章中有过详细的论述，它不简简单单是编码孔径之类的那种低维度的编码形式，更重要的是，它是一种高维度的混叠编码过程，形式可以是多样的，甚至是简单的，但是在物理量上却是混叠的，经过探测后，需要根据混叠模式解译出来，重构出高维度光场的信息。

自然，你会问：我到底该怎么去编码呢？如果把编码看成功夫的一招一式，而顶级的功夫却是“无招胜有招”，如独孤九剑一般，每一招看似平平淡淡，甚至有点傻里傻气的笨拙，却能一招化解危机，甚至一招致命。你说，这不是废话吗？既是也不是，因为每一个招式都不仅蕴含着基础的积累，而且有着跳出“专业深井”圈子的眼界和更高维度的悟性思考。换句话来说，计算成像不是要将问题变复杂，而是要将问题变得更简单。但从简单到复杂，再从复杂到简单，前一个“简单”更多的是朴素，而后一个“简单”则是升维之后的质朴。

回到编码上来，它的目的是将高维光场降维，然后以混叠的形式低维度探测。其实这个过程应该这样来描述：光场本身就是高维度的，如果采用复杂的光路形式，将各个物理分量分离出来单独探测，自然可以获得一个由各个不同维度构成的高维度光场，这个光场也就是那个元视觉。为了区别其他编码，我们把这种编码形式称之为“元编码”。

元编码的手段有很多。既可以在空间上编码，也可以在时间上编码，还可以在光学镜头和探测器上编码，甚至还可以做出更复杂的变换空间的编码。评价一种元编码的优劣与否要看其能否更有利于将高维度光场低损耗地投影到平面探测器上，而且能高精度恢复高维度光场信息。在这里需要注意的是，编码好坏不是看编码复杂度与否，相反，越简单的编码越容易工程上实现，可靠性越高。

我们先举个简单的例子：多光谱编码成像。编码的方法有很多，典型的有两类：压缩光谱编码和线性光谱编码。压缩光谱编码成像大家都很熟悉了，其原理是压缩感知，红极一时，依靠着随机编码的方法和压缩感知算法可以实现几十个光谱的成像方法，目前已产品化，而且随着人工智能的发展，光谱分辨率大有提高趋势。但压缩光谱成像也存在一些问题：1、理论上讲，编码须随机，且宜每次变换；2、算法复杂，结果的概率性问题难以解决；3、到底能恢复出多少个光谱没有理论依据。那么线性光谱编码呢？此类编码很简单，就是需要几个谱段，用线性组合的方式置于光学系统即可，方法简单，理论清楚，能量损失多少，牺牲多少位深（bits depth，存储的深度）清晰可见。如果应用人工智能方法，也大可拓展光谱分辨率。当然，这两种方法的共同特点是必须要将编码置于光谱能够混叠的位置，如4f系统的焦面、镜头的光圈处等。

再进一步地，我们考虑一下更复杂一点的偏振多光谱成像，有偏振（这里主要考虑线偏振）有多光谱，编码模块中必须要有偏振的两个方向和多个光谱的元素，是不是更有挑战性呢？同样，我们还是采用线性编码的模式，换成偏振探测器模式，就可以将偏振多光谱由偏振维、光谱维和强度维多个维度映射投影到平面探测器，这个过程其实是借助空间维度将偏振维、光谱维和强度维压缩到混叠的强度维，做到了从三维降到一维；加上时间维度（由探测器帧频决定），就可以获得一幅二维混叠的数据流，实时记录高维度光场的存储，这是元视觉的很好拓展。后续的文章，我将详细讲述偏振多光谱成像技术。

很显然，高效的降维编码模式是通往元视觉之路的保障。那么，有了元视觉数据，我们该怎么做呢？元视觉其实是“璞玉”——没有打磨过的“未琢之玉”，也就是原材料，就像请客吃饭一样，你总不能把一大堆从菜市场买回来的蔬菜、生肉、海鲜等丢给客人说：你吃吧？以这些原材料为基础，以什么样的方式展现给客户，就需要像烹饪一样加工。

具体的，就是把元视觉作为本，根据用户需求加工数据，将元视觉转换为不同用户应用的元视图（Meta-View）。

四、元视图：我们到底要看什么？

我们先看词典里“View”的解释：the ability to see something or to be seen from a particular place。其实“视图”的概念来最先自于计算机领域，在数据库中，视图是一张虚拟表，其内容由查询定义；在图形化软件中，都有一个“视图”的菜单，可以选择不同模式的显示。在这里，视图的概念拓展就是面向不同的人，提供不同的数据产品。之所以采用视图这个词，就是要体现“千人千面”，同一成像结果以不同形式、针对性地表达出来。

在元视觉中，视图的本质是元视觉数据依需求的映射变换形式，以图像的形式在显示端展示给用户，这种视图称之为元视图。元视觉是高维度数据，元视图是以图像形式的2D/3D数据（在三维成像中可以是3D数据），这个过程还是降维，只不过，这个降维与视角不同，是将元视觉的高维数据转换为不同用户所关心的信息。这恰恰又与之前“未来‘图像’数据长什么样？”一文中讲的图像处理方法密切相关，不同的是，我们还会将一些图像处理、目标检测跟踪算法加入进来，突出用户需求。

其实，视图并不是新鲜事儿。我们知道，统计数据可以用表格、直方图、饼状图、折线图、雷达图等不同形式表示，图像数据可以直接强度显示，也可以使用伪彩色、高程图等方式显示，这些方法大家都很熟悉。

那么，元视图与元视角是什么关系呢？元视角是元视觉的映射投影降维表示形式，是计算成像的一种范式形式；而元视图是元视觉降维的数据表示形式。于是，我们就可以得出一个结论：元视图也可以是元视角数据的表示形式。

在这里，我们给出元视觉、元视角和元视图的关系：元视觉是源（source），元视角是其子集，元视图是表示。

我们举例来说明。一个场景的元视觉是本征光场数据，元视角既可以是偏振成像，也可以是偏振多光谱成像。对于偏振应用来说，可以去雾、色彩还原偏振目标识别和三维成像等，于是元视图就可以分别对应去雾后的图像、色彩还原后的图像、偏振目标识别后的图像和三维图像等。再来看偏振多光谱应用，相比偏振成像而言，又增加了一个光谱维，除了有偏振的元视图外，还可以有加上光谱维度的图像数据。

上面这些元视图主要是围绕着功能来做的投影，其实还可以进一步根据具体用户关心的事儿来细化视图。我们举一个广域高分辨率成像的例子吧，它的特点是视场大、分辨率高，动辄以数亿为计的像素数让现有的显示设备望洋兴叹。在应用中，我们既需要看到大视场的全景图，还需要看到具备的细节，对于具体应用来讲，如道路监控，有人关心车流量，有人关心是否闯红灯，还有人关心交通事故，甚至有人关心哪一辆车和某个人的行踪……他们的需求都可以从一幅广域高分辨率的图像中选择性的突显、标记、推送给他们，这也是一种视图。恰恰是这些视图是用户最关心的，而这些元视图皆来源于元视觉。

至此，元视觉、元视角、元编码和元视图的关系已经梳理完，它们与计算成像的关系也已然清楚。还有什么要说的吗？有，那就是元探测器。

五、元探测器：元视觉的品质担当

什么是元探测器？它与计算探测器是什么关系？

元探测器为元视觉而生，是元编码后最终的投影关系在低维空间上的记录器件。在这里，这个低维度空间记录器的形式可以是常见的是二维平面，也可以是不常见的球面，甚至可以是任意形状的曲面。从数学上看，投影信息记录越准确，元视觉光场数据恢复精度就越高；投影后的维度越多，元视觉解译出的光场维度就越高。虽然我们可以在理论上设计出各式各样面型的探测器，但制造工艺往往会限制探测器的设计，因为平面最简单，工艺最可靠，现在的探测器多为焦平面探测器。

从上面的定义来看，元探测器其实就是计算探测器——多维物理探测的阵列器件，只是在发展不同阶段有不同的定义而言。在“千呼万唤不出来的计算探测器”一文中，我们描述了计算探测器的形态、优势、发展态势和存在的诸多问题等等，但没有考虑元编码，这必然会造成理解上的不深入、认识不到位的问题。假如我们换一种视角看，光电探测器本质就是实现光-电转化的器件，而光本身涵盖光矢方向、振幅、光谱、偏振、相位等物理维度特征以及空间分布、时间起伏等统计维度特征。这些特征天然地缠绕在一起，其中对特定成像应用（如伪装识别、三维成像）最为关键的其实只有几个而已，元探测器在基本光-电转换探测功能的基础上，以元编码的方式，将这几个关键特征维度加以人为设计的“再交织”，将探测器读出电信号与光场中这几个维度信息建立编码映射关系从而实现多维感知。

当然上面谈到的是元探测器物理机理问题，作为实现元视觉的最后一公里，元探测器的性能是其元视觉成像品质的保障。它的研究课题既包含了传统探测器的材料、工艺、光谱响应率、暗电流、非均匀性等问题，更纳入了新的架构设计、量化采样方式、信号读出方式、多物理量映射存储记录等问题，我将在今后的文章中详细讨论。

六、讹传

世间流传了两个故事与元视觉有关，抄录如下。

1、远古的人类

据说，最早的人类是拥有超能力的，视觉上能看清善恶，所有人说同一种语言，他们甚至还建了巴别塔。这可冒犯了上帝，上帝打乱了人类的语言系统，让不同种族的人说不同的语言，从而形成交流上的障碍；这还不行，上帝让人类的眼睛蒙上了“油”，上了枷锁，只能看到可见光窄窄的一段却被自大的人类称之为五彩缤纷的绚烂世界，但是，从此善恶难分，即使是喝了有毒的牛奶和饮料，吃了过期的食品，也不自知，更时常有毒牛奶、地沟油、毒姜蒜等泛滥害人之事发生，必须要借助于复杂昂贵的仪器才能测出。

2、孙悟空之死

四大名著历史上曾被禁的竟然是《西游记》。有一个说法是孙悟空拥有火眼金睛，即有元视觉的眼睛，什么妖魔鬼怪，什么食物下毒，一看便知。而且，他的这只惹祸的眼看到了太多不该看到的东西，这可让如来和玉帝很恼火，于是，如来联合玉帝做了个局——弄死这猴子！于是，在《西游记》第五十七回，在众仙、佛皆不能辨出真假美猴王之时，如来却道出六耳猕猴与孙悟空的些许不同，于是手疾眼快的孙悟空一棒把变化后了的六耳猕猴给打死了。一群吃瓜群众兴奋不已，却不知这背后的真实情况确是打死的是真悟空，取而代之的是看起来一模一样的六耳猕猴——平行宇宙中孙悟空的pro max版。于是，《西游记》第五十七章之后 “孙猴子”就乖多了，早请示，晚汇报，可能原因便是如此。如来怀念说：那个猴子难得拥有元视觉，能把什么都看清楚、看明白，可惜了！