超表面承担视觉前端 | 光域特征提取与边缘多任务处理

边缘视觉系统的信号链是：传感器把画面转成电信号，特征提取、融合与多任务输出全部由数字芯片完成。车载、无人机、卫星平台的算力与功耗装不下大模型。《Nature》的一篇文章，把特征提取移到成像光路内。

文章来源

论文题为《Optical metasurfaces for general vision processing on the edge》来自香港中文大学黄超然团队。详情见 Nature 654, 917–925 (2026)，DOI: 10.1038/s41586-026-10635-z。

前端是一块约 10 mm² 的无源超表面（不耗电、无需外部供能），后端是一个 8.7 万参数的数字网络；系统在 Cityscapes 街景与 DAVIS 视频上完成目标检测、语义分割、深度估计和视频分割，并做了一台可架在路边的原型。

a 为传统数字流水线，画面进入传感器后由计算集群完成特征提取与融合；

b、c 为本文方案，MetaExtractor 超表面前端在成像时分别提取局部与全局特征，交给 8.7 万参数的数字后端，一次前向输出检测、分割与深度结果；

d–f 为 10 mm² 超表面实物（e）与集成相机模组（f）。

光学自由度 4100 万，可训练参数 8.7 万

超表面由亚波长单元结构排布而成，在平面上调制光场的相位、振幅与偏振。芯片上排 6400×6400 个硅纳米柱，直径 100–400 nm，合计约 4100 万个。论文标注的 MetaExtractor 41 million parameters 指的就是这些纳米柱，属光学自由度：器件制成后固定，不可训练。可训练参数只有后端 8.7 万个，下文参数量均指后者。

光学部分承担的是一次固定变换，任务适配全部落在小网络上，这也是 8.7 万参数够用的原因。

特征提取发生在成像光路内

入射光先过纳米柱阵列。每个成像单元对应 16×16 个不同尺寸的纳米柱，光场被调制为 256 路特征。传感器记录光强而非复振幅，256 路在探测时线性叠加为单通道强度图，不存在先把 256 路特征图传给后端这一步。

纳米柱几何参数按高斯分布取样，整片器件的调制量构成一组随机特征，对应 RBF 核（径向基函数核）。论文的依据是核规模足够大时，高斯采样可以逼近该核，无需逐个标定纳米柱。亚波长结构同时对空间频率作选择性调制，配合衍射传播与强度探测，增强或抑制部分空间特征。

超表面到传感器的距离决定点扩散函数宽度，也决定等效感受野：d₁≈1 mm 时偏局部细节，d₂≈6 mm 时覆盖整幅图、偏全局轮廓。两路强度图送入 FusionNet 与多任务分支，输出检测框、分割掩膜与深度图。

随机采样的另一个结果是容差余量：四片同设计芯片的分割 IOU 最大相差 1.4%，换任务不必重做超表面。前端固定，换任务只能重训后端，一个为深度估计优化的核迁到分割任务，性能下降约 69%。

分割与检测接近数字模型，深度预估偏弱

以往光学神经网络多在小数据集上做单一分类。论文附表 Extended Data Table 1 所列系统，均未标注为追上同期最好的数字模型。本文的场景是 2048×1024 的 Cityscapes 与 DAVIS，覆盖检测、分割、深度与视频。

语义分割IOU64.8%，高于DDRNet，低于 SegFormer(68.4%)与 Mask2Former(70.2%)；目标检测 62.8%，与Deformable DETR(63.2%)接近；深度估计 RMSE0.91，优于AdaBins与 Depth Anything，劣于 DPT 与MiDaS。深度与视频两类任务上，它优于部分参数量大得多的模型。

影响对比的口径有三处

1.数据集图像先缩放到 400×400，再由空间光调制器载入，不以原始分辨率进入光路；

2.检测指标为平均 IOU，不是 mAP；

3.数据集实验用 532 nm LED 加反射式空间光调制器；原型用 800–1200 nm 近红外带通，取环境光中的红外成分。

b、d、f 分别是检测、分割、深度的输出，与人工标注及各数字模型对照；c、e、g 把各模型按参数量与精度摆开，本文系统（红圈）落在横轴左侧。

数字后端 76 mJ，优势只覆盖这一段

完成检测、分割、深度三类任务，数字后端为 8.7 万参数、0.578 GFLOPs、约 76 mJ。

三组对照

1.YOLOv5:4700万参数、46GFLOPs、1.64J；

2.Mask2Former:2.15亿参数、366GFLOPs、11.09 J；

3.DPT：3.43 亿参数、517 GFLOPs、11.26 J。

对应差距为参数约 6900 倍、运算量约 1600 倍、能耗约 300 倍。

差额来自计算位置的前移：每次推理的矩阵乘加被转移到 4100 万个纳米柱的一次性制造中。该交换在任务集合固定的边缘设备上成立。

原型为 80×80 mm 三摄像头模组：两路透射式超表面固定在两个衍射距离上，分别取局部与全局特征，第三路 RGB 相机仅用于可视化。超表面与 CMOS 传感器分开装配，未做晶圆级堆叠。整机运行在 5 W 的 Jetson Nano 上，分割分支存储 173 KB。相比 Mask2Former，内存省约 4867 倍、能耗约 184 倍、GPU 时延低约 96 倍，这组为 GPU 对照值；Jetson Nano 上分割分支时延 18.7 ms，三类任务完整后端 28.6 ms。

上述数字仅含数字后端，不含传感器、图像信号处理、封装与标定，整机功耗另计。按论文的显存与算力预算，SegFormer 与 Mask2Former 在 Jetson Nano 上标注为装不下，对照的分界在部署可行性，而非精度。

b 为 80×80 mm 三摄像头模组；c 为路测实景；d 为本原型与 SegFormer、Mask2Former 在 IOU、能耗、内存、时延上的对比，后两者在 Jetson Nano 上标注为 Undeployable；e 为连续帧分割结果。

不可重训与制造数据缺口

通用性来自那个不做任务优化的高斯核；为单项任务定制核后，跨任务能力明显退化。原型依赖环境光中的近红外成分，夜间无主动补光时红外信号不足，论文未给该条件下的实测。路边原型的场景由团队在校园自采，标注由 SAM2 生成后人工修正，不是公开基准成绩。

制造上，芯片为硅基 SOI（绝缘体上硅）工艺、由商用代工厂完成，论文提到低成本与高良率的可能；当前图形化用电子束光刻，适合研发与小批量试制，不具备大批量生产能力，全文未给良率、成本与车规可靠性数据。同团队 2024 年发表过用超表面实现并行卷积的工作，本次将处理对象从单一卷积扩展到多任务视觉前端。

从原理样机到产品形态，有3点尚未确定

1.图形化能否从电子束光刻换成 DUV 光刻（深紫外光刻）。

2.把传感器、后端与标定一并计入后，相对现成边缘 AI 芯片是否仍有系统级能效优势。

3.这些优势是否有公开可比的数据。

OAS光学(分析)软件超表面仿真

单元结构的相位响应、整片阵列的波前合成、加工偏差对性能的影响。OAS 用一条跨尺度流程将这三层放在同一套软件内，从纳米单元算到系统成像。

• 单元级用二维／三维 RCWA（严格耦合波分析）求解纳米结构的相位与效率。

• 阵列级用矢量衍射合成波前，系统级接回几何光学光线追迹，单元与器件共用同一份材料数据。

• 折超混合模块由目标相位反查纳米结构，也可将二元面或自定义相位面转换为折超混合透镜。

• 成像端给出 PSF（点扩散函数）、MTF（调制传递函数）与杂散光评估，并可在设计阶段评估结构偏差。

#光学设计 #超表面 #超透镜 #物理光学 #OAS光学软件