科学研究

▶光场成像的轴向超分辨率方法研究

（项目批准号：61501370   起止时间：201601-201812   负责人：肖照林）

光场成像理论作为计算摄影学的代表性理论之一，实现了创新性的可交互式图像生成，因而成为光学成像、信号处理、计算机图形学、计算机视觉等领域的研究热点。现有光场成像系统设计过程中存在图像分辨率与轴向分辨率的折衷问题，这在很大程度上限制了光场成像技术的进一步发展和应用。

本项目属于计算摄影学领域的光场成像理论与方法研究。轴向超分辨率是从数据处理阶段突破光场成像分辨率折衷瓶颈的关键问题，研究成果能够提高光场成像系统的重聚焦能力和成像质量，故具有重要的理论意义与应用价值。 研究内容 ：针对现有光场成像系统存在轴向分辨率不足的问题，本项目拟开展光场成像的轴向超分辨率方法研究。主要研究内容包括：

1） 研究双平面光场模型的成像轴向分辨率模型及评价

a.针对双平面模型光场成像系统，研究光场采样特性、数据处理及成像方法对轴向分辨率的影响，构建光场轴向分辨率模型。 b.针对光场重聚焦能力轴向的非线性变化特性，研究轴向分辨率的度量方法，提出轴向分辨率的量化评价方法。

2）研究轴向超分辨率光场图像生成及优化方法

a.在给定光场数据条件下，研究高质量光场数据解耦及重采样方法，探寻适合光场轴向超分辨率的空频域成像算法。 b. 在轴向超分辨率图像生成的基础上，研究光场非均匀采样与欠采样问题对其图像质量的影响，进一步探寻光场图像序列质量的优化方法。

▶双平面光场局部不变性特征提取与匹配方法研究

（项目批准号：61871319   起止时间：201901-202212   负责人：肖照林）

自上世纪九十年代以来，对图像特征的提取与匹配问题的研究极大推动了计算机视觉技术的发展。特征匹配多义性问题的本质原因在于：传统光学成像仅记录二维成像平面的光强分布，其降维的信号采集过程难以有效记录高维的场景信息。本项目的研究将推动宽基线光场理论的发展，并为解决计算机视觉匹配的多义性问题提供新的思路，进而为拓展计算机视觉与光场成像技术的应用提供重要理论支撑。

最近，2017年光场相机标定工作[56, 57]仍以传统二维图像特征为基础，其参数计算过程依赖于所选的关键视角，宽基线光场数据的关键视角选择仍存在多义性。因此，如何有效解决光场数据特征选取和计算匹配的多义性问题，已成为光场成像领域亟待解决的热点问题。主要研究内容包括：

1）研究双平面光场局部不变性特征分析与提取理论

a)以传统图像局部不变性特征理论为基础，研究双平面光场空间-角度采样的局部不变性原理，构建光场局部不变性特征的分析理论。 b)针对光场传播过程，研究光场局部不变性特征在几何变换条件下的数学描述，探索光场特征的提取方法，并生成光场特征分析数据集。

2）研究双平面光场局部不变性特征的相似性度量

a)针对双平面光场的高维特征，研究光场局部不变性特征的尺度空间选择问题，提升光场局部不变性特征的可区分性。 b)以光场局部不变性原理为基础，研究光场局部不变性特征的距离度量，提出光场局部不变性特征的相似性计算方法。

3）研究基于宽基线光场特征匹配的场景深度重建方法

a)针对宽基线光场数据，研究光场局部不变性特征的匹配计算方法，分析光场局部不变性特征匹配的多义性问题。 b)结合已有光场深度估计理论，研究基于宽基线光场数据的场景深度重建及优化方法，实现对复杂场景的高精度深度重建。

▶基于分数阶Jacobian张量正则模型的图像修复方法研究

（项目批准号： 61801380   起止时间：201901-202112   负责人：杨秀红）

修复受损的航天或卫星影像对航天航空产业的发展具有巨大的支撑和促进作用。当前解决方案仍存在对复杂细节及弱结构特征修复精细度不高的问题。以多组份图像为研究对象，针对高频细节难检测处理、难兼顾噪声鲁棒性和难生成问题，提出分数阶Jacobian张量正则(FJTR)模型及其约束的修复新方法。为了有效处理细粒度特征，并解决与噪声鲁棒性相互制约的瓶颈问题，提出Jacobian扩展的分数阶结构张量以指导各向异性正则，从而构建线性凸的FJTR模型。在此基础上，为了耦合组份间局部特征相关性以指导空间正则，提出FJTR自适应加权正则的张量修复方法，提高复杂细节修复性能和混合噪声移除能力；针对深度网络难以生成精细细节及结构的问题，提出FJTR正则约束的多尺度语义修复方法，提高预测内容与上下文细节特征的正则一致性以及修复对象的分辨率。本项目研究成果对航天航空图像的精细复原具有革命性突破，具有重要学术价值和应用前景。

▶视觉认知驱动的高分辨极化SAR复张量特征学习与地物分类

（项目批准号： 62006186   起止时间：202101-202312   负责人：石俊飞）

极化合成孔径雷达(SAR)图像分类是遥感图像处理的关键。现有高分辨极化SAR图像分类存在两大挑战：1）极化SAR图像具有多通道复杂数据结构，且同/异质地物混合分布，导致极化SAR数据建模困难；2）由于混合散射、阴影叠掩、相干斑噪声等成像特性，导致异质地物判别特征提取异常困难。针对上述挑战，本项目拟构建视觉认知驱动的极化SAR图像复张量特征学习和分类方法。主要研究内容包括：建立极化SAR视觉层次认知表征，实现极化SAR复杂场景的语义划分；建立非高斯复张量深度模型，联合学习极化SAR复杂数据结构和图像空间信息；建立视觉认知下多语义空间的复张量深度模型，自适应学习同/异质地物判别特征和精确边界信息。本项目拟探索视觉认知和数据联合驱动的极化SAR图像分类新框架和新方法，突破多地物判别特征提取困难的瓶颈问题，实现极化SAR复杂场景的多地物精准分类，为极化SAR图像解译和目标识别提供新思路。

▶多视环境下基于变分水平集的场景流估计

（项目批准号： 61502382   起止时间：201601-201812   负责人：李秀秀）

人机交互是产业智能化的关键环节，其核心内容之一是获取分析人与机器的运动及 交互行为，而场景流因能够细致地描绘三维场景的运动场，因而研究意义巨大。本课题 拟综合多个深度、可见光摄像机的优点，研究多视环境下基于变分水平集的场景流获取 框架，以获取连续、逼真的场景流，内容包括：针对深度图像中信息缺失、外点等问题 ，研究在深度和影像信息驱动下，基于水平集函数的多深度视图融合机制，以获得连续 、完整的外形曲面。针对场景流估计中的计算量大且易出错问题，研究局部刚性运动指 导下的全局场景流估计模型：通过局部区域属性一致性分割及刚性运动估计，缩小场景 流估计的搜索空间，降低计算中的空间、时间复杂度；使用水平集函数演化模拟三维目 标外形运动以实现连续的场景流的获取。本课题的成果可作为三维场景中的目标分割、 跟踪和基于运动场的行为分析的依据和数据源；在机器人导航、智能监控和智能汽车等 方面可显著提高其分析理解场景的能力。

▶密集杂波环境下基于距离-多普勒的外辐射源多目标跟踪

（项目批准号： 61703333   起止时间：201801-202012   负责人：李晓花）

外辐射源雷达系统具有成本低、隐蔽性强、信号源丰富、抗干扰能力强等优点，利用其开展多目标跟踪受到国内外的普遍关注。由于缺乏角度信息，基于距离-多普勒的跟踪系统无法 获得目标的初始状态信息。另外，由于杂波干扰以及系统设计等原因，系统会产生数据关联模 糊、量测数据延迟和丢失等问题，给高精度跟踪带来很大挑战。针对以上问题，本项目拟基于 概率多假设跟踪理论的量测模型和假设条件，研究密集杂波环境下基于距离-多普勒信息的外 辐射源多目标跟踪状态初始化方法，通过寻找相应目标完备数据似然函数最大值的方法来确定 目标的初始位置和速度；在此基础上将时间变量作为不可观测数据，研究量测数据同时发生延 迟和丢失情况下的跟踪问题，并结合FKIE雷达数据与实验验证所建立跟踪方法的有效性。项目的研究成果可为空域监控和远程预警等军事系统以及交通、航天等民用跟踪系统提供理论和技术支撑。