高速相机作为成像帧率达每秒千帧至百万帧的高端成像仪器，其感知性能对前沿科学探索和尖端装备研发至关重要。然而，相比于普通低速成像，高速成像面临两大固有挑战：一方面，高速成像曝光时间极短（微秒甚至纳秒级），入射光强度极其微弱，量子涨落效应影响显著，弱光、散粒噪声影响严重；另一方面，高速成像每秒生成的数据量极大，海量数据处理导致电路负荷更大，电子热运动、暗电流更强。这些因素导致高速成像图像退化严重、成像画质差，提升成像画质成为拓展高速成像前沿应用的关键瓶颈。
近日，中国科学技术大学金一副教授团队提出了面向高速成像的深度图像信号处理(ISP)范式，利用单反成像引导高速成像画质增强，使高速相机在保持极高率的同时（10000fps），实现与单反相机相当的图像质量。相关成果以《Learning Deep ISP for High-Speed Cameras: Achieving DSLR-Quality Imaging Under High Frame Rates》发表在人工智能顶级期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》上。
研究团队通过设计分光采集系统，建立了首个低质RAW图像到高质RGB图像的大规模数据集（超28万对数据）。针对每个拍摄的场景，研究人员在不同退化水平下记录多张 RAW图像和一张对应的高画质RGB图像，其中高速摄相机帧率从100fps提高到10,000 fps，同时信号增益从0dB提升到40dB。与此同时，单反相机以最低ISO运行，曝光时间则自动调整以最大限度地提高RGB图像的质量。在此基础上，针对高速相机与单反相机传感器像元尺寸、分辨率等导致的固有像素不对齐，研究人员设计了错位感知ISP学习框架，解决像素不对齐下现有深度学习ISP模型易导致图像模糊的问题，实现图像高画质恢复。
中国科学技术大学工程科学学院特任副研究员陈怀安和硕士生刘天乐为论文第一作者，金一副教授为论文通讯作者。该作者得到了国家自然科学基金，安徽省自然科学基金，中国科协青年人才托举工程项目的资助与支持。
原文链接：https://ieeexplore.ieee.org/document/11270965