华为官方深度解读:海思越影新一代AIISP图像处理引擎技术硬核,超感光降

来源:IT之家   阅读量:7152   

,据华为海思发布,2021 年,海思推出越影 AI ISP:用于物联网智能终端的新一代智能图像处理引擎,突破传统 ISP 图像处理的极限,将业界画质标杆推向新的高度。

华为官方深度解读:海思越影新一代AIISP图像处理引擎技术硬核,超感光降

现在华为官方带来了海思越影新一代 AI ISP 技术的硬核指数的深度解读。海思首次将暗光图像实验室搬进安博展馆,让大众沉浸式体验最新黑科技带来的震撼效果。。

视觉产业过去十年发展,图像分辨率持续提升,图像效果不断优化但是由于视觉感知的场景非常碎片化,在暗光,逆光,运动等场景下输出高质量图像仍然是行业公认的难题

ISP 是对图像传感器输入的原始数据进行图像处理的首个环节,既是看得清的重要保证,也是后续看得懂的直接输入,ISP 输出图像质量决定着看得懂的天花板ISP 涵盖了数十种图像信号处理算法为了适配各种不同的镜头和传感器,需要优化调整成百上千个参数,保证 ISP 兼备通用性和灵活性同时 ISP 中众多模块的算法是相互影响的,算法协同需要大量调试工作这是一个极其复杂的过程,也是一项极具挑战的任务面对越来越高的场景复杂度,基于滤波等传统图像处理技术在暗光,宽动态等场景下,画质获得显著改进越来越困难而且伴随着参数库逐渐庞大,调试越发困难,开发周期逐步拉长,画质提升的投资收益率也越来越低

最近几年来,利用 AI 进行图像增强逐渐成为行业研究新热点并取得了显著的进展,尤其是利用 AI 对静态照片的优化已经广泛应用于高端手机的相机拍照并获得了不错的效果而视觉行业的特点要求能够对高分辨率,高帧率的视频,应用 AI 进行实时调优,对算法,算力的要求更高,特别是要求在端侧算力环境下高效实现 AI ISP 功能,获得相比传统 ISP 更优的效果

上海海思利用在传统 ISP 画质技术上的长期积累和经验,以及在端侧 AI 架构和优化上的优势,在本届安博会期间发布新一代智能图像处理引擎 — 越影 AI ISP,将传统画质优化经验与 AI 技术深度融合,为实时高清视频的图像质量带来质的飞跃,相比海思上一代旗舰 ISP 在五方面取得显著进步。在“伸手不见五指”的暗室体验区里,越影关键能力之一超感光降噪利用神经网络深度学习,实现低照度场景的智能降噪,画质清晰度业界领先。还运用多光谱融合技术有效融合可见光与红外光谱,让低照图像达到色彩与细节平衡,重塑色彩斑斓的视觉世界。

基于深度学习的智能降噪,信噪比 4 倍提升

采用专用硬件加速,实现 0.01Lux 低照全彩

低照场景下,RGB 传感器感光能力急剧下降,导致彩色图像清晰度快速下降,无法同时兼顾图像细节与色彩,给全天候视频感知带来严重挑战在夜晚交通管理场景下,往往需要在闸口加装爆闪灯来补充照明,容易造成光污染甚至影响驾驶员的行车安全而多光谱融合技术通过将可见光与红外光感知信息进行融合,在不增加光污染的同时,解决低照环境下由于可见光感光能力不足所造成的细节损失的问题,实现图像色彩与细节的最佳平衡,最终使图像效果达到 0.01Lux 暗光全彩,细节纹理丰富

自适应光线复杂变化,动态范围提升 12dB

宽动态技术是逆光场景下提升画质的重要技术例如行车进出隧道口时,由于内外光强反差巨大,如何快速跟踪不断变化的光线,并准确对目标进行自适应曝光,是对自动和辅助驾驶安全非常重要的技术超级宽动态技术基于智能识别目标场景,对价值区域进行自适应多重曝光,通过智能算法融合不同曝光时间的长帧,中帧,短帧的图像数据,使图像获得暗,亮区域的完美融合:亮处不过曝,暗部细节不丢失,逆光场景所见清晰,暗光区域色彩饱满,细节丰富根据测试,越影相比海思上一代旗舰 ISP,在逆光场景下动态范围可提升 12dB,并且对场景跟踪更迅速,能够有效避免图像画面瞬间过暗或过曝,在 3 帧以内即收敛至稳定状态

6 轴数字防抖,视频成像稳定性大幅提升

消费类摄像机会被广泛应用于运动场景的拍摄,由于在运动中相机的震动会影响最终成像效果,严重影响观看感受当视觉感知设备被安装于自动或辅助驾驶汽车中,这样的抖动造成的图像模糊甚至可能影响驾驶安全越影的超级稳像技术基于 IMU 6 轴传感信息智能分析运动姿态,通过精准补偿修正动态视频,有效减少由于外部环境晃动或抖动对视频成像造成的影响,可大幅提升各种振动环境下的视频稳定性

多感知跨界融合,激发智慧视觉新潜能

视觉是感知信息的主要输入源,但生产生活对信息的需求是多维度的越影 支持 RGB 与雷达,红外热成像,3D 结构光等多维度感知能力的融合,匹配红外测温,智能支付,扫地机器人,雷达视频一体机等多种产品需求,可广泛应用于交通管理,金融支付,工业视觉等多种业务场景这种多维度感知的能力也可被各种行业细分市场所利用,激发更多新品类智能终端的创新

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。