芯东西（公众号：aichip001）
作者 | 心缘
编辑 | 漠影
芯东西12月3日报道，今日，安谋中国（Arm中国）公布全新“玲珑”多媒体产品线，并推出由其本土团队自研的首款“玲珑”i3/i5 ISP处理器。
这款新处理器历时2年多研发而成，特别针对安防监控场景对图像的需求进行优化，提升了降噪、动态范围、清晰度等主要指标，具有高画质、低延时、高兼容性、扩展兼容性高等特点，可广泛适用于安防监控、AIoT及智能汽车等领域的视频、图像处理工作。
期间，安谋中国产品研发常务副总裁刘澍接受芯东西等媒体的采访，并分享了关于“玲珑”ISP处理器的主要技术特点、落地进程以及安谋中国IP产品的整体研发逻辑。
一、针对不同场景需求，打造多系列产品
“玲珑”ISP处理器是由安谋中国定义和研发的首款ISP IP，目前已申请超过10项专利申请，其中5项已获批准。
依照不同场景的数据处理需求，“玲珑”ISP处理器可划分为多个系列产品。
“玲珑”i3系列主要针对低功耗的轻量级应用场景，能达到500万像素、60fps性能效果，在台积电16nm工艺水平上综合时钟频率能跑到400MHz，支持2K视频处理及单路视频信号接入处理。
“玲珑”i5系列主打中高端市场应用，能达到800万像素、60fps的性能效果，在台积电16nm工艺水平上综合时钟频率能跑到600MHz，支持4K视频及多路视频信号接入处理。
未来，“玲珑”ISP处理器还将推出更多差异化的产品系列，全面覆盖不同场景的多样化要求。 “玲珑”ISP处理器优异的信号处理能力也可以与AI处理器相结合，在智能安防等领域达成AI+ISP的强大效果。
除了ISP外，“玲珑”多媒体IP中未来还会包含VPU，将与Arm及安谋中国的CPU、GPU、AI、Display等IP产品系列形成系统协同的解决方案。
考虑到从一个视频流输入，到经过ISP、CPU、GPU、VPU、AI等一系列处理单元的运算和最终输出，数据流会经历一个复杂的过程，而如果仅仅考虑单点产品的优化，难以对视频流做出最佳的处理效果。
因此，刘澍介绍说，安谋中国定义整个系统产品时，考虑的不仅是单点技术，更多是如何通过系统整合，提供完整的优化方案。
近年安谋中国的IP产品阵列日益丰富，如今已包括周易AIPU、星辰CPU、山海安全平台、玲珑ISP及VPU，既考虑整体图像处理流程的IP产品设计，同时叠加了广大应用所关心的安全性、隐私性、内容管理性等方面的特色。
同时，刘澍提到，安谋中国作为IP提供商，不会触碰最后的芯片设计和生产，而是永远作为基础技术研究公司而存在。
对于安谋中国是否聚焦云端的IP产品研发计划，刘澍回应说，安谋中国已经在与客户合作，把刚才所提及的产品应用到云端，如周易Z2最高算力可达到128TOPS即在云端场景有一定合作。
二、灵活可配置，“玲珑”i3/i5的五大技术亮点
ISP（图像信号处理器）主要用于处理前端图像信号，可将光信号转换为电信号，能补偿因镜头、传感器的物理缺陷所导致的图像问题，对图像质量至为重要。
当前ISP面临很多挑战，过去ISP仅供人眼看，大家更关注拍照效果，而未来摄像头无处不在，不仅是手机、车载、安防监控，也将出现在各种家居场景中，这就带来了场景性问题。此外，由于图像效果需要镜头、ISP、AI等很多不同技术的协同融合，不同技术搭配也会产生不同的效果。这使得如果想设计一款能适配各种不同场景需求的ISP，是非常困难的。
因此安谋中国将其IP产品打造成具备高可配置的特性，能针对不同场景、不同搭配，均体现相对优化的效果，也会通过包括GPU、AI、视频编解码、显示技术在内的整体系统方案，给未来开发者和业界客户提供更大的灵活度。
刘澍强调说，安谋中国的每一款产品都会强调可定制化，给客户选择和定制的空间，帮客户在特定领域实现更好的差异化产品。
▲“玲珑”ISP 处理器概览
聚焦到今日发布的“玲珑”i3/i5 ISP处理器来看，该产品主要具有五大技术亮点：
1、硬件架构灵活可配置，客户可自行选配可选模块进行集成；
2、多元的工作模式，可兼容线性、原始/压缩的HDR数据，单路及多路摄像头输入，支持超高分辨率分屏处理；
3、DMA接口数据输入输出模式可配，可在ISP多个节点输出不同格式的数据；
4、软件API接口丰富，图像效果调试流程简易清晰；
5、提供丰富的软硬件参考设计，如标定工具、调优工具和MIPI转DVP数字电路等。
相较其他厂商推出的ISP产品，刘澍认为，安谋中国“玲珑”ISP的优势既体现在独特技术方面，也能体现在商业合作方面。
作为一家IP供应商，安谋中国可以开放式地与各类不同需求的公司合作，可以满足没有该技术积累的公司的需求，对于已有相关技术的公司，也可以凭借“玲珑”ISP设计的独特和领先性，通过合作开发达到更好的产品效果。
三、出色宽动态效果和信噪比，已向客户交付
刘澍提到，目前“玲珑”i3/i5 ISP处理器均已可向客户交付，得到的反馈非常正面。该处理器已在28nm、16nm、7nm等很多主流工艺做了实现，会将实现效果提供给客户作为参考。
在前期市场反馈中，“玲珑”i3/i5 ISP处理器在业界十分看重的宽动态处理效果和信噪比处理水平上表现优异。
通过采用安谋中国领先的数字宽动态与融合宽动态结合的算法技术，“玲珑”i3/i5 ISP处理器达到了像素级的局部宽动态自适应提升，并兼容常见传感器厂商的融合宽动态格式。
当前影像世界主要由前端图像传感器、中端图像信号处理器（ISP）和后端显示部分组成，普通线性图像传感器只有12bit，只能提供72dB动态效果，往往在一些高动态范围场景中，无法很好地展示出整张图片的所有细节。
▲WDR效果
如图，左侧是一个普通12bit线性图像传感器的输出效果，右侧是经过“玲珑”ISP独有的算法技术提升后，明显可见前景树叶、背景天空以及阳光的细节都更加丰富，整张图动态范围显著提升。
▲高光抑制
黑暗场景中的高光突现，是各行业很难解决的一个痛点。上图左侧是普通12bit图像传感器直出的效果，右侧经过“玲珑”ISP算法处理，主要高光亮度范围得以抑制。
降噪是ISP永恒的主题，“玲珑”ISP处理器采用多尺度、多级降噪技术和多级细节增强提升技术，以支持2D/3D自适应降噪，从而达到业界领先的信噪比表现。
▲降噪效果
上图左侧是普通图像传感器直出效果，中间是“玲珑”ISP一级降噪效果，右侧是“玲珑”ISP二级降噪效果，可以看到右侧图像中背景和木纹纹理的噪声基本已经消除。
▲去紫边效果
当图像明暗反差大，由于色彩效应，明暗交替边缘会出现紫边效应。上图左侧是普通图像传感器直出效果，右侧是经过“玲珑”ISP去紫边模块处理的效果，基本将紫边完全消除，同时没有损伤图像的任何细节。
▲动态范围调整效果（关）
普通12bit线性图像传感器动态范围仅达72dB，而人眼可见动态范围往往在100dB以上。上图左侧是所有灯光关闭且外部有强烈光源进入的情况下，普通12bit线性图像传感器所感知的世界；右侧是逆光场景，通常不能既得到前端人物清晰的面孔，又得到背景丰富的细节。
而经过“玲珑”ISP独有的Local Tone Mapping技术，可以使左图中普通线性图像传感器既能展示暗区细节，又不会损失亮区细节，也能使得右图中的人物和背景细节均变得更加丰富，效果如下图所示。
▲动态范围调整效果（开）
下图展示的是低光降噪效果，如果室内关闭所有光源，人眼只能看到微光源流动。
▲关闭所有光源的视野
而打开ISP处理后，下图左侧是打开ISP、关闭3DNR的效果，右侧是打开ISP和3DNR的效果。经过3DNR处理，在没有任何光源的情况下，也能看清所有运动物体的任何细节。
▲打开ISP情况下，开关3DNR的效果对比
“玲珑”i3/i5 ISP处理器同时设置了丰富的系统中断和调试接口，包含多个AE/AWB/AF统计输出，以及友好的系统状态及异常调试中断设计。
由于具备实时在线视频信息处理、支持DVP输入输出等功能，该处理器具有低系统延时、低系统带宽的特点，可对图像质量进行调优技术支持。
为满足不同行业客户复杂多变的需求，“玲珑”i3/i5 ISP处理器将为客户提供从先期评估到最终量产的全方位技术支持。
安谋中国不仅为客户提供丰富的ISP图像效果评估手段，详细的设计文档和培训支持，还将提供IP集成及后端的参考流程、详细的设计文档和培训等深入的订制服务。
结语：本土IP发展将加速国产化芯片进程
新的计算浪潮正将算力从云端推向边缘与终端，而Arm计算平台在这些领域正展现着强大的生态优势。作为Arm在中国IP业务的唯一授权运营平台，安谋中国授权客户超过200家，截至目前，基于Arm处理器技术的中国客户出货量已累计超过190亿。
过去两年间，结合中国市场需求，安谋科技已陆续自主研发并推出“周易”AIPU、“星辰”CPU“和”山海”安全平台等IP产品，已有数十家授权客户，很多相关项目现已流片，并陆续衍生出迭代产品。
对于被广泛关心的国际技术管制话题，刘澍提到，其产品会经过详尽的法律分析，在目前进出口管制规则情况下，不受美国进出口规则的控制。由于规则不断变化，安谋中国也将持续跟踪法规变化进展。
凭借安谋中国的本土生态资源和技术优势，我们期待看到随着安谋中国打造更为完整的IP布局和软件生态，为促进更为繁荣的国产芯片生态提供助力。
