全球首款多模态智能计算芯片来了!基于清华可重构架构,同时支持视觉和语音处理

芯潮(IDaichip001)文 | 心缘

9月25日消息,在阿里云栖大会平头哥芯片生态专场上,国内AI芯片新秀清微智能,发布全球首款多模态智能计算芯片TX510。

TX510以可重构计算架构为基础,同时支持视觉、语音等多模态智能处理,并具有高算力、低功耗的超强能耗比。其能效比比CPU高1000倍,比FPGA高100倍,比GPU高10倍。

全球首款多模态智能计算芯片来了!基于清华可重构架构,同时支持视觉和语音处理

清微智能核心技术团队来自清华大学微电子所,从事芯片研发13年,兼具芯片、软件、算法和系统研发能力,其首款语音芯片产品已于2019年上半年量产,预计出货量近千万。

一、超低功耗、多模态、支持3D结构光

清微智能首席科学家、清华大学微电子所副所长尹首一教授表示,人工智能(AI)技术发展的一个重要方向便是多模态人机交互,而多模态芯片则是通向通用AI芯片的必由之路。

现场,他发布全球第一款多模态智能计算芯片TX510,既支持视觉智能处理,也支持语音智能处理,可应用于物联网、智能安防、AIoT、金融支付、智能制造等多个领域。

TX510芯片架构基于平头哥无剑视觉平台,采用平头哥玄铁系列804/805异构处理器,搭配其可重构计算引擎,峰值算力达1.2 TOPS@INT8,典型功耗仅为400 mW,支持混合精度计算和稀疏神经网络,AI计算有效能效比达5.6 TOPS/W@INT8,达到业界领先水平。

据尹首一教授介绍,TX510的能效比比CPU高1000倍,比FPGA高100倍,比GPU高10倍。

全球首款多模态智能计算芯片来了!基于清华可重构架构,同时支持视觉和语音处理

另外,TX510支持单、双目3D结构光,支持3D活体检测、红外活体检测、可见光活体检测等,可以抵御照片、视频等二维攻击,面具等三维攻击。误识率千万分之一的情况下识别率大于90%,大大高于指纹误识率五万分之一的安全指标,响应时间不超过30ms。

二、自研可重构技术,脱胎于清华微电子系

T510芯片是清微智能核心可重构计算架构超强灵活性的又一力证。

尹首一教授介绍道,清华大学可重构计算团队最早从2006年开始关注可重构架构,13年来一直持续进行技术的更迭及演进。

可重构计算(Coarse-grained Reconfigurable Architecture CGRA)是一种全新的芯片架构技术,又名软件定义芯片。该架构兼具通用芯片的灵活性和专用集成电路(ASIC)的高效性,可根据不同算法和应用灵活配置硬件资源,执行不同的任务。

全球首款多模态智能计算芯片来了!基于清华可重构架构,同时支持视觉和语音处理

万物互联的AIoT时代孕育了巨大的市场需求,同时这个市场具有应用场景多样化、碎片化的特征,这要求芯片在保证高算力、超低功耗的同时,更加灵活和高效。

传统终端AI芯片通常基于CPU、GPU、DSP、NPU等架构,这些架构本质属于指令驱动的计算模式,在面向某一特定领域的计算过程,往往存在高能效和灵活性不兼得的问题。

比如,华为旗舰手机芯片,就不适用于安防摄像头、智能家居等场景;现有语音AI芯片,也基本上都不能承担视觉处理任务。

对此,清华大学Thinker团队致力于研究可重构计算架构,无需指令驱动,将软件通过不同的管道输送到硬件中来执行功能,使得芯片能够实时地根据软件/产品的需求改变功能,从而实现更加灵活的芯片设计,在最合理分配和使用算力的同时,成倍节约了数据存储和传输带宽。

在《清华创新架构芯片量产!全球首款可重构超低功耗语音AI芯片》一文中,我们曾详解CGRA这一创新架构。

可重构计算在国际上也备受重视。《国际半导体技术路线图》称可重构技术是最具前景的未来计算架构。美国国防部高级研究计划局从2017年开始,投入巨大精力支持“运行时快速重构”的硬件架构研究。

结语:AI芯片落地为王

作为一家去年7月才成立的AI芯片创企,清微智能的芯片落地速度着实令人惊叹。成立不久就拿下近亿元天使轮融资,今年6月发布全球首款可重构超低功耗语音AI芯片,量产规模达数百万,首款超低功耗多模态智能计算芯片也刚刚问世,为终端AI芯片市场又增添一种新的可能。

随着AI芯片的热度趋缓,整个行业进入冷静期,落地成为衡量芯片实际商业价值和生命力的关键准则。

从清微智能产品演进的节奏来看,它既拥有坚实的技术根基,同时也具备快速推进将产品变现的能力,接下来,它所面临的同样也是多数AI芯片创企正面临的大考——检验产品的落地规模,让市场验证其商业价值。