破解AI全流程开发难题!旷视推出Brain++商业版,将算法落地时间缩短80%

智东西(公众号:zhidxcom)
文 | 心缘

经过6个月的打磨,旷视Brain++商业版正式走向市场。

在刚刚落幕的2020中关村论坛上,这家以先进算法闻名的AI头部玩家,亮出了他们为企业级AI应用规模化落地所准备的利器——Brain++商业版。

破解AI全流程开发难题!旷视推出Brain++商业版,将算法落地时间缩短80%

作为旷视全流程AI生产能力的集大成者,Brain++被旷视比作能规模化生产各种AI菜品的中央厨房,而放眼整个AI领域,像旷视这样将开源AI框架、数据管理平台、算力管理平台打包,覆盖企业规模化生产全流程核心诉求的企业级平台,并不多见。

如今,旷视面向企业迫切希望应用AI技术的核心诉求,将内部使用的Brain++进一步抽象、打磨成可对外商用的产品,并对它寄予了成为AI开发“Visual Studio”的期望。

当“将AI变成水电煤气般的存在”成为AI领域人人追逐的新愿景,旷视Brain++商业版的入局,能为企业AI规模化落地带来怎样的改变?

通过与旷视研究院高级技术总监、Brain++负责人田忠博进行交流,我们试图读懂在AI商业化征途中,Brain++商业版能为企业带来哪些独特的竞争优势,它承载着旷视怎样的期许,又将给AI技术创新与商业变现的平衡带来怎样的启示?

一、解锁旷视全流程AI生产能力,算法落地时间缩短80%

AI正赋予改变世界更多的想象力,从人脸解锁、实时翻译到提升工业质检效率,都让越来越多企业看到新型AI生产力所带来的增值空间。但当企业踏入智能化转型的大门,却发现其中许多环节都暗藏挑战。

摆在企业面前的,是从AI技术到应用间的数道鸿沟:专业人才稀缺、缺少全流程工具、应用场景分散,大量应用需要用定制化的AI能力来满足,还要解决数据安全问题和维护系统稳定性。如果企业从头构建AI解决方案,难免要投入大量人力和物力成本。

这些AI规模化落地常见的“通病”,能不能通过一套标准化的系统来解决?

能否用一套高效好用的工具,省去不必要的重复性工作,解决广泛企业在大部分场景中的问题?

旷视Brain++商业版提供的,即是这样的AI生产力工具。

Brain++是旷视在产业应用工作中自主研发的全流程AI生产能力合集,是旷视各种AI业务的底层基础设施,由深度学习框架MegEngine(天元)、算力管理平台MegCompute、数据管理平台MegData共同构成。

破解AI全流程开发难题!旷视推出Brain++商业版,将算法落地时间缩短80%

作为统一的底层架构,Brain++为旷视的AI算法训练及模型改进过程提供了重要支持,使旷视得以构建一条不断自我改进、更加自动化的算法生产线,可以针对不同垂直领域的场景化需求定制丰富且不断增长的算法组合,同时能以更少的人力和更短的时间开发出各种新算法。

从2014年开始搭建至今,Brain++凭借规模化的架构体系和方法论,已经成为支撑旷视内部1400多名研发人员日常工作的平台和基础设施。比如今年疫情期间,旷视用10天交付明骥AI智能测温系统,即是基于Brain++平台实现。

“场景无限性带来的算法供给不足问题,是行业当前面临的最大痛点,而旷视尝试解决AI领域最核心的问题。”田忠博说。

Brain++的日益成熟,使得旷视从狭义的擅长算法研发变为能够批量完成算法批量部署,如今旷视正迈向下一个阶段——用数据、算法、算力能力开放给更多企业。

但在旷视内部跑通的Brain++,还不是一个能适用于广泛企业的商业化产品。

企业用户的核心诉求,是稳定、低门槛、低成本、有效地利用AI实现业务增长。而如果AI技术应用总是点对点实现,每家公司都为自己的业务重新配备一组人才团队、重新研发一套AI算法,不仅无法充分发挥AI能力的作用,而且对于AI算法和人才,都是一种浪费。从长远来看,单点AI的应用也不利于AI企业形成独特的竞争力。

因此,自今年3月正式宣布对外开放Brain++后,旷视又用了半年时间,根据合作伙伴及客户的反馈和调研,将Brain++中经验证的领先技术进一步梳理、整合、筛选和完善,打磨成贴合客户需求的商业化能力,这才将Brain++商业版正式推出。

根据旷视披露的实践数据,Brain++可有效缩短80%算法从需求到落地的时间,整体降低55%的算法生产成本。

二、Brain++商业版全景图:助力私有化部署,提供全流程服务

Brain++商业版能做什么?

拆解其组成,可以看到,在Brain++三大平台的基础上,Brain++商业版将数据、算法、算力能力进一步抽象和集成,形成平台层、算法层、交付层

(1)平台层:提供覆盖算法生产全流程的多种能力和组件,并将其整合成为一套标准协助开发范式。这套范式是基于对旷视内部算法研发工作经验的总结和提炼,可以让企业从AI开发旅程的起点就能拥有科学和高效的方法论。

(2)算法层:在平台层的基础上提供专项的算法生产、优化服务。旷视以算法能力见长,对于使用Brain++平台后依然无法解决特定场景的企业,可以提供从数据到模型部署的端到端算法服务,加速企业AI资产的积累速度。

(3)交付层:为平台层的落地和算法的最终应用提供必需的部署、交付、扩容、培训、优化等服务,有效保障企业能够真正发挥Brain++平台的价值。

在这些能力的基础上,无论是企业需要开展新的自研AI业务,还是希望提升已有AI算法研发工作的效率,Brain++商业版都能帮助工作团队提升效率,以及实现算法和业务更好的打通。

这里我们对平台层的功能进行重点分析。

破解AI全流程开发难题!旷视推出Brain++商业版,将算法落地时间缩短80%

总体来看,Brain++商业版可以提供AI开发全部工作环节的平台化、流程化,帮助企业告别作坊式的AI开发,并基于完善的集群管理方案,降低AI集群构建门槛。除此之外,Brain++商业版也通过私有化部署的方式,为企业确保集群稳定性和数据资产安全。

例如在数据生产环节,Brain++商业版提供私有化的完整数据生产能力,覆盖数据质量管理、数据集管理和测试集管理。

在模型开发环节,Brain++商业版提供了丰富的训练和开发工具,支持有代码训练和无代码训练场景,方便客户使用多种形态的训练工具,更简单高效地完成模型训练。该平台还提供多种形式的模型评测方案来衡量模型的表现。

在实验管理环节,Brain++商业版提供多任务对比,支持参数、任务日志等信息的对比,集成了TensorBoard,方便算法开发人员对比不同训练任务的信息,从而提高模型开发效率。

为了方便项目开发与管理,Brain++商业版还为开发人员搭建了可建立独立资源个人工作台的工作空间,提供三步即可生成一个开发项目的可视化项目管理功能,以及一套更易复现、稳定的任务提交机制

此外,在这一平台上,企业级镜像仓库服务可以确保训练过程中从本地拉取镜像,大大提高训练效率;集群管理功能可以帮助平台管理者从全局视角更好的管理底层基础设施资源;灵活的多租户管理功能可以满足多企业、角色公用集群的业务场景。

田忠博向我们分享了对Brain++商业版的期待:“我们希望给企业一个可控、稳定、低成本、低门槛、易上手、能够快速获取价值和验证价值的解决方案。企业可以通过Brain++商业版不断打磨团队,建设AI能力,积累自己的数据和智能资产。”

三、六年磨一剑,霜刃已初试,Brain++商业版的三大优势

在田忠博看来,AI行业现在还没有真正以深度学习为核心打造的企业级平台,而在这方面,旷视有自己得天独厚的优势。

“我们一直都在尝试理解训练流程,训练流程的本质是什么,这也是旷视规模化生产算法的核心要素。”田忠博说。

那么打造这样一套全流程深度学习开发平台,旷视有哪些硬核实力来支撑?

1、大量先进自研算法积累

无论是从斩获多种国际AI赛事的榜首,还是支撑AI相关商业化落地,核心技术都是旷视在AI领域的立身之本。

作为国内最早创立的AI企业之一,旷视已面向云边端全场景,积累大量完全自主研发的先进深度学习算法,其中不乏DorefaNet、ShuffleNet、AutoML等创新研究成果,也用算法来提高数据生产、算力分配效率和优化芯片性能功耗比,做到“用AI解决AI生产的问题”。

据田忠博介绍,在Brain++平台上,每天有上千个模型被训练和验证,在被比较、选择后,变成可提供给合作伙伴的算法和模型,帮助企业获得更好的知识和价值。

今年3月,旷视Brain++的核心组件——深度学习框架天元MegEngine正式开源,成为我国AI底层软件基础设施建设大潮中的重要新生力量。如今天元从Alpha版本迭代到1.0预览版,正与清华计图、华为MindSpore等一起点燃国产开源深度学习框架的星星之火,催化国内AI生态的繁荣。

2、多年实践验证,大幅缩减成本

田忠博认为,旷视能够安身立命和持续发展的核心,不在于数十万行代码,而在于对深度学习这件事情的认识和理解。

经过六年打磨和产品验证,旷视Brain++在支撑个人物联网、城市物联网和供应链物联网三大方向的业务推进过程中,已帮助许多客户实现多场景算法开发。

如今旷视通过Brain++平台将AI能力、工具、流程、标准加以整合,使得企业在开发和部署AI时,不必再踩旷视前些年踩过的坑,帮助企业降本增效。

通过使用Brain++生产力平台,企业可以降低约三到四成的硬件成本。其中,算力管理平台MegCompute可实现动态分配所有GPU,将通常20%的GPU闲置率大幅缩减至4%以内;数据管理平台MegData能最大限度利用GPU能力,相比基于传统对象存储或HDFS存储的训练效率提升数倍;如果达到同样的训练速度,相比传统全闪存储集群,存储成本可降低约七成

某家科创园区基于Brain++平台搭建园区AI开发中台,降低了园区内科创企业的深度学习开发门槛;一家希望实现智能化升级的汽车制造商基于Brain++平台,在非常短的时间就能完成生产安监、智能制造、生产规范等多种AI场景的研发需求。

旷视希望通过Brain++商业版,帮助1000个传统企业做智能转型,推动10000个新的场景化算法落地,帮助企业培养10000名能运用Brain++平台完成算法生产的AI人才。

3、平台配套的全流程定制化服务

当前AI技术还不是放之四海而皆准的灵丹妙药,标准化服务不能解决所有问题。

比如一些大型制造企业会非常关注安全生产,关心是否佩戴安全帽、换好防化服、带好标识带……这些场景往往在标准算法体系中是看不到的。

对此,除了平台产品外,旷视也提供平台配套的全流程定制化服务,从前期方案咨询、平台部署、模型优化、建设运维、课程培训等,将场景分散的定制化能力直接输送给企业,从而解决定制化业务模型的开发和沉淀问题。

其中,数据服务依托MegData平台进行,算法服务依托旷视研究院算法团队进行,运维服务依托旷视研究院工程能力体系,能满足特定应用场景下从数据管理平台私有化部署、算法训练及部署优化,到集群资源利用率优化与定制化扩容的各种需求。

结语:AI产业落地进入深水区

在过去AI发展势如破竹的五年间,AI的热度居高不下,如今随着通用基础技术逐渐成熟,AI已走出概念炒作的风口,从追逐热点转向更加注重核心技术能力与实体经济的深度融合。在“新基建”助推下,AI企业们正面临着如何将技术创新转化为商业价值的新一轮临门大考。

将AI转变成可规模化落地的产品和服务,既是有越来越多企业走向智能化升级和转型的诉求,也是AI企业进一步深化技术能力、构筑竞争壁垒的关键。

旷视Brain++商业版将深度学习能力标准化、体系化地对外构建和输出,为AI商业化、场景化、规模化落地提供了一套行之有效的生产力工具,既有助于规避“重复造轮子”的资源和效率浪费,又能加速创新应用的落地赋能,从而提升AI在整个行业的渗透率。

截至当前,AI算法依然存在成本高、周期长、供给能力有限的问题,一家AI公司的力量终究有限,要满足爆发式增长的AI应用诉求,还需要更多像旷视这样愿意将自身技术积累和落地经验输出的企业,来协力构建一个更为完善的生态。