智东西（公众号：zhidxcom）
作者 | 韦世玮
编辑 | 心缘
近年来随着物联网及AIoT行业的兴起，边缘计算作为一种能够在本地智能分析、处理数据的计算方式，以时延低、效率高、安全隐私性高等优势，逐渐成为行业青睐的技术，需求呈井喷式爆发。
据市场研究机构CB Insights数据，预计2016-2023年，边缘计算市场的复合增长率将达35%，到2023年，整体市场规模将接近340亿美元。还有分析师预测，从2025年开始，边缘侧AI芯片的市场营收规模将超过云端AI芯片。
在这个趋势下，整个行业也掀起了一股边缘计算创新创业浪潮。其中，OPEN AI LAB（开放智能）是这股浪潮中不可小觑的玩家之一。
从2016年12月成立至今，OPEN AI LAB不断深耕边缘计算AI（人工智能）开发平台，推出了国内自主的边缘AI计算框架和一系列满足各类场景需求的生产工具，助力国内AI生态发展的同时，也通过赋能帮助企业完成数字化转型和智能化升级。
2020年，OPEN AI LAB联合创始人兼CTO黄明飞曾告诉智东西，国内AI开源生态仍在起步阶段，而OPEN AI LAB的基本工作是把产品做好，为开发者提供更丰富的内容和工具，享受更加简单灵活的开发体验，一同推动开源生态的发展。
现在，OPEN AI LAB取得了哪些收获和技术进展？国内的AIoT行业又发生了什么新变化？时隔一年，智东西再度与黄明飞进行深入交流，了解他们在过去一年的成长闪光点。
5月25日，覆盖轻量级神经网络模型设计、模型压缩、AI推理引擎、嵌入式AI芯片架构创新等主题的GTIC 2021嵌入式AI创新峰会将于北京新云南皇冠假日酒店举行。届时，黄明飞将带来《Tengine：加速边缘计算中的AI部署与落地》主题演讲。
一、过去一年：生态拓展是关键词，Tengine深入行业合作
“在疫情的影响下，实际上整个行业的发展节奏放慢了。”黄明飞谈到，在过去一年时间里，OPEN AI LAB的工作主要是两件事，一是通过AI实现快速行业落地，降低企业开发门槛，二是做生态建设。
一方面，OPEN AI LAB在2020年打造了一个能实现从数据到算法、从算法到应用、从应用到部署，并自动更新迭代的边云自动化部署平台MLOps，能大大简化企业应用部署环节，降低开发门槛。
另一方面，越来越多的开发者从云计算入场边缘计算场景，这也让OPEN AI LAB在生态构建的同时，积累了越来越多的行业伙伴。
“从行业大背景上看，2020年还有一个国际关系问题。”黄明飞解释，以华为为例，中美贸易摩擦对华为芯片供应链的影响，让国产化芯片成为人们十分关注的行业话题，这也给OPEN AI LAB带来了更多思考。
“这么多的国产芯片，实际上更需要一个像Tengine这样的AI框架，通过开放更多内容，让大家一起促进中国AI生态的繁荣。”他说，因此公司在过去一年仍将工作重点放在Tengine的生态发展上。
简单来说，Tengine是一个嵌入式的AI推理框架，能够帮助开发者解决AI在快速产业化落地中遇到的各个瓶颈难题。与同行相比，Tengine有两个特点，一是重点面向嵌入式边缘计算应用，涉及海量的AIoT应用设备，而非服务器集群；二是它的工作重点在于AI推理，并非AI训练。
在生态发展上，过去一年开始Tengine陆续与MegEngine、OneFlow、PaddlePaddle等业内主流开源框架进行了深度合作与拓展，包括通过连接训练和推理两个平台形成完整的解决方案。
此外，Tengine还与老牌跨平台计算机视觉库OpenCV进一步深入合作，成为OpenCV在AI领域的重要部分。
二、Tengine Framework的三大重构，面向开发者与用户
一直以来，国内边缘侧应用规模化落地的难点在于，行业中大部分的云端训练框架和算法模型无法与边缘AI芯片直接适配，需要一个聚焦边缘侧的计算部署平台。
Tengine就在这一需求下应运而生，它可以实现从芯片到场景的全栈打通。
其中，Tengine Framework是OPEN AI LAB自主设计的边缘AI计算框架，向下几乎兼容所有主流国产AI芯片，现阶段已与超20+主流芯片厂商SoC的底层全面适配，例如紫光展锐、全志科技、地平线、寒武纪、恒玄等；向上则支撑所有主流训练框架及网络模型，包括TensorFlow、PyTorch、Caffe、PaddlePaddle等。
另一方面，OPEN AI LAB推出的商业化的边云自动化部署平台，名为Tengine MLOps。它是一个能实现从数据到算法、从算法到应用、从应用到部署的AI系统平台，能大大简化企业应用部署环节，降低开发门槛。
目前商业项目已覆盖数十个细分行业场景：安全生产、智慧教育、智慧电力、智慧社区、信创领域等；产业链合作伙伴达上千个，覆盖芯片公司、算法公司、IDH公司、OEM/ODM公司、行业解决方案商等；为数百个AI项目落地提供加速动力。
黄明飞谈到，为了不断满足客户的需求，公司在疫情期间对Tengine Framework进行了重构，主要涉及三个方面。
一是根据Tengine发布四年来从开源社区和商业客户中得到的大量反馈，对整个框架进行了软件的优化升级，目的是让开发者能更高效地使用Tengine，从而更好地参与到架构的开发建设中。
二是针对Tengine Framework做了新的生态项目，包括Tengine Kit、Tengine Factory，目的是让用户能更容易地使用Tengine。
三是AutoKernel，也是Tengine Framework的子项目。不同的是，它主要负责底层算子的自动化优化。“这个工具将是我们对国内开源社区的一个非常大贡献，因为之前我们国内一直没有底层算子自动优化的开源项目。”黄明飞说。
三、成本是AI落地本质问题，未来将开放更多Tengine功能
在黄明飞看来，现在AI行业已经从最初的概念验证阶段转向落地的关键阶段，但在这个落地阶段也面临着不少困难，其中最本质的问题是成本问题。例如，许多解决方案都采用机器视觉来做监控，但成本却降不下来，还不如用原来的员工更实惠。
黄明飞认为，实际上解决这个问题就需要平台和工具来降低开发成本，尤其是软件产品的成本，能够用于一些低成本的硬件平台，从而真正实现性价比提升。
其次，当成本下降突破落地的第一道关口后，还需要进一步思考国产AI芯片的发展问题。他解释，OPEN AI LAB成立时，曾预期国产AI芯片可能在2019-2020年爆发，但目前看来整体还处在发展期。
黄明飞谈到，尽管国家一直投入资金扶持国产芯片的发展，但行业仍需一个开源生态来让玩家共同推动。
“如果说什么东西都自己干，实际上效率是不高的，需要大家各自做擅长的地方，通过生态合作产生合力，才能形成一个良好环境，让国产AI生态从芯片到基础软件都迅速发展。”黄明飞说。
“目前边缘计算已经成为AI行业公认的发展趋势。”在黄明飞看来，与过去几年比较热门的云原生相似，行业在未来也可能会出现类似的边缘原生技术。基于此，OPEN AI LAB也将继续打造一个从开发到部署的一整套边缘原生的AI系统平台。
谈及产品的后续计划，黄明飞谈到，未来Tengine会逐步开放更多内容，与越来越多芯片厂商合作；另一方面，OPEN AI LAB也会逐步将Tengine MLOps中的功能开放到Tengine Factory中，开源更多内容，从而让整个生态更加获益。
结语：从软件源头推动边缘计算发展
从云端到边缘侧，人工智能的发展给我国高新技术行业催生了无数创业创新机会。如今嵌入式边缘计算作为信息数据处理的重要手段之一，如何从软件层出发大大降低开发及部署门槛，也是这股浪潮中每一位玩家都在思考的事。
OPEN AI LAB作为我国AI开源大军中的一股重要力量，一手开源框架推动国内生态社区发展，一手端到端AI系统平台助力企业智能化转型，也给未来AI行业的广泛落地深踩了一脚油门。
