2020年以来,随着在视觉领域中的应用,ViT(Vision Transformer)迅速碾压了ConvNet成为主流的研究方向。然而,当应用于广义CV任务(如目标检测、语义分割)时,常规的ViT面临着极大挑战。
之后各种ViT变体层出不穷,比如Swin-T,CSwin-T等。其中,Swin-T通过重新引入ConvNet先验信息,极大地降低了运算复杂度。这也使ViT可以被广泛的用做其他视觉任务的骨干网络,ViT因此变得更火了。
而来自Facebook和加州伯克利团队设计并测试了纯ConvNet所能达到的极限,证明了卷积神经网络并不亚于ViT!研究者将这一系列ConvNet模型命名为ConvNeXt。
ConvNeXt完全由ConvNet模块构建,通过在ResNet中增加结构(或使用trick)来提升卷积模型性能,在准确性和可扩展性方面 ConvNeXt都取得了与Transformer具有竞争力的结果,达到87.8% ImageNet top-1准确率,在COCO检测和 ADE20K分割方面也优于Swin-T,同时还保持了标准ConvNet的简单性和有效性!
4月25日,智东西公开课联合思腾合力、NVIDIA策划的「新一代卷积网络ConvNeXt与NVIDIA TAO在线研讨会」上线开讲,NVIDIA解决方案架构师王亮和思腾合力(天津)科技有限公司资深系统架构师庄翔甯将直播讲解新一代卷积神经网络ConvNeXt和NVIDIA预训练模型迁移工具TAO。
NVIDIA TAO是一个能够通过提供各种预训练 AI 模型和内置功能(例如TAO工具套件、裁剪、微调和量化感知训练)帮助 AI 应用开发者和软件开发者加速 AI 训练的工具套件。开发者可以使用 PeopleNet、VehicleMakeNet、TrafficCamNet、DashCamNet 等专用模型为几种流行用例构建高精度 AI。即使是AI专业知识有限的开发者,也可以借助TAO工具套件创建高精度AI模型进行部署。
在本次研讨会中,庄翔甯将从模型训练的挑战出发,详细介绍卷积神经网络在各个时代的演进,以及近期与其他神经网络的优势结合,通过NVIDIA A100的优越性能,在卷积神经网络上运用新一代技术研究的实践,能充分运用显卡算力,以解决企业级用户日益增加的性能需求。
而王亮将从创建AI应用面临的挑战出发,围绕预训练模型和迁移学习工具TAO、TAO的关键特性及视觉模型Demo对NVIDIA TAO进行全面讲解,同时也会针对TAO的适用场景和成功案例进行介绍。
本次研讨会将在智东西公开课知识店铺上以视频直播的形式进行。研讨会全程由主讲、问答两个环节构成。针对本次研讨会,也组建了专属交流群,王亮和庄翔甯两位主讲人都将加入,欢迎大家申请。
研讨会信息
主 题 一
《NVIDIA预训练模型和迁移工具TAO解析》
提 纲
1、创建AI应用面临的挑战
2、预训练模型和迁移学习工具TAO解析
3、TAO的关键特性及视觉模型Demo
4、适用场景和成功案例
主 讲 人
王亮,NVIDIA解决方案架构师;多年从事数据中心基础架构设计、部署、实施等技术支持工作;2021年加入英伟达公司,现任职英伟达中国NPN部门,负责GPU硬件基础架构和软件SDK的技术支持工作,在数据中心解决方案方向有较丰富的经验。
主 题 二
《基于NVIDIA A100的新一代卷积神经网络ConvNeXt训练实践》
提 纲
1、神经网络的设计及挑战
2、主流的神经网络架构:Transformer和CNN
3、新一代卷积神经网络ConvNeXt
4、NVIDIA A100应用于ConvNeXt的性能实践
主 讲 人
庄翔甯,思腾合力(天津)科技有限公司资深系统架构师;专业于容器虚拟化与编排、运算架构优化,以及人工智能模型应用开发;参与多个“云计算开源系统整合”、“私有云系统建设”、“人工智能系统软件开发”,积累了丰富的开发及管理经验。
直 播 时 间
4月25日19:00-20:30