智东西（公众号：zhidxcom）
作者 | 程茜
编辑 | 心缘
智东西6月19日报道，今天下午，腾讯云行业大模型及智能应用技术峰会上公布了行业大模型研发进展，腾讯云依托一站式机器学习生态服务平台TI平台打造了行业大模型精选商店，覆盖传媒、文旅、政务、金融等10余个行业超过50个大模型行业解决方案。
通用大模型落地到行业应用中还面临诸多门槛，企业如何将大模型能力应用到自身的行业和场景里？如何解决成本、数据、安全等大模型实际落地难题？基于上述痛点，腾讯云打造的行业大模型精选商店，能为客户提供MaaS（Model-as-a-Service）一站式服务，帮助企业构建专属大模型及智能应用，包括模型预训练、模型精调、智能应用开发等一站式行业大模型服务。
在大模型行业应用方面，腾讯云在政务领域与福建大数据集团达到了“小闽助手”，能为用户提供智能咨询服务；在教育领域，上海大学借助腾讯云TI平台将大模型探索应用在咨询和问答场景，能为学生提供咨询、问答；在跨模态检索方面，中央广播电视总台通过腾讯云TI平台原生模型构建了智能媒体AI中台。
为了加速行业场景应用，腾讯云将行业大模型能力应用到腾讯企点、腾讯会议、腾讯云AI代码助手等多款头部SaaS产品中，其中，腾讯企点基于行业大模型提升了企业智能客服和数据分析能力，腾讯会议的AI小助手能快速理解会议内容，完成信息提取、内容分析等任务，腾讯云AI代码助手能完成沟通、编码、排错、评审、调优开发关键流程，辅助开发者高效创作。
同时，腾讯云还联合22家企业正式启动行业大模型共建合作，并联合17家生态伙伴共同发起了“腾讯云行业大模型生态计划”。
一、模型、数据、应用、算力，如何加速大模型产业落地？
如今，通用大型语言模型在聊天问答上展现出了令人惊艳的能力，其通过大量知识与公开信息的训练，通过预测下一个字的语言生成，然后生成人性化的回复，与用户实现连贯对话。
与此同时，许多企业管理者也在思考如何把大模型技术应用到自己的企业场景中，如客服、营销环节中，以及如何实现业务经营降本增效。
然而，在具体的企业场景中，通用大模型并不能满足企业需求，比如，它不懂企业的专业术语、回答比较笼统、有时还会一本正经胡说八道。
此外，在应用大模型的同时，企业还在思考，如何保护企业的产权和隐私？如何降低大模型的使用成本？
基于此，腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生从模型、数据、应用与算力四个角度探讨了大型语言模型如何落地到产业中。
首先是模型，通用大型语言模型不一定是满足行业场景需求的最优解。目前，大型语言模型是基于网上公开信息进行训练的，许多专业的知识与行业数据积累并不足，其行业针对性、精准性并不够。并且，企业应用大模型时容错性低，一旦企业提供了错误的信息，会引发巨大的法律责任，因此，企业使用的大模型必须可控、可追溯、可修正等。
客户需要有行业针对性的行业大模型，再加上企业自己的数据做训练、精调，才能提供实用性更高的智能服务。为了让企业在合理成本下，选择合适的模型，腾讯云发布了腾讯云MaaS服务解决方案，基于TI平台打造了行业精选模型商店，覆盖金融、文旅、政务、传媒、教育等10大行业，提供超过50个解决方案。
第二是数据，数据是大模型的原材料，针对具体场景，数据的覆盖和质量至关重要。在模型的开发过程中，需要关注敏感数据的保护和安全合规，并有效管理大量的数据和标签，不断进行测试和模型的迭代，帮助模型开发者和算法工程师高效率、高品质、低成本地处理数据，创建和使用大模型。
大量有针对性的行业数据训练出来的大模型，经过精调后，智能客服、聊天机器人等的回答会更细致，能为用户推荐定制化方案。
第三是应用，腾讯自身的企业级应用，已经应用了行业大模型，如腾讯会议即将推出的覆盖腾讯会议全流程场景的智能小助手，会后能生成智能总结、摘要，提升用户开会与信息流转效率；腾讯企点智能客服可以结合企业业务需求进行训练、精调，为用户提供更准确详细的回答，甚至调用业务系统来提供实时数据；AI代码助手可以帮助程序员完成代码的补充、纠错、解释。
第四是算力，算力是模型持续运转的基础，高性能、高弹性和高稳定的算力需要借助专业的云服务。大模型训练和使用过程需要大量异构算力支持，再加上GPU服务器比一般服务器稳定性低，其运维、问题排查更为频繁。
腾讯云打造了面向模型训练的新一代HCC高性能计算集群，搭载最新次代GPU，结合多层加速的高性能存储系统，加上高带宽、低延迟的网络传输，整体性能比过去提升了3倍。
同时，腾讯云推出了面向AI运算的向量数据库，支撑对图像、音频和文本等非结构化数据的高效处理，数据接入AI的效率，也比传统方案提升10倍。
汤道生说：“今天，我们再一次站在数字科技革命的奇点上，大模型只是开端，AI与产业的融合，将绽放出更有创造力的未来。 ”
二、产业场景是大模型最佳练兵场
大模型驱动智慧涌现，产业场景已经成为“最佳练兵场”，在智能问答、内容创作、智能决策、智能风控等场景中已经应用非常广泛，但很多客户想要用好大模型，仍面临很多挑战，如计算资源少、数据质量差、投入成本高、专业人才稀缺。
基于此，腾讯云依托其大模型高性能计算集群和行业大模型能力，通过腾讯云TI平台，可以满足客户模型预训练、模型精调、智能应用开发等多样化需求。
腾讯云TI平台支持企业加入自己独有的场景数据进行精调训练，并且企业还能根据自身业务场景需求，定制不同参数、规格的专属模型。
如经微调的文旅行业智能客服，接入行业数据后，智能客服的答案更加细致，打通API接口后，客服还能罗列出更详细的价格信息。
腾讯云TI平台行业大模型精调解决方案有四大优势，分别是高质量的行业大模型、完善的平台工具、成熟的流程方法、全面配套服务，可以为企业提供从模型选择、到落地部署的一站式服务。
首先，腾讯云TI平台内置多个高质量行业大模型，涵盖金融、传媒、文旅、政务等多个行业场景，如针对客服场景的“对话问答”、“相似问生成”等任务，企业使用时，只需少量数据，就能达到比较好的精调效果。
其次，TI-ONE平台提供了包括数据标注、训练、评估、测试和部署等全套工具，同时具备多机多卡训练加速能力，企业可快速在TI-ONE平台上进行一站式的大模型精调。
今年4月，腾讯云就发布了面向大模型训练的新一代HCC高性能计算集群，采用最新一代腾讯云星星海自研服务器，结合多层加速的高性能存储系统，具备3.2Tbps业界最高互联带宽，算力性能提升3倍。
在传统CV、NLP算法模型的基础上，腾讯云新增了对大模型的训练和推理加速能力，通过异步调度优化、显存优化、计算优化等方式，相比行业常用方案性能提升超过30%。以及还有向量数据库能支持每天千亿级的检索。
在配套服务上，腾讯云提供了私有化部署、公有云托管多种灵活部署方案。安全合规上，腾讯云在问题、算法、答案侧都进行了敏感信息过滤、规避。
三、腾讯会议AI小助手，会前、会中、会后全智能
腾讯会议宣布即将推出覆盖会议全流程场景的AI小助手，只需通过简单自然的会议指令，基于对会议内容的理解，就可以完成信息提取、内容分析、会管会控等多种复杂任务。目前，智能录制已面向会员、商业版和企业版用户全量开放，其他更多能力将陆续上线。
会前，AI小助手能完成协调跨区域多人日程、协助准备会议材料，同时能快速进行会议预订，还能检索信息调用上次会议的待办事项。
会中，如果用户迟进入会议，AI小助手可以快速整理重要记录，让用户能快速跟上会议进度，同时支持设置提醒关键词，提醒用户关注发言人讲话等。基于对会议的理解，小助手还能快速提炼同事对于某一问题的意见。
AI小助手还能完成更换会议布局、实时字幕与多语言翻译等。当用户的会议日程发生冲突，AI小助手可以快速获取用户未参加会议的最新信息。
会后，小助手能分段落、分层次总结会议整场内容，同时将录制的会议视频划分为几个章节，方便用户查找，还可以筛选出用户所关心的发言人，让用户在时间轴上清晰的定位到发言人讲话的时间。
四、智能客服+分析助手，行业大模型能力全面升级
腾讯企点基于大模型能力研发探索全新一代智能客服和企点分析AI助手，能提升企业的客服和数据分析能力。
企点分析AI助手是基于行业大模型能力的全面升级，通过标准化数据采集和治理，以业务视角提出问题并快速获得可视化图表结果，能提升企业的数据分析效率。
企业用户运营数据分析流程有五大痛点，包括数据准备过程中的数据量大难挖掘，分析执行过程中面临懂业务但不懂数据分析、有工具但门槛高效率低、会统计但缺少深入洞察，以及报告产出时人工撰写耗时长。
为了提升数据分析的产出效率，腾讯企点分析AI助手拥有五大核心能力，分别是数据理解、指标拆解、自然语言查询、AI推理和结论提炼。业务人员只需要提出想要分析的问题，就可以快速获得分析的数据。
同时，运营人员可以参考AI助手生成的数据，去对应分析某一部分增加减少的原因。在使用工具上，AI助手能自动填充分析配置条件，用户无需学习复杂的分析工具，还能实现一键生成报告。
在智能客服方面，传统智能客服会出现答不准、答不全、答不好的现象，根据中国青年报社会调查中心的数据，近六成受访者对现有的智能客服不满意。
传统智能客服平均每个客户问答整理需要两周时间，并且需要客服人员花费很多时间设计多轮对话的流程配置，平均人工坐席会话处理时长大于30分钟，还需要人工客服查找前序的聊天记录。
新一代智能客服具备快速学习和智能回答能力，可辅助人工操作提高客服销量，其可以利用向量数据库找到相关知识，大模型叠加搜搜引擎，触达官网和行业网络知识，生成拟人化的答案，同时在问题、答案、模型层过滤敏感信息。
如问企点智能客服和传统智能客服 “做短视频，推荐一款数字人”。传统智能客服的答案生硬、机械，企点智能客服捕捉到了“短视频的制作场景中”，说明了什么样的数字人符合“短视频”。
继续追问“我想用形象气质好的2D数字人，可以帮我选选吗？音色最全的全身形象，能够支持横竖两款分辨率”。
传统智能客服的答案是还在学习中，无法理解问题。企点智能客服反馈的结果还给到了对应的表格信息、文档来源。
当问到“有没有专业顾问，给我讲讲数字人在短视频生产的案例？”，企点智能客服可以检测到用户有找人工客服的需求，转到人工坐席。
同时，在坐席页面，AI助手也可以快速生成问题的答案，能帮助人工坐席快速回复客户，还能帮助人工坐席整理会话小结。
五、推新一代AI代码助手，做开发者的技术导师
腾讯云还将推出新一代AI代码助手，AI代码助手能帮助开发者沟通、编码、排错、评审和调优。
在沟通环节，AI代码助手扮演的是“技术导师”角色，能通过上下文推理给出回复，帮助开发者快速理解代码逻辑。
编码环节，小助手能根据上下文信息进行快速代码补全，生成高质量代码，还能反向生成代码注释和单元测试。
在排错场景，AI可以辅助程序员定位出错的问题，可以给出直接修复问题的代码，开发者只需检查给出的答案是否合理。
评审阶段，AI可以辅助开发者一键自动生成提交信息，还能帮助评审员准备云端开发环境，并自动运行、查看效果，同时生成评审建议。
调优环节，AI代码助手可以根据自然语言指令调整效果。
下一步，AI将和软件开发过程充分结合，覆盖软件构想、研发、发布、运维的全过程，辅助架构师进行架构建模，腾讯云AI代码助手已经在腾讯云内部进行体验测试，并且对于开发者的效率有50%的提升。
六、HCC 2.0训练效率提升300%，软硬件协同加速大模型训练
模型的快速增长对算力和网络要求发生了数量级变化，AI新时代的大模型需要更加高效的基础设施，新一代基础设施需要解决三大挑战，分别是单机性能到集群性能、标量数据到向量数据、自动调度到自动运维。
腾讯云向量数据库能解决海量数据的索引问题，高性能计算集群能解决超高性能和自动化运维问题。
相比于上一代，HCC 2.0训练效率提升比例达到300%，腾讯云最新的集群测试方案4天时间可以完成万亿大模型训练。
在基础设施层，HCC 2.0搭载了腾讯自研星脉网络，单个服务器网络带宽达到3.2 Tbps RDMA。
软件定义层，基于SDHN能实现网络故障无感知，还支持qGPU对单卡进行算力隔离，实现5%超细粒度切分。
硬件层面，175B模型、约3TB Checkpoint文件能在1分钟内完成整个Checkpoint任务的读写。
网络通信时间占比达到4%左右，通信时间占整个通信计算训练的时间越小，训练效率越高。
软件层面包含框架加速和网络加速，能实现更加合理的显存分配，使得模型规模提升94%。
为了满足企业在向量化时代对数据的检索需求，腾讯云即将推出企业级分布式向量数据库，提供了10倍单索引规模，并集成了Embedding能力，使得企业接入AI的工期从30天缩短到3天。
腾讯云向量数据库在内部已大规模运行5年，每天处理超千亿请求次。
结语：生态共建或成大模型落地最优解
大型语言模型驱动的“智慧涌现”，正在重塑千行百业，为其带来更多的发展机遇。然而，落脚到实际应用中，大型语言模型的潜力尚且没有被全部激发出来，很多企业受自身业务限制、资金人力投入不足等问题，不能找到大型语言模型应用实践的可行路径。
在此背景下，企业能拥有自己定制化、易部署的行业大模型可能是其赶上大模型潮流的最优解。依托于腾讯云等头部玩家在大型语言模型领域积累的技术及经验，能让更多企业实现AI与产业的融合。
