亚马逊云科技推云数智一体服务,秀智能湖仓成果

智东西(公众号:zhidxcom)
作者 | 杨畅
编辑 | 三北

智东西4月29日报道,近日,亚马逊云科技在北京召开大数据与人工智能媒体沟通会,宣布推出“云、数、智三位一体”的大数据与机器学习融合服务组合。亚马逊云科技还联合乐我无限(Joyme)、上海欣兆阳(Convertlab)等合作伙伴分享了亚马逊云科技在助力企业数智融合方面的相关案例。

亚马逊云科技大中华区产品部总经理陈晓建谈道,亚马逊云科技有两个数智融合方面的重要理念:一是在云中实现数据与智能的大融合将成为企业加速创新的引擎,二是企业应在云中打造统一的数据基础底座,实现大数据与机器学习的“双剑合璧”,为企业发展提供新引擎。

亚马逊云科技大中华区产品部技术专家团队总监王晓野详细解析了亚马逊云科技的“智能湖仓”架构朝着深度智能方向的多项升级成果。

大数据与人工智能技术如何融合?亚马逊云科技在这方面进行过哪些研究和讨论?大数据与人工智能融合后,又能给企业用户带来哪些改变?本文对这些问题进行了深入探讨。

一、云数智一体服务,应对机器学习落地三大挑战

陈晓建说,随着企业的数据越来越多,机器学习模型越来越先进,很多企业希望通过大数据技术和机器学习技术的融合,进一步带动企业的业务创新,提升企业产出。

但是,企业往往会面临这样一个困境:拥有大量的数据和分析计算,尝试了多种先进的机器学习模型,不过很难有实际的业务产出。从技术发展趋势来看,大数据技术和机器学习技术走的是不同路线,大数据看重数据本身的采集、优化,而机器学习技术看重算法本身的优化、调参。

陈晓建谈道,具体来说企业的机器学习生产化面临三方面的挑战。一是大数据与机器学习分而治之,这两部分往往是不同团队负责,容易出现数据孤岛、技术孤岛,制约相关应用的敏捷迭代。二是数据处理的能力不足,难以处理海量的业务数据,这制约着机器学习由实验转向实践。三是数据分析人员的参与度低,研发测试阶段表现不错的算法模型,可能在实际使用中产生的效果不够理想,因为真实环境的复杂度更高一些。

为此,亚马逊云科技推出了“云、数、智三位一体”的服务组合。

亚马逊云科技推云数智一体服务,秀智能湖仓成果

首先是要构建云中统一的数字治理底座,打破数据与技能孤岛。

亚马逊云科技通过帮助用户构建统一的数字治理底座,实现用户所用的大数据和机器学习应用的数据共享、数据权限的统一管控,以及两者统一的开发和流程编排。

二是为机器学习提供生产级别的数据处理能力,助力机器学习由实验转为实践。

亚马逊云科技能提供多种灵活可扩展、专门构建的大数据服务,助力用户进行复杂的数据加工级处理,来应对数据规模的动态变化、优化数据质量。

三是让数据分析智能化,赋能企业业务人员探索创新。亚马逊云科技为用户提供更智能的数据分析服务,让业务人员就可以完成智能分析、模型效果验证以及自主式创新。

陈晓建说全球数十万用户都在使用亚马逊云科技的大数据及机器学习服务。

二、“智能湖仓”的深度智能能力再升级

去年亚马逊云科技推出了“智能湖仓”架构,为用户提供相关的数智化服务。王晓野分享了从发布到现在一年以来,亚马逊云科技的“智能湖仓”架构有了哪些新的变化。亚马逊云科技推云数智一体服务,秀智能湖仓成果

云中统一的数据治理底座方面,亚马逊云科技的Amazon SageMaker Studio可以一站式地完成数据开发、模型及相关的生产任务,为大数据和机器学习提供统一的开发平台。

亚马逊云科技推云数智一体服务,秀智能湖仓成果

亚马逊云科技还能提供Amazon Lake Formation,该应用新增了多个功能,可以帮助用户实现数据网格跨部门的数据资产共享,以及基于单元格的最细粒度的权限控制机制。

亚马逊云科技推云数智一体服务,秀智能湖仓成果

为机器学习提供生产级别的数据处理能力方面,亚马逊云科技有能够支持多种开源框架的大数据平台Amazon Athena。Amazon Athena可以对Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等数据源的数据进行联邦查询,进而快速完成机器学习建模的数据加工。

亚马逊云科技推云数智一体服务,秀智能湖仓成果

亚马逊云科技还构建了无服务器分析能力,包括Amazon Redshift、Amazon Managed Streaming for Apache Kafka (Amazon MSK)和 Amazon EMR等应用。这些可以让用户不需要配置、扩展或者管理底层的基础设施就能处理任何规模的数据,为用户的机器学习项目提供兼具性能和成本效益的特征数据准备。

亚马逊云科技推云数智一体服务,秀智能湖仓成果

数据分析智能化方面,亚马逊云科技在日常分析工具中集成了机器学习模型预测能力,还提供如可视数据准备工具Amazon Glue Databrew、零代码化的机器学习模型工具Amazon SageMaker Canvas等服务,让业务人员探索机器学习建模。

三、合作开发新应用,已获多方收效

亚马逊云科技这次还邀请了乐我无限和上海欣兆阳这两位合作伙伴的相关负责人来分享其与亚马逊云科技合作的背景、过程和成效。

乐我无限数据研发中心总监杨飞说,乐我无限运营的全球化直播平台LiveMe上面有来自200多个国家或地区的用户,数据量非常大,而且还需要做到合规运营等。

亚马逊云科技推云数智一体服务,秀智能湖仓成果

乐我无限基于亚马逊云科技的解决方案搭建了直播内容识别系统、欺诈交易识别系统。直播内容识别系统帮助乐我无限提升了用户体验,降低了内容管理的业务成本。乐我无限通过欺诈交易识别系统减少欺诈、拒付类交易,进而每年减少经济损失可以达数百万美元。

上海欣兆阳联合创始人兼CTO李征谈道,上海欣兆阳和亚马逊云科技在营销数字化转型方面进行了合作。上海欣兆阳是一家营销云厂商,能提供一体化营销云产品。

基于数据智能的营销会给企业用户带来更多机会。人工智能让以用户为中心的营销可以做到千人千面信息的引导。但数据智能营销解决方案还面临多种云上挑战。一是数据治理与机器学习作业流程弱关联,二是数据的处理与分析需要耗费大量精力,三是模型迭代、维护等管理层面的效率较低。

上海欣兆阳基于亚马逊云科技的统一的数据基础底座,上海欣兆阳构建了一体化数据智能湖仓架构Data Hub和一体化高效机器学习平台AI Hub。这两项应用能将数据流转的时效性提升了32%,模型上线效率提升了30%。

结语:云数智混合赋能产业数字化转型

亚马逊云科技根据自身的实践以及对行业的观察,打造出了一套“云、数、智三位一体”服务组合,为用户提供融合人工智能和大数据的解决方案。

不止人工智能、大数据技术在赋能企业数字化转型,更高效发展,还有如物联网、数字孪生等等智能科技一起助推企业更好发展。