绑定手机号
获取验证码
确认绑定
订阅成功
扫码关注智东西Plus
接受订阅信息更新提醒
Google AI研发出更有效NLP预训练方法

3月11日消息,Google AI发博表示,在其新论文《ELECTRA:将文本编码器作为标识符而不是生成器进行预训练》中,研究人员采用了另一种方法进行语言预训练,该方法保持了BERT的优点,但学习效率更高。ELECTRA是一种新的预训练方法,比如,ELECTRA使用仅四分之一的算力就可以在GLUE自然语言理解基准上达到RoBERTa和XLNet的性能,并在SQuAD问答基准上获得最优的结果。ELECTRA出色的效率意味着即使在小规模的情况下也能很好地运行。ELECTRA已作为TensorFlow之上的开源模型发布,其中包括许多易于使用的预训练语言表示模型。

订阅
订阅Google最新消息
订阅NLP最新消息
相关快讯
  • 07月08日 12:29
    Google已采用英伟达A100 Tensor Core

    7月8日消息,NVIDIA周二宣布,A100 Tensor Core图形处理单元(GPU)在发布几周后已被Google Cloud所采用。Google Compute Engine上提供的Accelerator-Optimized VM(A2)系列,专门用于处理一些最苛刻的应用程序,包括人工智能工作负载和高性能计算(HPC)。Google由此成为首家提供新NVIDIA GPU的云服务提供商。

    来源:界面
  • 07月06日 15:22
    前美团NLP部门负责人王仲远任脉脉CTO

    7月6日消息,前美团点评搜索与NLP(自然语言处理)部门负责人王仲远已于今日正式履新,加盟职场社交平台脉脉担任合伙人、CTO,负责内容、增长等业务,直接向脉脉创始人兼CEO林凡汇报。

    来源:36氪
  • 07月03日 19:41
    美团搜索与NLP部门负责人王仲远离职

    7月3日消息,美团点评“搜索与NLP(自然语言处理)”部门负责人王仲远近期离职。在今年年初的组织架构调整中,该部门被纳入新成立的AI平台,夏华夏为负责人,向王慧文汇报。据知情人士透露,王仲远的下一站可能是硅谷明星创业公司Newsbreak,也有可能是快手。

    来源:36氪
  • 06月28日 13:52
    Google试验在电话app中显示来电事由

    6月28日消息,据外媒报道,Google即将在美国开始试验一个名为“Verified Calls(认证电话)”的功能。只要是通过Google认证程序的公司,就能事先将企业的电话、客户的电话及来电事由传送并记录在Google的专属服务器上,之后当企业拨打电话给客户时,客户手机上的电话app就会去服务器上比对,如果电话号码都符合的话,就会标示其为认证电话,并显示企业之前传送的来电事由,例如“安装网络”或“美食外送”之类的。据悉,这个功能是预设的,但须自行将电话登记到Google帐户。

    来源:品玩
  • 06月18日 20:26
    艾伦人工智能研究所发布AllenNLP 1.0

    6月18日消息,艾伦人工智能研究所发布AllenNLP 1.0。AllenNLP的1.0版本包括超过500个GitHub提交成果。从文档到添加新的NLP组件到调整API,研究人员几乎对平台的每个角落都进行了改进,以便它们可以长期更好地为社区服务。AllenNLP库于2017年启动,提供可轻松组合以构建新颖模型的自然语言组件。AllenNLP平台旨在加速利用ELMo等通用模块以及此后开发的其他模块的新研究。

    来源:机器之心
  • 06月18日 20:13
    吴恩达NLP课程上线Coursera

    6月18日消息,吴恩达NLP课程上线Coursera。该课程目前已经开放免费注册,共分11周完成。课程主要包含四部分内容:利用分类和词向量做NLP;利用概率模型做NLP;利用序列模型做NLP;利用注意力模型做NLP。授课者包括斯坦福讲师Younes Bensouda Mourri、谷歌大脑科学家Łukasz Kaiser和DeepLearning.ai产品主管Eddy Shyu。

    来源:机器之心
  • 06月11日 18:14
    宗成庆将出任ACL-IJCNLP 2021主席

    6月11日消息,第59届ACL大会暨第十届自然语言处理国际联席会议(ACL-IJCNLP 2021)将于2021年8月1日至6日在泰国曼谷举行。中国科学院自动化研究所宗成庆研究员将担任大会总主席,他曾担任2015年ACL-IJCNLP大会的程序委员会主席。

    来源:智东西
  • 04月17日 20:35
    新iPhone可用eSIM激活Google Fi服务

    4月17日消息,据9to5google报道,谷歌推出的无线网络Google Fi现已可以通过eSIM在最新的iPhone上激活。用户不再需要网购或者去零售店购买一张实体SIM卡。目前该服务仅支持有双卡功能的iPhone机型:iPhone XR、XS、XS MAX和iPhone 11。根据设备的技术规格,刚推出的iPhone SE也支持eSIM。不过,谷歌称,只有Google Fi的新用户可以通过eSIM在iOS激活使用。

    来源:品玩
  • 04月14日 14:34
    云知声3篇论文被NLP顶会ACL 2020收录

    4月14日消息,日前,自然语言处理领域国际顶级会议ACL 2020论文接收结果公布。大会共收到3429篇投稿论文,云知声-中科院自动化所“语言与知识计算联合实验室”共有3篇论文被收录,分别在医疗对话的自动信息抽取、国际疾病分类(ICD)自动编码,以及ICD自动编码可解释性等领域取得突破。据悉,这些最新的自然语言处理算法将为后续研究提供极具价值的经验和方向,已在云知声医疗业务率先应用。

    来源:智东西
  • 04月10日 15:14
    Google开源FUSS数据集 以训练AI模型

    4月10日消息,谷歌今天宣布发布Free Universal Sound Separation数据集(简称 FUSS),旨在支持AI模型的开发。该研究描述了两种机器学习模型,它们共同降低了多扬声器的语音识别词错误率(WER)信号。据悉,大多数声音分离模型都假设混合物中的声音数量是静态的,并且它们会分离少量声音类型的混合物(例如语音与非语音)或相同声音类型的不同实例(例如第一说话者与第二说话者)。FUSS数据集将重点转移到更广泛的问题上,即将可变数量的任意声音彼此分离。为此,FUSS数据集包括各种声音,逼真的房间模拟器以及将这些元素混合在一起的代码,以提供具有真实性的多源,多类音频。

    来源:机器之心
加载更多 ···