1、小度科技原CEO景鲲辞任 百度CIO李莹接任
2、雷军通过小米和顺为连番注资百川智能
3、曝OpenAI拟自研AI芯片 计划收购公司
4、微软宣布Bing Chat等免费提供DALL-E 3服务
5、微软发布166页多模态大模型GPT-4V说明书
6、传微软将于下月推出首款AI芯片
7、研究称GPT-4审稿意见与人类评审一致性超50%
8、ChatGPT成功预测mRNA疫苗获诺奖
9、谷歌虚拟助手将集成Bard登陆手机
10、谷歌AI自主设计芯片论文遭Nature调查
11、DeepMind等发布具身机器人数据集和RT-X模型
12、Meta发布Llama 2 Long,支持3.2万Tokens
13、Meta等发布StreamingLLM框架 支持400万Tokens
14、传亚马逊明年1月将AI集成至电商搜索栏
15、Stability AI发布面向移动设备的Stable LM 3B
16、三星Exynos 2400芯片亮相 AI处理快14.7倍
17、AI创企Jasper CEO辞职,Dropbox前总裁接任
18、CAIS等机构学者提出可检测LLM撒谎的内部表征
19、商汤科技49篇论文入选ICCV 2023
1、小度科技原CEO景鲲辞任 百度CIO李莹接任
据36氪报道,10月7日,百度宣布新一轮干部轮岗:即日起,百度集团副总裁、百度集团首席信息官(CIO)李莹博士担任小度科技CEO,向集团董事长兼CEO李彦宏直接汇报。据悉,小度原CEO景鲲因个人原因即将辞任。有业内人士认为,此次干部调整,意味着小度科技将承担百度更多在AI时代的使命,将大模型引入到小度的所有业务,带来业绩增长。
2、雷军通过小米和顺为连番注资百川智能
据量子位10月1日报道,雷军通过小米集团和顺为资本,注资了大模型初创公司百川智能。根据创投圈透露出的消息,雷军第一次押注这家公司在今年5月,他手下的小米和顺为同时参投了百川智能的A1轮,该轮投前估值为数亿美元,融资额超过数亿人民币;第二次则是新近百川智能进行的A3轮融资,市场传言顺为、小米再次重金押注,融资额约为数千万美元。对于上述投融资消息,百川方面表示暂无说明和回应。
3、曝OpenAI拟自研AI芯片 计划收购公司
据路透社10月6日报道,知情人士透露,OpenAI正在探索自研AI芯片,甚至已经在评估潜在的收购目标。据悉,该公司尚未决定是否继续推进。不过,据熟悉内情的人士透露,至少从去年开始,该公司就在讨论各种方案,以解决其所依赖的昂贵AI芯片短缺的问题。这些方案包括打造自己的AI芯片、与包括英伟达在内的其他芯片制造商更紧密地合作,以及在英伟达之外实现供应商多元化等。对此,OpenAI拒绝发表评论。
4、微软宣布Bing Chat等免费提供DALL-E 3服务
当地时间10月3日,微软宣布OpenAI最新的DALL-E 3图像生成器现在可供所有Bing Chat和Bing Image Creator用户免费使用。据微软介绍,DALL-E 3是文本到图像生成的突破,由深度神经网络提供支持,可以从自然语言提示生成逼真且多样化的图像。
5、微软发布166页多模态大模型GPT-4V说明书
据机器之心报道,9月29日,微软发布针对OpenAI多模态大模型GPT-4V的166页“说明书”,覆盖详细测评和提示词使用技巧。该报告共分为11个章节,重点是对GPT-4V进行分析,以加深大众对大型多模态模型的理解。文章用很大篇幅介绍了GPT-4V可以执行的任务,包括用测试样本来探索GPT-4V的质量和通用性,现阶段GPT-4V能够支持的输入和工作模式,以及提示模型的有效方法。此前,OpenAI于当地时间25日发布了GPT-4V视觉模型及其系统卡论文,但文档只有18页,很多内容都无从得知。
报告地址:
https://arxiv.org/pdf/2309.17421.pdf
6、传微软将于下月推出首款AI芯片
据外媒The Information报道,知情人士透露,微软计划11月14日在其年度开发者大会上推出该公司首款AI芯片,帮助减少对英伟达芯片的依赖。该知情人士称,微软仍在考虑是否将该芯片提供给Azure云客户。微软、英伟达和OpenAI的发言人未回应置评。据悉,微软在2019年就开始研发AI芯片,The Information曾于今年4月报道微软和OpenAI测试一款代号为Athena的AI服务器芯片,但目前尚不清楚下个月推出的芯片正式名称。
7、研究称GPT-4审稿意见与人类评审一致性超50%
据新智元报道,10月3日,斯坦福大学等机构的研究者发布论文称,GPT-4对于Nature、ICLR等顶会的近5000篇论文给出的审稿意见与人类审稿人的意见有超过50%的相似性,且超过82.4%的作者表示,GPT-4给出的意见相当有帮助。论文作者James Zou总结道:我们仍然需要高质量的人工反馈,但LLM可以帮助作者在正式的同行评审之前,改进自己的论文初稿。
论文地址:
https://arxiv.org/abs/2310.01783
8、ChatGPT成功预测mRNA疫苗获诺奖
据新智元报道,10月2日,2023年诺贝尔生理学或医学奖颁布,获奖者是Katalin Karikó和Drew Weissman,理由是发现了核苷碱基修饰,从而开发出有效抗新冠病毒的mRNA疫苗,而该结果被ChatGPT准确预测。9月30日,新智元曾报道结合最新的Bing联网功能,ChatGPT给出了“mRNA疫苗的开发可能会获得2023年诺贝尔化学奖”的预测。
9、谷歌虚拟助手将集成Bard登陆手机
10月4日,谷歌在Made by Google大会上推出了Bard驱动的个人助理Assistant with Bard,它将Bard的生成和推理能力与Assistant的个性化帮助相结合,用户可以通过文本、语音或图像与其互动。谷歌称将在不久后将其提供给早期测试者,在几个月内向公众推出安卓和iOS版本。
10、谷歌AI自主设计芯片论文遭Nature调查
据新智元报道,近日,一篇由谷歌大神Jeff Dean领衔的“AI自主设计芯片”研究,被曝正式接受Nature调查。2021年9月,由Jeff Dean领衔的谷歌大脑团队发表了一篇AI设计芯片的论文,曾引起业界轰动。然而,随后有多人发现这项工作并不能被复现,而且关键数据和代码被隐藏了,Nature也对此展开了调查。目前,相关的Nature评论文章前面,已经被贴上了大写的“Retracted Article”(撤稿)。因为原本的论文受到质疑,因此写作相关评论文章的作者也将其撤回。
11、DeepMind等发布具身机器人数据集和RT-X模型
当地时间10月4日,谷歌DeepMind与来自33个学术实验室的学者合作,汇集了来自22种不同机器人类型的数据,创建并发布了Open X-Embodiment数据集和RT-X模型,用于支持具身机器人训练。研究团队在五个不同的研究实验室测试了RT-1-X模型,结果表明,与针对每个机器人独立开发的方法相比,该模型在五个不同的常用机器人上的成功率平均提高了50%。此外,研究团队在来自多个实例的数据上训练视觉语言动作模型RT-2,其在真实世界机器人技能上的表现提高了三倍。
论文地址:
https://robotics-transformer-x.github.io/paper.pdf
数据和模型地址:
https://robotics-transformer-x.github.io/
12、Meta发布Llama 2 Long,支持3.2万Tokens
据量子位报道,近日,Meta发布Llama 2 Long,上下文长度达3.2万Tokens,与GPT-4持平。性能上全面超越Llama 2,在指令微调MMLU(5-shot)等测试集上表现超过ChatGPT,在人类评估上优于10万Tokens的Claude 2。据介绍,与Llama 2相比,Llama 2 Long的变化主要有两个方面。一是训练参数上,采用了高达4000亿Tokens的数据源,而Llama 2最多的版本也只有700亿。二是架构上,与Llama 2保持不变,但对位置编码进行了一个非常小的必要修改,以此完成高达3.2亿Tokens的上下文窗口支持。
论文地址:
https://arxiv.org/pdf/2309.16039.pdf
13、Meta等发布StreamingLLM框架 支持400万Tokens
据机器之心报道,9月29日,来自MIT、Meta AI、CMU的研究者提出了一种名为“StreamingLLM”的方法,为大语言模型可能遇到的RAM与泛化问题提出了一系列解决方案,号称能够“让语言模型处理无限长度的文本内容”。据介绍,该方法的工作原理是识别并保存模型固有的“注意力池”(Attention Sinks)锚定其推理的初始Token。结合最近Token的滚动缓存,StreamingLLM的推理速度提高了22倍,而不需要牺牲任何的准确性。经研究团队证实,StreamingLLM能够让Llama 2、MPT、Falcon和Pythia可靠地处理高达400万Tokens的文本,为流式语言模型提供更多部署方面的可能性。
论文地址:
https://arxiv.org/pdf/2309.17453.pdf
项目地址:
https://github.com/mit-han-lab/streaming-llm
14、传亚马逊明年1月将AI集成至电商搜索栏
据外媒Business Insider 10月3日报道,亚马逊正打造一款AI驱动的聊天机器人,并拟将其整合进亚马逊网站的搜索栏中,可优化客户在其电商网站的搜索体验。该计划代号为“尼罗河计划”(Project Nile),将在亚马逊现有的搜索栏之上添加一层AI,实现即时产品比较、更多详细信息和评论请求等功能,以及基于搜索上下文和个人购物数据的推荐。知情人士透露,该功能正在进行内部测试,最快可能在明年1月推出。
15、Stability AI发布面向移动设备的Stable LM 3B
当地时间10月2日,AIGC独角兽Stability AI宣布推出Stable LM 3B实验版本,这是一款专为便携移动设备设计的紧凑型语言模型,包含30亿个参数,使用256个英伟达A100 40GB GPU训练而成,主打文本生成。据介绍,与上一次发布的Stable LM相似,Stable LM 3B的主要优势之一是体积更小、效率更高。此外,它的性能超过了目前最先进的3B参数语言模型,甚至超过了一些7B参数规模的最佳开源语言模型。
16、三星Exynos 2400芯片亮相 AI处理快14.7倍
据IT之家报道,10月6日,三星在System LSI Tech Day 2023活动上预览了最新的Exynos 2400处理器。据介绍,Exynos 2400的CPU性能比Exynos 2200快70%,AI处理速度快14.7倍,特别针对智能手机设计优化了AI性能,借助芯片能力,可以在本地实现文本生成图片的能力。
17、AI创企Jasper CEO辞职,Dropbox前总裁接任
据外媒Gold Penguin报道,近日,AIGC独角兽Jasper CEO Dave Rogenmoser辞去CEO职位,移交给网盘公司Dropbox前总裁Timothy Young。10月18日,该公司计划在Young和Rogenmoser共同主持的在线活动中发布主要产品公告。
18、CAIS等机构学者提出可检测LLM撒谎的内部表征
据新智元报道,10月3日,来自CAIS、CMU、伯克利、斯坦福、康奈尔、马里兰、宾大等机构的学者发布论文,提出在大语言模型内部具有可解释的内部表征,人类可以控制这些表征来影响大模型的幻觉、偏见、危害,甚至可以检测出它们是否在撒谎。
研究者们设计了一种类似于PET和fMRI等脑部扫描的,称为LAT的扫描技术,来观察大模型参与真理等概念或撒谎行为时的大脑活动,随后发现大模型具有一致的内部信念。通过检查它们在TruthfulQA上的内部真理概念,研究者发现,更大的模型具有更准确的信念。在表达真实信念时,大模型会表现出不同的大脑活动,而在撒谎时却并不会这样。因此,研究人员可以通过刺激负责诚实行为的大脑区域,抑制不诚实行为的区域,以无监督的方式大幅改善TQA上的SoTA,让大模型变得更“诚实”。
论文地址:
https://arxiv.org/pdf/2310.01405.pdf
19、商汤科技49篇论文入选ICCV 2023
10月2日至6日,国际人工智能顶级国际会议ICCV(International Conference on Computer Vision)在法国巴黎举行。本届ICCV投稿总数达8068篇,其中2160篇被接收,录用率为26.8%,略高于上一届ICCV 2021录用率25.9%。商汤科技及联合实验室共49篇论文入选ICCV 2023,涵盖文生图、3D数字人、自动驾驶、目标检测、视频分割等多个与大模型和生成式AI相关的热点方向。