1、李飞飞谷歌联合发布AI视频扩散模型W.A.L.T
2、马斯克Grok出现幻觉 自称是OpenAI产品
3、OpenAI联创10年前论文获NeurIPS 2023时间检验奖
4、法国AI创企Mistral估值达20亿美元
5、Mistral AI发布专家混合模型Mixtral 8x7B
6、Runway宣布开展通用世界模型研发
7、微软与美国劳联-产联合作 确保AI为工人服务
8、网信办:整治AI生成虚假短视频内容
9、阿里云前首席安全科学家创业个人AI计算机
10、京东前副总裁AI创企获科大讯飞领投新融资
11、传华为云大模型核心成员顾晓韬加入智谱AI
12、零一万物再度澄清套壳争议
13、社交平台Soul推出自研大模型SoulX
14、海通证券发布“泛海言道”金融大模型
1、李飞飞谷歌联合发布AI视频扩散模型W.A.L.T
今日凌晨,李飞飞的斯坦福团队与谷歌联合发布用于生成逼真视频的扩散模型W.A.L.T,基于Transformer训练而成,支持文生视频、图生视频和3D摄像机运动。据介绍,该方法有两个关键的设计,一是使用因果编码器,在统一的潜空间内联合压缩图像和视频,从而实现跨模态的训练和生成;二是为了提高记忆和训练效率,使用了为空间和时空联合生成建模量身定制的窗口注意力架构。最后,团队针对文本到视频的生成任务训练了由三个模型组成的级联,包括一个基本潜在视频扩散模型和两个视频超分辨率扩散模型,能够以每秒8帧的速度生成分辨率为512*896的视频。
项目地址:walt-video-diffusion.github.io/
论文地址:walt-video-diffusion.github.io/assets/W.A.L.T.pdf
2、马斯克Grok出现幻觉 自称是OpenAI产品
近日有多名网友反馈,马斯克xAI公司的聊天机器人Grok出现“幻觉”问题。职业黑客Jax Winterbourne在进行红队测试时发现,当他要求Grok创建恶意软件时,Grok会回复“我无法满足您的要求,因为这有悖于OpenAI的政策”,因此质疑Grok抄袭了OpenAI的代码库。对此,xAI技术人员Igor Babuschkin回应道:“这里的问题是,网络上充满了ChatGPT输出,因此我们在使用大量网络数据进行训练时,不小心收集到了其中一些。当我们第一次注意到这个问题时,我们感到非常惊讶。不管怎么说,这个问题非常罕见。既然我们已经意识到了,就会确保未来版本的Grok不会出现这个问题。别担心,Grok没有使用OpenAI的代码。”
但也有网友对他说的“罕见”提出质疑。博主@ideasthesia跟帖称:“只是为了给幻觉问题提供更多例子,它可能并不像你想象的那么罕见。”并上传了一张截图,当他问Grok世界上最强的大模型是什么时,Grok回答是“xAI公司创建的GPT4”。
3、OpenAI联创10年前论文获NeurIPS 2023时间检验奖
今日,神经信息处理系统大会NeurIPS公布了今年的获奖论文,包括时间检验奖、两篇杰出论文 、两篇杰出论文亚军(Runner-Ups )、两篇优秀数据集和基准论文,其中大部分论文都围绕大型语言模型展开。获得时间检验奖的是一篇10年前由谷歌团队发布的论文,作者包括现在的OpenAI首席科学家Ilya Sutskever。NeurIPS称,该论文介绍了开创性的词嵌入技术word2vec,展示了从大量非结构化文本中学习的力量,促进了标志着自然语言处理新时代开始的进步,被引量超过4万次。
论文地址:arxiv.org/pdf/1310.4546
4、法国AI创企Mistral估值达20亿美元
据彭博社昨日报道,法国AI创企Mistral完成了新一轮4.15亿美元融资(约合人民币29.8亿元),本轮融资对该公司的估值约为20亿美元(约合人民币143.5亿元)。该公司在周一的一份声明中称,本轮融资由硅谷风险投资公司Andreessen Horowitz和初始支持者光速创投(Lightspeed Ventures)牵头。Mistral由来自谷歌DeepMind和Meta的科学家创立,成立仅7个月,其最新发布的专家模型在基准测评中超越Llama 2,对标GPT-3.5。
5、Mistral AI发布专家混合模型Mixtral 8x7B
继上周五突然开源8x7B模型但未作任何介绍后,今日,法国AI创企Mistral AI于官网宣布正式发布该模型,名为Mixtral 8x7B,是一个具有开放权重的高质量稀疏专家混合模型(SMoE)。据介绍,该模型采用Apache 2.0许可,在大多数基准测试中的表现都优于Llama 2 70B且推理速度快6倍,测评成绩能与GPT-3.5相媲美,甚至优于GPT-3.5。Mixtral可以处理32k长度的上下文,支持英语、法语、意大利语、德语和西班牙语,具有强大的代码生成能力。具体来说,Mixtral拥有467亿总参数,但每个令牌只使用129亿个参数。因此,它处理输入和生成输出的速度和成本与12.9B模型相同。
同时,Mistral开放了第一个平台服务的测试版,该平台目前提供三个聊天端点,用于根据文本指令生成文本,还有一个嵌入端点。据介绍,前两个端点(mistral-tiny和mistral-small)分别使用Mistral 7B和刚发布的Mixtral 8x7B;第三个端点(mistral-medium)使用的是性能更高的原型模型,该模型目前仍在部署环境中测试。
平台地址:console.mistral.ai
6、Runway宣布开展通用世界模型研发
昨日晚间,AI创企Runway于官网宣布开展围绕通用世界模型(General World Models)的长期研究工作,目标是表现和模拟与现实世界中一致的广泛的互动。Runway称,其目前的Gen-2等视频生成系统可以看作是非常早期的通用世界模型,对物理和运动有一定的了解,但在处理复杂的摄像机或物体运动等问题上仍有困难。为了建立通用的世界模型,Runway正在进行几项公开的研究,包括生成环境地图,在环境中导航和交互,捕捉世界和世界中居民的动态,建立逼真的人类行为模型等。
7、微软与美国劳联-产联合作 确保AI为工人服务
据美通社报道,昨日,微软宣布与美国劳工联合会-产业工会联合会(AFL-CIO)就AI和劳动力达成合作协议。为确保AI为美国工人服务,将主要实现三个目标:1、与工会领袖和工人分享有关AI技术趋势的深度信息;2、将工人的观点和专业知识纳入AI技术的开发;3、帮助制定支持一线工人技术技能和需求的公共政策。
8、网信办:整治AI生成虚假短视频内容
据网信中国微信公众号今日发文,12月5日,中央网信办开展为期一个月的“清朗·整治短视频信息内容导向不良问题”专项行动。其中提到,集中整治技术生成虚假短视频,包括使用AI等技术编造、拼接内容,违法使用他人肖像和声音进行人脸替换或人声合成,生成虚假短视频。
9、阿里云前首席安全科学家创业个人AI计算机
企查查信息显示,今日,杭州云麓知道科技有限公司发生企业名称变更,变更为“杭州半个宇宙科技有限公司”,同时企业人员发生重大变更,法定代表人、大股东从张宏变更为吴翰清。官网显示,KMind(半个宇宙)公司由前阿里巴巴研究员吴翰清(道哥)联合2名联合创始人和13名创始团队成员于2023年创立,并于12月推出“半个宇宙”操作系统,提供一个由kOS驱动的个人AI计算机给所有普通用户使用,帮助人们处理数据。KMind的使命是发明新型的个人AI计算机(PAIC,Personal AI Computer),打破当代互联网大公司的数据垄断,让数据为个人、小微企业创造价值,最终实现自由、开放、共享、平等的AI互联网。据悉,吴翰清曾任阿里云首席安全科学家、云盾负责人,于今年5月从阿里离职,当时曾有媒体报道称他将投身于AI短视频赛道创业。
半个宇宙官网地址:kmind.cn
10、京东前副总裁AI创企获科大讯飞领投新融资
据36氪报道,AI创企HiDream.ai近期完成新一轮融资,由科大讯飞创投基金领投,将门创投等多家机构跟投。其中,上一轮投资的阿尔法公社、中喝大种子一号基金再次跟投。本轮融资将用于产品研发、电商场景的市场拓展和C端产品出海方向的发展等。据悉,HiDream.ai由前京东集团副总裁、京东探索研究院副院长梅涛博士于2023年初创立,定位于围绕视觉方向,打造生成式多模态基础模型及应用。
11、传华为云大模型核心成员顾晓韬加入智谱AI
据AI科技评论今日报道,华为云大模型团队一核心技术骨干顾晓韬近日将离职,加入智谱AI。据悉,顾晓韬主要参与华为云的NLP与大模型研发工作,是盘古大模型的三个算法负责人之一,负责预训练,其他两人是负责监督微调的史佳欣与负责强化的朱疆成。本科期间,顾晓韬曾进入清华大学知识工程实验室做科研实习,师从智谱AI创始人唐杰,做数据挖掘、模型训练等方面的相关研究。他参与了清华大学Aminer数据挖掘系统开发工作,并获得一项“基于人名的邮箱地址推荐方法及系统”的专利,而Aminer由唐杰主导,也是智谱AI起家的第一块业务。
12、零一万物再度澄清套壳争议
据DoNews昨日报道,零一万物称,公司内部经过几个周的国际国内法律研判,已经确认完全不涉及套壳、抄袭,并给出了进一步的澄清。此前,向零一万物官方发邮件建议修改张量名称的Eric Hartford也于社交平台X上为其澄清,称零一万物“没有在任何事情上撒谎,他们从零开始使用自己创建的数据集训练Yi,对开源领域的贡献是值得赞扬的”。此外据零一万物微信公众号昨日发文,Yi-34B系列模型近期在斯坦福大学研发的大语言模型评测AlpacaEval Leaderboard中,以94.08%的胜率超越Llama 2、Claude 2、ChatGPT等模型,成为世界范围内仅次于GPT-4英语能力的大语言模型,并且是经由Alpaca官方认证为数不多的开源模型。同一周,在加州大学伯克利分校主导的LMSYS ORG排行榜中,Yi-34B-Chat以1102的Elo评分,晋升最新开源SOTA开源模型之列,性能表现追平GPT-3.5。
模型地址:
huggingface.co/01-ai/
modelscope.cn/organization/01ai
13、社交平台Soul推出自研大模型SoulX
据新浪科技报道,新型社交平台Soul近日宣布上线自研语言大模型SoulX。据了解,该模型基于海量数据训练,具备Prompt驱动、条件可控生成、上下文理解、多模态理解等能力。在保证对话流畅、自然、具备情感温度的同时,能覆盖百种细粒度风险类别,通过训练数据安全筛选、安全SFT数据构造、RLHF安全对齐、推理拦截等策略来构建安全体系,保证了大模型的内容生产质量和安全性。
14、海通证券发布“泛海言道”金融大模型
据海通证券微信公众号发文,12月10日,在第五届上海金融科技国际论坛智慧金融平行论坛上,海通证券正式发布“泛海言道”大模型。据介绍,“泛海言道”综合应用前沿大模型技术,成功落地智能问答、智能研报、智能研发等业务场景,可结合互联网检索引擎,为外部客户和内部员工提供即时、高质量的问答服务;通过样例示范学习能力,深度解读、分析财报数据,生成研报初稿,为研究人员提供专业可靠的写作服务;可嵌入开发环境,快速识别开发人员代码需求,支持多种编程语言,自动生成高质量程序,为开发人员提供高效研发服务。