智东西(公众号:zhidxcom)
作者 | 黄菲
编辑 | 江宇

智东西11月19日报道,今日,北京AI初创公司无涯智远(Norizon AI)宣布完成数亿元天使轮及天使加轮融资,五源资本、红杉中国、联想之星、中关村科学城基金、戈壁创投等参与投资。心流资本FlowCapital担任本轮融资的财务顾问。

无涯智远是一家专注于实时递归自我改进(Real-Time Recursive Self-Improvement,RSI)的AI初创公司,主要研发让大模型在部署后持续学习并更新自身参数的技术。

该公司自研RSI模型技术,其核心技术之一是SHINE超网络,试图让模型不再只依赖扩大上下文窗口或外部检索获取新知识,而是将有价值的信息转化为自身能力。本轮融资资金将主要用于相关技术研发和产品落地。

无涯智远创始人兼首席科学家张牧涵,本科毕业于上海交通大学IEEE试点班,后赴美国圣路易斯华盛顿大学攻读计算机科学博士,师从华盛顿大学终身教授、AAAI及IEEE会士陈一昕。

博士毕业后,他加入Facebook AI(现Meta AI)个性化团队,参与面向全球数十亿用户的大规模图机器学习系统研发。2021年,张牧涵回国加入北京大学,并担任北京大学人工智能研究院助理教授、博士生导师。

RSI创业猛吸金!北大博导拿下数亿元天使轮融资

▲张牧涵,图源:北大人工智能研究院官网

目前,无涯智远团队规模超过20人,成员来自北京大学、清华大学、麻省理工学院等高校,还包括奥赛、ICPC金牌得主,以及来自大厂的后训练和Agent研究人员。

该团队的研究重点之一,是解决大模型部署后的持续学习问题。

现阶段,模型通常通过扩大上下文窗口、检索增强生成(RAG)和外部记忆等方式调用新信息,但这些方法并没有真正将新知识写入模型参数。无涯智远希望借助RSI技术,让模型在实际使用过程中持续学习,并将新知识沉淀为可以反复调用的能力。

为此,该公司研发了SHINE超网络技术。简单来说,超网络是一种能够生成另一个神经网络部分或全部参数的网络,它可以根据输入的信息,生成目标模型所需的参数更新。

与传统微调需要经过多轮参数优化不同,SHINE尝试通过一次前向计算完成轻量级参数更新,从而降低模型持续学习的计算开销。

无涯智远称,在缓解灾难性遗忘方面,相较于微调对照实验,其超网络方案在新知识学习效果和通用任务表现上均取得了更好的结果。

此外,无涯智远还在研究如何扩大超网络规模、延长单次知识内化长度,并提升模型在数百万tokens连续更新过程中的稳定性。

结语:实时RSI探索持续升温,模型自我进化仍待落地

随着大模型逐渐从单次问答走向长期任务执行,如何让模型在部署后持续学习新知识,正在成为AI领域新的探索方向。相比依赖上下文窗口和外部检索,实时递归自我改进(RSI)尝试将新知识直接融入模型参数,让模型在使用过程中不断积累经验。

无涯智远选择以超网络技术切入这一方向,希望该技术方法能降低模型持续学习的成本。不过,从实验走向真实业务应用,模型还需要解决长期更新中的稳定性问题,避免学习新知识时遗忘原有能力。如何让RSI技术真正转化为可靠的产品,仍是无涯智远需要攻克的关键问题。

来源:无涯智远