• 我的订阅
  • 科技

对话清华刘知远:Scaling Law已被OpenAI验证,知识密度将是未来的核心

类别:科技 发布时间:2024-06-14 23:24:00 来源:搜狐科技

对话清华刘知远:Scaling Law已被OpenAI验证,知识密度将是未来的核心

出品 | 搜狐科技

作者 | 梁昌均

“我觉得我们现在太着急了,谈应用可能还有点太早。”在6月14日下午的智源大会的一个论坛上,清华大学长聘副教授、面壁智能首席科学家刘知远对搜狐科技强调到。

他是此次智源大会一个论坛的主席,在其它嘉宾讨论期间,他来到会议室外,跟搜狐科技等两家媒体站着聊了半个多小时,语速飞快,神态颇显兴奋,他的同事评价他“这两天特别嗨”。

这也是面壁智能被斯坦福AI团队抄袭事件刚过去不久,作为联创的刘知远,首次公开露面,看起来心情不错。他长期从事知识图谱与语义计算等方面的研究,在基础大模型技术前沿探索上取得多项成果,并和他的学生曾国洋一起创立了端侧大模型公司面壁智能。

他认为,今年大模型行业更关注落地,更关注成本和效率。但在对话中,他至少有七次表示大模型应用“不要着急”。“从技术的成熟,到真正有所谓的超级应用或Killer APP,还是需要几年时间的探索。”

对于是做C端还是B端,业内争议不断。刘知远认为,AGI未来愿景跟2000年左右互联网产生的影响力相当,甚至是有过之而无不及。但现在讨论ToC、ToB谁优谁劣,没有意义。

他认为,通用人工智能的影响一定是全方位和颠覆式的,B端C端都有非常大的机会,所以不要着急。而在这个过程中,创业公司最大的优势在于创新,包括商业模式和技术创新。

“我觉得拥有数据,拥有场景的公司,包括拥有数据的大厂反而都会焦虑。如果不能够把自己的数据、知识转化为智能,那自然会有人颠覆它。”刘知远说。

对于目前大模型落地难、落地慢的原因,刘知远认为,这需要有一个跟用户需求契合的过程。“很多时候需求是被创造出来,就像抖音,是挖掘激活了人性。”

谈及目前业内频繁被讨论的Scaling Law,刘知远提到,OpenAI验证了这个规律,接下来就是要高质量地去实现它。

但如何高质量地做这件事?需要什么样的数据、模型架构、学习过程?他认为,还没有形成共识。“数据驱动的方向大致确定,但技术路线还远远没有被收敛,还是在高速演进。”

“未来大模型面临着如何把更多的知识放到更小的参数里,这是主战场或主命题。Scaling Law固然是一个很重要的趋势,但我们要做的是科学化地找到最优成长的曲线。”刘知远称。

在他看来,端侧大模型就是一条非常有前景的路径。“我们的目标是要找到大模型的摩尔定律,提出了一个叫知识密度的概念。总结出来的规律就是,每八个月大模型的知识密度增加一倍,比摩尔定律还快。”

他表示,这在未来能否持续下去,还有许多需要去极致优化的方向。“如果现在就是这种低水平的模型,去打价格战,完全不看是不是比人家好,那大炼钢铁也都是废铜烂铁,没有用。”

随着苹果等布局,端侧模型越发受到国内外关注,刘知远也非常看好。“我觉得一定会有属于AGI的智能终端,它还会是手机的形态吗?稍微激进来看,我觉得一定不是。”

不过,目前在端侧设备上的AI功能颇有些同质化的趋势。对此,刘知远认为,这本质是低水平导致,一方面受限于算力,另外技术上可能还不ready,比如应该要有端云协同。

他表示,这也可能是固化的思维范式导致。“AGI本身意味着我们要新,可能是新的终端、新的模型、新的做法、新的思想。这就是我们的机会,如去做机器人,做具身智能。”

他提到,现在想出来创业的学生比之前的十年还要多。“这就是当年2000年互联网的时候,会在未来的五年、十年,充满了无限的可能。”

以下为对话精编:

Q:今年国内大模型行业最大的变化是什么?怎么看大模型目前的应用情况?

刘知远:我觉得比去年更加关注大模型得落地,落地就得关注成本和效率,关注质量到底怎么样。但我觉得现在谈应用可能还有点太早,从技术的成熟,到真正的超级应用或Killer APP,本身还是需要几年时间的探索。现在我们有点太着急了,觉得说看到了大模型技术,马上就要找到应用,我觉得它的潜力还远远没有被挖掘出来。

Q:做B端还是C端好像大家也有不同看法,C端一条路径是在原有产品加上AI功能,比如苹果,还有一种就是所谓的原生应用,您看好哪条?

刘知远:我觉得AGI激活了人类的知识,原来都是替代的是体力劳动,现在替代的是脑力劳动,这显然是人工智能一次非常大的变革。

通用人工智能未来的愿景跟2000年左右整个互联网产生的影响力相当,甚至是有过之而无不及。整个互联网对人类生活方方面面的影响,难道仅仅是说用ToC、ToB可以涵盖的吗?我特别不愿意去讨论ToCToB谁优谁劣,没有意义。互联网To c好做吗?不见得,ToB也是。

通用人工智能是比互联网可能都要更宏大的一次技术变革,它产生的影响一定是全方位和颠覆式的。B端C端,都有非常大的机会,所以没有必要那么着急。

Q:您观察到行业里最着急或焦虑的是哪部分群体?

刘知远:现在这条技术路线,是数据驱动,要从有数据变成有智能,要从数据里面去学智能。所以我觉得拥有数据,拥有场景的公司,包括大厂反而也会焦虑。如果不能够把自己的数据、知识转化为智能,那自然会有人颠覆他,第二名如果把这个技术用上,那么就可能弯道超车,这就是为什么大厂都积极拥抱大模型。

Q:您怎么看B端的落地路线,微调和垂类模型怎么选?

刘知远:大模型找到了一种从数据到知识的学习或萃取的通用方式,大模型在任何一个领域能发挥作用,一定说这个领域的知识有价值。到底是采用微调,还要用行业大模型,其实只是术层面的事儿,道层面还是知识,要判断知识的重要性,然后如何充分大模型的技术,这需要一个过程。

这个过程需要大模型的科技工作者和行业专家,能够达成共识,实现双向奔赴。这些行业的知识存在于相关领域的数据中,也存在于这些领域的专家头脑里面,需要大家一起来做。很多领域都要做自己的大模型,但实际上我看到还没有真正做好这个准备,比如数据,相关专家的动员等,从今年开始应该要在这些方面加强。

Q:您说不要着急,但创业公司可能会有资金等压力,您觉得创业公司出路在哪?

刘知远:我觉得所有的创业公司,一定是找到了一些大公司做不了的事情。如果大公司能做的很好,那就没有机会。

大公司的机制很难创新,上下很难形成一个非常好的内部协同。不管是商业模式的创新,还是技术的创新,创业公司最大的优势一定是创新。这些新的东西大公司想做,可能也很难能调动起足够多的力量,然后很有执行力地去做。

Q:业内很关心成本问题,您觉得目前大模型落地难、落地慢,成本是主要的障碍吗?

刘知远:我觉得是很多方面的因素,第一就不能太焦虑,不能太着急,还得去跟用户的需求做契合。很多时候所谓的超级APP或者Killer App,需求是被创造出来,比如抖音,这个需求是被创造出来的,是挖掘激活了人性。技术做了足够大的扩散,自然就会有产品,然后找到超级应用,这是一个产生化学反应的过程,没有必要那么着急。

Q:Scaling Law成为业内谈论热点,但大家分歧也比较多,您怎么看?

刘知远:很多人会把这个看成是一个比较简单的现象,或一个规律,模型越大效果就会越好,OpenAI验证了这一点。在我来看,OpenAI已经把Scaling Law展示给大家,接下来我们的命题是什么呢?其实就是要高质量的去实现它。

但如何做呢?到底需要什么样的数据,模型架构,学习过程,整个这个事儿大家还没有形成共识。最近这两年的发展,告诉我们,数据驱动的方向已经大致确定,但是技术路线还远远没有被收敛,还是在高速演进。

比如模型架构Transformer够不够?肯定不够,因为它本身非常低效、特别耗算力;比如数据如何去治理,学习的过程到底如何组织模型,参数如何设置,都还需要解决。

未来的大模型面临着如何把更多的知识放到更小的参数里,这是未来的主战场或是主命题。Scaling Law固然是一个很重要的趋势,但是我们要做的是科学化地找到最优成长的曲线。

Q:我们现在在这条成长曲线上找得怎么样?

刘知远:芯片领域有所谓的摩尔定律,摩尔提出来之后,整个半导体领域所有的从业者,都在为了这件事儿来去努力,今天还在持续。大模型能不能做这件事儿呢?我们给自己设定的目标就是要找到大模型的摩尔定律,提出了一个叫知识密度的概念。

2020年1750亿参数的GPT-3的模型的能力,我们现在用2.4B的模型就可以做到。这四年我们把知识密度做了数量级的提升,总结出来的规律就是,每八个月大模型的知识密度增加一倍,比摩尔定律要快。

未来有没有可能持续下去,应该要在行业达成共识,从架构、数据、训练方法等方面一起来努力,还有非常多需要去极致优化的方向。所以要高质量的发展,不然就卡脖子。如果现在就是这种低水平的模型,去打价格战,完全不看是比人家好还是不好,那大炼钢铁都是废铜烂铁,没有用。

Q:现在有云端大模型,还有越来做多的公司做端侧大模型,苹果也开始布局,国内做端侧大模型,有什么挑战或优势?

刘知远:云端大模型,的确可以粗放式去做,但是端侧需要各个方面技术极致的优化,才能保证跟别人有代差。

第二,一般认为我们第一个成功的智能终端是手机,第二个是车,第三个是什么?第四个是什么?但所谓的这些智能手机、智能车,其实都不是那么智能,所以手机厂商一定会去做真正的智能手机。

但在我看来,AGI一定会有属于自己的智能终端,它还会是手机的形态吗?我没看到,稍微激进一点,我觉得一定不是,这个就是未来展现给我们的无限的可能性。

Q:现在给人的感觉就是同质化确实非常严重,苹果提出的很多AI 功能在之前的安卓机上都看到过。

刘知远:同质化本质是低水平,端侧的确受限于算力,现在水平还是会有限。另外技术上可能还不ready,比如说应该要有端云协同。iPhone出第一款手机时很轰动,但现在没有这种感觉,原因在于大家已经进入到固化的思维范式里面去了。但AGI本身就是意味着要新,意味着可能是新的终端、新的模型、新的做法、新的思想。这就是我们的机会,比如机器人,做具身智能。

Q:不过具身智能也有争议,李开复就明确说不会投,怎么看它本身面临的问题?

刘知远:本身有机器人的问题,因为机器人其实过度专用化,扫地机器人就是专用。后面有没有通用的,人形机器人就是在做这方面的努力。但我觉得还远远不够,未来的形态是啥,下一个终端是啥,我觉得充满了无限的可能。返回搜狐,查看更多

责任编辑:

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-15 05:45:05

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

华商观察|国内首架 在陕试飞成功!记者对话试验基地负责人
...统和液氢加注服务。追梦空天科技(西安)有限公司,由清华大学科研团队组建,致力于研发混动倾转旋翼无人机,为此次试飞提供了DF600“惊鸿”无人机,载重能力为120公斤至160公
2025-02-12 21:03:00
宇宙年龄被拉长到267亿岁?清华大学楼宇庆:检验起来有困难,甚至有点“邪”
...狐科技《思想大爆炸——对话科学家》栏目第22期,对话清华大学物理系教授、CUSPEA学者楼宇庆。嘉宾简介:楼宇庆,清华大学物理系教授、CUSPEA学者,哈佛大学物理博士,教育
2023-08-14 15:00:00
...文转自:科技日报为创新成果落地生根“架桥铺路”——清华苏州环境创新研究院打通技术转化“最后一公里”【加速科技成果转化】◎本报记者 张 晔“无人机在空中拍一拍,就能查找出挥发性
2024-04-18 02:38:00
「星环聚能」获数亿元Pre-A轮融资,加速聚变能商业化 | 36氪首发
...有明显成本优势的聚变能技术路线。日前,公司已在其与清华大学共同建设的第一台聚变装置SUNIST-2上验证磁重联加热方案,并初步观察到磁重联加热等离子体的显著效果。可控核聚变发
2024-03-25 19:39:00
...称项目训练成本不到30美元。“二次创造”增强AI普惠性清华大学计算机系长聘副教授刘知远接受记者采访时说,部分海外研究团队使用DeepSeek-R1、o1等高性能推理大模型来构
2025-02-27 05:08:00
当一个清华教授问AI觉得自己革了谁的命
...为此,本刊编辑部开启了一场人与AI的共创实验——邀请清华大学新闻学院教授、跨学科知名学者沈阳围绕“AI革了谁的命”与AI展开对话并予以点评。与AI对话,提问者的提问思路与技巧
2024-06-26 09:39:00
推动后摩尔芯片元器件突破:清华学者多维度探索芯片基础问题,基于新材料研发全适配器件
...集成度,有望成为短期内提升算力的有效解决方案之一。清华大学材料学院副教授、北京市集成电路高精尖创新中心研究员王琛致力于芯片硬科技的研究,从芯片新材料基础物性与后摩尔芯片两个端
2024-07-27 09:30:00
首颗!中国“智慧天网”开建,清华大学立功:空间天地6G网络来了
...,这一次卫星是整个“智慧天网”的一部分,并且是来自清华大学原创提出的中轨泛同步轨道天基网络解决方案。按照披露的说明情况来看, 它将以8颗中轨宽带通信网络卫星为一组,部署在2万
2024-05-09 14:27:00
国内首个!中关村科金发布企业知识大模型
...,中关村科金发布国内首个企业知识大模型,面向高知识密度企业应用的垂直行业大语言模型,主要通过帮助企业构建、升级知识中台,提升企业知识管理和利用效能,拓展认知深度与支持复杂决策
2023-11-23 19:08:00
更多关于科技的资讯:
共创优质产品体验,从“MagicOS创享家”看荣耀的“听劝”哲学
摘要:以“听劝”的姿态持续进化,才是产品迭代的核心价值坐标。8月底,成都宽窄巷子又一次“出圈”了。年轻人能听Live现场
2025-09-08 08:19:00
网易云音乐教师节特别活动正式上线 百万黑胶VIP免费领
9月5日,网易云音乐教师节特别活动正式启动。本次活动为教师与学生群体都准备了丰厚福利,教师可免费领取100万份专属福利大礼包
2025-09-08 08:20:00
人工智能成“显眼包” 一批高科技产品亮相投洽会
MUGIN EV350全电动碳纤维垂直起降无人机平台,轻量化碳纤维机身设计,兼顾高强度与低能耗,适用于城市巡检、应急通信等场景
2025-09-08 09:01:00
“红房子”成热门国际会客厅 九位国际嘉宾昨做客
英中贸易协会会长詹诚信翻看《厦门日报》。厦门网讯(文/厦门日报全媒体记者 赵张昀 图/厦门日报全媒体记者 杨进福)投洽会的“国际范儿”体现在哪里
2025-09-08 09:01:00
IBM中国企业级AI巅峰论坛首落烟台黄渤海新区 携手盛启AI新世界
论坛现场大众网记者 邢晨 烟台报道9月5日,IBM中国企业级AI巅峰论坛在烟台黄渤海新区成功举办。论坛上,IBM分享了有关企业级AI的最新洞察
2025-09-08 09:10:00
鲁网9月8日讯当今世界,科技浪潮奔涌而来。数字化、智能化,正在改变每一个行业的运行逻辑,也重塑着金融业的未来。对银行来说
2025-09-08 10:42:00
电冰箱能效新国标出台 节能门槛再提升
本报记者 赵 曦 □ 唐 瑞近日,市场监管总局(国家标准委)发布新版GB 12021.2-2025《家用电冰箱耗电量限定值及能效等级》国家标准
2025-09-08 11:05:00
国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》9月1日起正式施行,明确要求AI生成的文字、图片、视频等内容须进行标识
2025-09-08 11:05:00
记者8月26日从市场监管总局获悉,市场监管总局(国家标准委)近日发布新版洗碗机能效水效强制性国家标准。此次修订发布的标准
2025-09-08 11:06:00
技术驱动增长!聊城乖宝研发构筑壁垒,自有品牌营收35亿稳居行业龙头
大众网记者 彭静 聊城报道9月5日,聊城市政府新闻办举行“产业链上的山东好品牌”企业家系列现场记者见面会(四)聊城农副产品加工与大健康产业链专场
2025-09-08 11:18:00
白象旗下网店公司因虚假广告被罚3万,此前因“多半”桶面“多半”为注册商标陷争议
企查查APP显示,近日,尚选电子商务(江苏)有限公司因发布虚假广告,被新沂市市场监督管理局罚款3万元。违法事实显示,该公司在某平台网店发布虚假宣传广告
2025-09-08 11:20:00
莘县新立信:破解鸡肉调理品同质化困局,打好差异化战略
大众网记者 彭静 聊城报道9月5日,聊城市政府新闻办举行“产业链上的山东好品牌”企业家系列现场记者见面会(四)聊城农副产品加工与大健康产业链专场
2025-09-08 11:22:00
腾讯游戏“触梦计划”,探索青少年公益新方式
2025年9月5日,久久公益节如期启动,腾讯游戏联合旗下游戏产品推出今年的公益向善活动,通过游戏化机制携手玩家将虚拟场景中的热爱转化为现实公益力量
2025-09-08 11:55:00
直击智博会|马上消费蒋宁:人机协同为企业带来决定性机遇
2025年9月5日下午,重庆悦来会议中心两江厅,1500余位产业精英共聚由马上消费主办的2025智博会·数字产业生态大会
2025-09-08 12:10:00
构筑全球数智生态 江苏移动与千余家苏企共谋出海新篇
9月4日下午,一场属于江苏出海企业的盛会在苏州举行。中国移动江苏公司(以下简称“江苏移动”)携手各方举办“苏企出海推进会”
2025-09-08 12:43:00