• 我的订阅
  • 科技

项立刚:硬堆算力遇瓶颈,“内外兼修”才是正道

类别:科技 发布时间:2024-12-30 06:40:00 来源:每日看点快看

本文转自:环球时报

自2023年ChatGPT问世让人工智能(AI)成为全世界关注的热点以来,美国AI产业规划的路线图,就是通过大量堆砌算力,建立多模态通用大模型。同时,其压制中国AI发展的思路,也是通过限制芯片这一算力的核心而来。

但经过两年发展,美国限制措施并没有取得预想中“拦腰斩断”的效果。据《华尔街日报》日前报道,美国从业者发现中国AI企业追赶美国同行的速度“快得出奇”,推测这是中国开发者们通过采用混合大模型技术,降低了对硬件的要求,从而在硬件被封锁的情况下实现“弯道超车”。

事实证明,只依靠多模态通用大模型并通过大量堆砌算卡来进行训练,这种AI的发展思路在对AI的理解上就存在误区。所谓人工智能,是机器对人类智慧进行模仿,形成机器的智能,从而帮助人类工作。其构成包括智能感应、信息存储、信息传输、信息处理(算力、算法、大模型)、智能终端多个部分,而并非只是一个大模型,更非多模态通用大模型。因此,真正意义上的人工智能,是需要在多领域全方位提升,才能实现人工智能水平的总体升级。

堆砌算卡、将资源集中在算力上导致的不平衡正在显现。包括OpenAI在内,多家业内头部公司已传出“数据荒”的问题。经过两年的发展,汇聚了大规模万卡,甚至十万卡、五十万卡规模智算集群的算力,大模型并没有取得脱胎换骨级别的提升,还因为对抗性机器学习、对训练产生的冗余数据和干扰信息过拟合等原因产生了大量“幻觉”。但这些公司只将其简单归结为“数据荒”,而事实很简单:算力的大规模提升并没有满足人们对AI巨大突破的预期,而仅靠先进芯片堆出来的算力无法实现构建出一个强大AI的目标。

即便只是处理信息的大模型,事实也证明了用大量算力来训练一个多模态通用大模型的路线越来越艰难。因为通用大模型的思路同样是用大量算力,训练出一个懂得各专业领域、能处理一切问题的“神人”。然而结果是,除了海量硬件和巨大能源消耗带来的高昂成本,通用大模型的效果也并没有达到预期。

从某种角度看,试图给一切问题找到“通解”,然后用它来解决未来各种不可预知的困难,本身可以被视为一种思维上的怠惰。就人类而言,并不存在一位“全知全能”的神人,而恰恰相反,人类社会多数情况下是在各专业领域进行分工与专精,这才是普遍现象。

对于AI而言,这种思路其实也更适合现阶段将AI的数据处理能力应用于提升产业效能、造福人类中。如医疗大模型、智能驾驶大模型,甚至还有专门分析布面是否有瑕疵的大模型。这些专用大模型由于要处理的信息较少,信息相关性和逻辑性也很强,干扰和冗余数据较少,因此对算力的要求很低,不仅不需要什么“万卡集群”,有时一张卡就可以完成训练和推理工作,输出的内容也更准确,效果更好。但也要注意,设计和训练专用大模型依然需要相当专业的知识和经验,包括高水平的设计者、跨学科合作,并通过高效的算法持续优化模型性能,有较高的人才需求。

前文提到的混合大模型,就是一种将通用大模型和专用大模型相结合,在处理具体工作时主要依靠专用大模型,在面对大众化需求时才调用通用大模型。这样的混合模式减少了资源开销和能耗,同时大大提高了效率,在专门领域体验也更好。

虽然长远来看,AI技术的不断发展和新应用场景的不断拓展会带来更多的算力需求,但现阶段智算能力过剩是世界上主要AI大国共同面对的客观事实:算力利用率大多介于10%到30%之间,通用算力利用率低,而工业、教育、医疗、能源等领域的大量“AI+”项目给AI专项算力、高性能算力等高端算力带来了巨大的缺口。因此,指望通过堆算力,打造多模态通用大模型的AI发展思路已然落伍,重视垂直领域需求、实现算力的提质升级才是关键。

中国从业者在逆境中找到了发展AI的正确路径,未来需要继续“内外兼修”。一方面努力突破硬件算力上的封锁,同时解决国产算卡的底层硬件异构等问题;另一方面要进一步提高国产AI的算效,既最大限度地释放国产芯片的算力,同时优化国产模型的效能,统筹算力“量的增长”和“质的提升”。这才是AI发展的正确之道。(作者是中关村信息消费联盟理事长)

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-12-30 08:45:04

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...的建设中发挥了至关重要的作用。首先,突破硬件扩展性瓶颈,如卡间互联的拓扑限制,避免通信带宽成为瓶颈;同时,围绕芯片及集群功耗,基于万卡规模常规方案功耗可达十兆瓦或更高,采用创
2025-02-05 11:06:00
张云泉:集中力量,促进国产AI大模型发展
...术研究所研究员张云泉,探讨AI大模型发展如何打破算力瓶颈。张云泉暴露核心问题《瞭望东方周刊》:在大模型发展热潮下,哪些问题成为制约国产大模型发展的重要因素?张云泉:成本高昂、
2024-09-03 14:17:00
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也得在1个月内训练完。假设训练一个5000亿参数模型,有15TB数据,如果只有
2024-07-09 09:47:00
...能大模型的算力基础,人工智能芯片的研发也在不断突破瓶颈。今年年初,我们成功点亮了国内首个自研的P800万卡集群,未来还将进一步点亮三万卡集群,为产业提供强大的算力支持,同时降
2025-03-09 14:03:00
AI潮起 共筑数智之基
...,中国移动正式发布了由万卡级智算集群、千亿多模态大模型、汇聚百大要素的生态平台共同构成的“九天”人工智能基座,并开放三大人工智能基地,加快大模型产业化、规模化发展,为数字中国
2024-05-25 07:21:00
...根技术领域的深耕和应用创新,有望打破算力及AI能力的瓶颈,一个全新的核心技术生态正在加快构建。突破瓶颈 打造自主云算力底座依托铁路大模型,高铁巡检机器人实现了多模态融合诊断技
2024-03-19 05:30:00
大模型「标王」硬气:不做Sora ,要帮更多企业做出Sora
...u 文生视频一句话,召唤出 3D 世界。哇嘶嗒(VAST)文生3D模型一个创意、一键生成,短短五分钟,一段品牌宣传片便能完美呈现。手机,也能来个「即圈即搜」 。贵阳市民早高峰
2024-12-11 09:52:00
华为AI存储助力中国移动构建超大规模智算集群
...据从接口卡直接传输到存储介质,避免CPU和内存等潜在的瓶颈,大幅提升存储带宽和IOPS能力。在2024年MLPerf TM存储基准性能测试比拼中
2024-12-19 18:16:00
极致软硬件系统优化“榨干AI算力性能”,阿里云斩获算力领域“年度突破成果”
...和高效并行计算。相关技术创新大幅消除了AI算力拓展性瓶颈,灵骏集群规模最大可拓展至“10万卡级”,能为大模型的开发和应用提供灵活多尺度的智能算力,对上层平台应用提供便捷的容器
2023-08-28 15:10:00
更多关于科技的资讯: