• 我的订阅
  • 财经

智谱AI CEO张鹏:智谱AI的GLM-130B是达到世界靠前水平的自主研发产品

类别:财经 发布时间:2024-03-15 09:40:00 来源:汽车很听话

“如果说一年前的那一天我们是在爬山,那么经过了这一段时间的攀登,我们有了更多的积累,现在我们可以比较自豪地说,我们已经积累了非常丰富的研发经验和积淀。”3月14日,在智谱AI媒体小型沟通会上智谱AI CEO张鹏表示,站在当时的那个时间点看,智谱AI的 GLM-130B已经达到了世界比较靠前的水平,但更重要的一点是完全自主可控的,是自己从零到一研发的。

3月14日,由央视网“人人都爱中国造”品牌助力行动和智谱AI联合主办的“智领,万象新生”智谱AI媒体小型沟通会在北京搜狐网络大厦举办。总台央视网主持人常婷介绍,“人人都爱中国造”品牌助力行动是2020年在国家相关部委指导下发起的,以“支持国货,赋能品牌”为核心。“中国制造”到“中国智造”的创新热潮方兴未艾,中国创新的的浪潮已经席卷到每一个人的身边。在不久前刚刚召开的全国两会上,“人工智能+”这个概念被首次写入到了政府报告当中。新质生产力引擎开启,万象新生时代正在来临。活动还通过总台央视网、小央视频视频号以及智谱AI视频号同步直播。

智谱AI CEO张鹏:智谱AI的GLM-130B是达到世界靠前水平的自主研发产品

大模型(人工智能)三个阶段

首先,智谱AI的CEO张鹏向大家回归了大模型(人工智能)三个阶段:从2017年谷歌提出Transformer开始迅速席卷了整个人工智能领域的研究和产业,成为自然语言处理等相关研究的一种最主要的方法,2018到2020年这段时间先后出现了像谷歌的BERT、GPT-1/GPT-2/GPT-3、T5等基于大规模无标注数据自监督学习方法的预训练模型。当时尤其是BERT在十多个自然语言理解任务当中大大地超越传统的机器算法的精度,掀起了一种全新的研究范式;一直到2019年GPT-2的实现,它提供了自然流畅的文本内容的生成能力,彼时GPT-2的应用Talk2Transformer确实让大家很惊艳,当然对比现在的ChatGPT以及我们自己的ChatGLM等一系列的应用来说还是比较粗糙的,但正因为这些技术坚定了我们投身生成式人工智能的决心;到2020年谷歌的T5将自然语言的翻译、分类、回归、摘要等一系列任务统一成了一个简单的Text-to-Text的任务。

张鹏强调,可以说2018-2020是大模型的原始算法创新的一个阶段。也是在这个阶段里边,智谱AI也从0到1开发了自己的具有完全独立知识产权的预训练模型,我们叫它 GLM(General Language Model),它采用了自回归填空的方式,综合了GPT和Bert这几种优秀的预训练框架的优点。

大模型与小模型的讨论

张鹏认为,在当时国内学术界和产业界都对大模型的发展和产业化没有形成共识,有很多的讨论,甚至很多人提出成本这么高,我们不应该发展大模型,而应该专注于发展所谓的“小”模型。

“说实话在那个时间段,我们自己内部也有很多的思考和讨论,也有一些争论,正如大家所知,这件事情的投入成本非常高、非常大的,作为一家刚刚建立不久的创业型企业,我们如何来支撑这么大的资源,而且我们的研发人员团队是否能支撑这样一个任务?”张鹏说,外部市场对于大模型的认知少,对这个概念还非常陌生,各方面都处于一个非常艰难的情况和境地,换而言之,其实当时的智谱是有那么一点孤注一掷的意思,大家的压力,尤其是研发人员的压力是非常大的。大家最近可能也听说了 OpenAI 团队内部的一些非常卷的故事的一些情况,其实我们当时的情况甚至比他们更严重,非常类似。

智谱AI CEO张鹏:智谱AI的GLM-130B是达到世界靠前水平的自主研发产品

GLM-130B唯一来自亚洲被列入评测的对象

张鹏说,2022年我们在训练自己的千亿模型的时候,我们的研发团队、我们的算法工程师甚至是7*24小时的盯着我们的GPU集群,凌晨三点多的故障,我们可以在5分钟之内我们的算法人员先发现,然后通知远程的运维人员,让他们及时解决问题,10分钟、15分钟之内就能解决这样的一个掉卡甚至是硬件故障的问题,这是非常难的一件事情,也都是我们亲身经历的经过。

“所以在2022年我们推出并且开源了基于GLM算法训练的千亿基座模型GLM-130B,这是我们研发团队心血的积累,当时也引起了非常广泛的关注,尤其是在国外,包括像斯坦福、谷歌、OpenAI、Apple、Meta这些非常知名的研究机构和大型的科技公司都对我们的模型进行了深入的研究、分析和评测。2022年11月斯坦福大学发布了一个大模型的评测报告,报告的名称缩写叫HEOM,对全球的几十个开源和闭源的模型进行了深入的评测,有幸我们的GLM-130B作为一个唯一来自中国,甚至唯一一个来自亚洲的这样一个模型被列入评测的对象,并且从评测的结果上来看,在一些指标,比如准确性、公平性等很重要的核心指标上与当时最先进的GPT-3 175B的模型是持平或者是接近的,在有一些特殊的指标,比如说像鲁棒性、校准偏差和无偏性等方面甚至要比它们表现的更好。”张鹏介绍说,这个成绩一出来,整个团队都非常激动。我们八九个月的辛苦得到了回报,也证明了我们团队有这个能力、有这个实力、更有这个激情去做到这样一件事情。所以站在当时的那个时间点看,智谱AI的 GLM-130B已经达到了世界比较靠前的水平,但更重要的一点是什么?是这一切是在我们完全自主可控的,是我们自己从零到一研发的。

智谱AI CEO张鹏:智谱AI的GLM-130B是达到世界靠前水平的自主研发产品

ChatGLM是国内最早可以线上测试使用的千亿级的对话模型

张鹏介绍,2022年11月30日OpenAI发布了ChatGPT真正让大家认识到大模型能做到什么样的事情,大模型也开始出圈,扩散到整个社会、全球,让所有人都认识到大模型。一夜之间,几乎所有人都对必须发展大模型都达成了一个高度的共识。大模型的发展不再仅限于模型技术的发展和模型训练本身,更重要的是如何实现模型的产业化应用,这个问题已经提上大家的日程。

“大模型开始在各个领域尝试落地生根,在金融、互联网和教育等众多行业当中开始落地,也得益于我们GLM-130B基座模型的优秀能力,我们很快在2023年2月份就研发出了第一代ChatGLM,这也是我们去年3月14号发布的这个产品的基座,这应该是国内最早可以线上测试使用的千亿级的对话模型,基于它我们开发了刚才大家看到的演示当中的智谱清言这样一款C端的应用,并在8月第一批通过了国家的备案认证,正式的面向公众上线使用。”张鹏说,这个是我们在2023年取得的一些成绩,我们实现了2000+生态合作伙伴、1000+大模型规模化应用、200多家企业跟我们进行了深度的共创,解决它们的问题,切切实实的、潜移默化的在改变着每一个客户的业务、效率,甚至更深度的改变着客户的业务范式和组织架构,这是我们所希望看到的。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-03-15 12:45:19

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...为何发挥着关键作用?新华网就此专访智谱AI首席执行官张鹏。他表示,人工智能应用目前主要集中在语言类模型,随着大模型的不断进化,未来必然会出现更多的新模态场景,智谱AI将与终端
2024-05-17 10:14:00
融资超25亿元,他们的目标和OpenAI很像
...近举行的2023中国计算机大会(CNCC2023)上,智谱AI推出了自主研发的第三代基座大模型ChatGLM3及相关系列产品
2023-11-13 07:44:00
对话智谱AI CEO张鹏:我们不做中国的ChatGPT|36氪专访
...户量和用户数据反馈最直接的通路,团队也基于智谱 AI 自主研发的中英双语对话模型 ChatGLM2,正式上线了首款生成式AI助手——“智谱清言”
2023-09-05 09:22:00
AI点外卖还知道怎样省钱!智谱公布Agent三端升级,手机电脑都能被接管
...以交给Agent来完成。这样具有科技感的画面,来自智谱CEO张鹏对新升级的AutoGLM的现场演示。智东西11月29日报道
2024-12-02 09:50:00
智谱AI的双轨驱动:从基座大模型出发,以共创理念推进商业落地
...最好回应。“我们交出了一份还不错的答卷。”智谱AI CEO张鹏说。截止目前,智谱AI已经有2000+生态合作伙伴、1000+大模型规模化应用
2024-03-15 09:19:00
让AI像人一样操作手机电脑!智谱董事长刘德兵:智能体将让“光说不干”成为现实
...大模型具有更大潜力的地方。相较外界更为熟知的智谱CEO张鹏,刘德兵相对低调,但在推动智谱商业化方面起到了重要作用。‌他是中国工程院高文院士的弟子,担任过清华数据科学研究院科技
2024-11-29 15:19:00
“泰昌”以塔尖创新引领未来
...列前茅。纵观泰昌三十多年的发展历程,在董事长兼总裁张鹏飞看来,集团几经生死考验,又屡屡化险为夷大步前进的“法宝”就是创新。在科技不断进步和全球化的浪潮中,不断创新超越,提升长
2024-01-15 14:11:00
中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发
...科技,在创立当年已经完成了近亿元的天使轮融资。基于自主研发的多模态通用大模型,生数科技对外提供To B的MaaS(模型即服务)服务和To C的应用产品。生数科技的核心团队成员
2024-03-14 15:12:00
智谱AI新一代基座大模型GLM-4在司南评测中跻身前列,位居国内第一
...体验智谱AI新一代基座大模型GLM-4的强大能力。 智谱AI CEO张鹏表示:“人工智能大模型技术已成为国际科技竞赛必争之地
2024-02-04 14:00:00
更多关于财经的资讯:
证监会:择机推出再融资储架发行制度,拓宽并购重组支持渠道
中新经纬10月27日电 据中国证监会微信公众号27日消息,中国证券监督管理委员会主席吴清在2025金融街论坛年会上发表主题演讲《发挥投融资综合改革牵引作用 推动“十五五”资本市场高质量发展》提到
2025-10-27 21:46:00
竞逐新能源赛道 厦企“再下一城”
厦门网讯(厦门日报记者 李晓平)日前,厦钨新能与格林美签署《战略合作框架协议》,双方将在锂电池原材料供应、技术攻关及产业链合作等领域建立长期伙伴关系
2025-10-27 08:10:00
天·宫阙航天科学探索与艺术展举行重阳特色活动,老年朋友沉浸体验航天科技
在重阳节来临之际,位于1922电竞产业园内的天·宫阙航天主题展馆迎来了一场别开生面的敬老活动。本次活动由济南天桥资产运营管理集团有限公司
2025-10-27 11:11:00
工行铜仁分行:以公司贷款为笔,绘就地方经济新画卷
多彩贵州网讯(通讯员 刘英俊)2025年以来,工行铜仁分行以支持地方经济发展为主线,突出金融工作的政治性、人民性,以公司贷款为依托
2025-10-27 11:22:00
工行贵阳分行创新“反向开票”服务,赋能资源回收企业绿色发展
多彩贵州网讯(通讯员 包平)在国家大力推行“反向开票”新政、鼓励绿色循环经济发展的背景下,工行贵阳分行主动作为,成功为本地科技企业——贵州某环境科技有限公司办理了全省系统内首笔开放银行融E聚“反向开票”业务
2025-10-27 11:22:00
工行毕节赫章支行:金融赋能古夜郎,文旅升级新篇章
多彩贵州网讯(通讯员 付芳芳)乌蒙山麓,云海苍茫;夜郎故里,古韵悠长。在贵州打造世界级旅游目的地的浪潮中,工行毕节赫章支行精准把握区域经济发展脉搏
2025-10-27 11:22:00
工行铜仁分行:金融活水润泽“三农”,筑牢大国粮仓根基
多彩贵州网讯(通讯员 冉淑冬)金秋时节,丰收在望。工行铜仁分行立足区域发展大局,将金融力量深度融入乡村振兴与粮食安全战略核心
2025-10-27 11:22:00
工行遵义分行票据贴现实现支行全覆盖 为实体经济添动力
多彩贵州网讯(通讯员 兰丽莎)一张张票据,见证着金融活水如何精准滴灌;一家家企业,诉说着工行服务怎样雪中送炭。在黔北大地
2025-10-27 11:22:00
工行安顺分行:金融活水精准滴灌 聚力提振消费市场
多彩贵州网讯(通讯员 黄润民)2025年以来,工行安顺分行坚决贯彻落实国家关于扩内需、促消费的决策部署,充分发挥国有大行的责任担当
2025-10-27 11:23:00
金融科技赋能“四精”新业态 工行贵阳分行助力特色产业焕新升级
多彩贵州网讯(通讯员 徐瑶、许竞丹)为深度融入贵州省高质量发展大局,精准服务地方特色产业转型升级,工行贵阳分行深刻把握区域经济发展脉搏
2025-10-27 11:23:00
工行贵阳分行落地全省系统内首笔环卫工人工资代发业务 政银企协同筑牢基层薪酬“保障网”
多彩贵州网讯(通讯员 赵源、许竞丹)为深入贯彻落实国家及地方政府关于规范环卫行业用工管理、保障基层劳动者合法权益的政策精神
2025-10-27 11:23:00
济南农商银行做好养老金融暖护银龄客群
近年来,济南农商银行坚决贯彻落实省联社关于支持养老产业发展、满足老年人多层次金融需求的工作部署,将支持养老事业发展作为履行社会责任
2025-10-27 11:45:00
电动化与下一代产品布局,LHY 已快人一步
10月18日,山东重工·潍柴动力全球合作伙伴大会在山东青岛举行,会上,LHY液压新品牌向全球发布,标志着潍柴液压品牌从“林德液压”全面升级为“LHY”
2025-10-27 11:52:00
中信银行龙岩分行因违规收取费用、贷款管理不到位被罚款50万元
10月24日,龙岩金融监管分局行政处罚信息公示表显示,中信银行股份有限公司龙岩分行因违规收取银票敞口风险管理费、流动资金贷款贷后管理不到位被处以50万元罚款;相关责任人许某雅、包
2025-10-27 11:52:00