• 我的订阅
  • 社会

彩云科技发布基于DCFormer架构通用大模型云锦天章

类别:社会 发布时间:2024-11-14 14:43:00 来源:缘之心

11月13日,彩云科技在北京总部与媒体进行一场主题为“From Paper to App”的沟通会。会上,彩云科技CEO袁行远,就通用大模型未来进化之路,与人工智能的落地场景等热点话题进行了交流,并正式推出了首款基于DCFormer架构开发的通用大模型云锦天章,与此同时,彩云科技旗下AI RPG平台彩云小梦,也成为首款基于DCFormer架构开发的AI产品。

早在2017年,谷歌发布《Attention Is All You Need》论文,首次提出Transformer架构,掀开了人工智能自然语言处理(NLP)领域发展的全新篇章。Transformer架构作为神经网络学习中最重要的架构,成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。而提升Transformer的运行效率也成为人工智能领域的研究热点,2024年4月,谷歌最近一次更新了Transformer架构,提出了Mixture-of-Depths(MoD)方法,使得训练后采样过程中提速50%,成为Transformer架构提速升级的又一重要事件。

同样在今年,一家来自国内的人工智能企业彩云科技,在国际机器学习领域的顶级会议ICML(国际机器学习大会)上,发布全新大模型论文《Improving Transformers with Dynamically Composable Multi-Head Attention》。在该论文中,彩云科技团队首次发布DCFormer架构,并在基于DCFormer打造的模型DCPythia-6.9B上,实现了在预训练困惑度和下游任务评估上都优于开源Pythia-12B。这意味着,DCFormer模型在性能上,实现了对Transformer模型1.7-2倍的提升。

彩云科技发布基于DCFormer架构通用大模型云锦天章

只有模型效率和智能度提升才能实现真正的AGI

沟通会现场,袁行远首先向参会者展示了一个ChatGPT o1的问答:“假设ChatGPT4每天响应用户约2亿个请求,消耗超过50万千瓦时的电力。假设全球网络都使用ChatGPT作为访问入口,ChatGPT每天消耗多少电力?另外按照这个速度发展下去,到2050年全球人工智能的耗电量会达到目前地球发电能力的多少倍?”ChatGPT o1给出的答案是,“到2050年,全球人工智能的耗电量可能会达到目前地球发电能力的8倍”。

“Scaling Law告诉我们,随着算力的提升,模型更大、数据更多,模型效果会越来越好,但与之相应的,能耗也会越来越高,在Scaling Law失效,人工智能实现之前,或许我们地球的能源就已经无法支撑了。”袁行远表示,“没有效率的提升,AI就是镜花水月。”

彩云科技团队构建DCFormer框架,提出可动态组合的多头注意力(DCMHA),替换Transformer核心组件多头注意力模块(MHA),解除了MHA注意力头的查找选择回路和变换回路的固定绑定,让它们可以根据输入动态组合,从根本上提升了模型的表达能力,由此实现了对Transformer架构1.7—2倍的性能提升。

今年的ICML会议上,彩云科技团队的3篇论文,在录用平均分为4.25-6.33的情况下,获得平均7分的高分,并成为国内唯二受邀参加维也纳ICML2024登台演讲的企业,另一家则是华为。

袁行远表示:我们的工作表明,Transformer架构距离“理想模型架构”还有很大的提升空间,除了堆算力堆数据的“大力出奇迹”路线,模型架构创新同样大有可为。往小了说,在大模型领域,利用效率更高的模型架构,小公司也可以在与世界顶级人工智能企业的对抗中取得优势。往大了说,模型效率的提升,可以有效地降低人工智能升级迭代的成本,加速AI时代的到来。

云锦天章问世首个基于DCFormer架构的通用大模型

作为国内最早做LLM(大语言模型)的公司之一,彩云科技在2017年就已经开始做NLP和大模型方面的工作。目前,彩云科技旗下有彩云天气、彩云小梦、彩云小译三款面向C端用户的AI产品,是国内为数不多能够实现盈利的人工智能公司。

“世界最强的小说续写通用模型。”沟通会上,袁行远向大家展示了首个基于DCFormer架构的通用大模型云锦天章。“这个成语是比喻文章极为高雅、华美,和我们的大模型想要实现的效果有共通之处。”袁行远介绍,云锦天章可以实现在虚构世界观的基础上,赋予小说人物编程、数学等基础能力,可以高速针对大量文字进行扩写、缩写,针对文章风格进行大容量更换,同时兼具其他模型的问答、数学、编程等基础能力。

彩云科技发布基于DCFormer架构通用大模型云锦天章

而在应用端,拥有四百万用户的彩云小梦,也迎来了基于全新DCFormer架构的V.3.5版本。与之前的版本相比,彩云小梦V3.5整体流畅性和连贯性提升了20%,支持前文长度由2000字提升至10000字,故事背景设定最长长度高达10000字。“这意味着,在故事创作或者与人工智能对话中,人工智能能够记住之前发生的事情,记住之前故事里发生的细节,人物记得自己明确的目标,并且会根据剧情及时进行反思修正。在做到自主创作的同时,发散性收敛,不会天马行空,人物性格前后一致,故事逻辑性更强。”

彩云科技发布基于DCFormer架构通用大模型云锦天章

“深度对话,超长记忆,逻辑清晰。”袁行远总结彩云小梦V3.5的特征,“我们的目标是为用户打造指尖伴侣定制梦境。”袁行远表示,彩云小梦的用户单次使用时长,累计使用时长在同类产品中都处于领先的地位,“对话超过400句,你会发现彩云小梦真正的魅力。”

袁行远介绍,公司接下来将继续加大对DCFormer的研究和投入:“一方面有打破‘国外做技术层,国内做应用层’刻板印象的情怀所在,一方面也是为公司自有产品应对市场竞争,实现快速迭代升级和能力领先的现实需要。”【编辑:史词】

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-11-14 17:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

0提示词就能续写小说!彩云科技首创DCFormer架构大模型,AI秒变网文产粮神器
...技正式推出首款基于DCFormer架构开发的通用大模型“云锦天章”,旗下AI RPG平台“彩云小梦”也成为首款基于DCFormer架构开发的AI产品
2024-11-14 09:45:00
跟我抢乒乓球桌的四川青年 做了一个ChatGPT点赞的聊天模型
...所欠缺,似乎又无所不能。那么国内有没有类似的应用?彩云科技的“彩云小梦”可以续写小说故事,受到了年轻用户的欢迎,然而大家可能不知道的是,这是来自四川德阳一位87年CEO推出的
2023-02-12 20:35:00
...演研究、沉浸式交互演艺系统设计——以“剑书”为例、云锦数字化解构与智能设计等9个项目入选,旨在促进文化和旅游科技创新体系建设。这些项目在科技创新和成果转化上取得了哪些成果?近
2024-01-11 00:04:00
...速科技成果的研发中试落地进程,成功孵化落地了郑州新云锦特导新材料有限公司。该公司依托北京科技大学国家材料基因工程中心在材料合成领域的垂直模型和高质量的铜合金数据库,与AI相结
2025-05-24 21:31:00
华为AI最新布局曝光!昇腾、鲲鹏“羽翼”重回五年前
...致星图、同盾科技发布银行AI与大模型方案,与依柯力、云锦汇智、赛意发布汽车智慧工厂2.0方案,与软通智慧、科大讯飞发布城市智慧中枢&大模型方案,与赛意、博瀚智能、中图
2025-03-23 13:06:00
元境科技CEO王智武:踏浪AIGC,虚拟人赋能多场景数智化升级
...坛上,元境科技荣获“2023年AIGC创新应用奖”,并与南京云锦博物馆达成战略签约,双方将共同为南京云锦的传承创新贡献力量
2023-10-10 15:02:00
...,该系统已服务全国超200家景区。本届文博会现场,南京云锦博物馆提取经典纹样与色彩,对传统“妆花”工艺解构重组,将带来手机包、香囊、云锦胸针、丝巾等文创产品,非遗技艺与现代设
2025-05-22 07:20:00
东方韵味与科技融合!vivo S18系列花似锦诠释现代美学
...大的亮点。花似锦配色采用了vivo特有的浮光雕花工艺和云锦玻璃工艺,使得机身上的花纹细腻生动,同时带来了云锦般的高级质感。手机背面的双矩形设计,灵感来源于中式圆角方窗,增添了
2023-12-10 14:12:00
vivos18系列新机发布会即将来临,你准备好了吗?
...方传统文化艺术的画卷,也是年度东方潮流的时尚单品。云锦玻璃以排布400万颗立体方钻,巧妙复刻东方云锦的奢华质感,令人陶醉其中。全系旗舰级体验,让我们看到vivo在用户体验上的
2023-12-14 12:34:00
更多关于社会的资讯:
武汉网球公开赛组委会3日晚宣布,中国网球名将郑钦文因身体未恢复到最佳状态,退出本次赛事。郑钦文在声明视频中表示,她的身体仍未恢复到最佳状态
2025-10-04 14:41:00
华商网讯 据北京交警消息,10月3日15时许,在海淀区朱各庄路与万寿路交叉口,陈某(男,43岁)驾驶小客车由北向南行驶时
2025-10-04 14:45:00
鲁网10月4日讯金秋送爽,丹桂飘香。临沂北园路小学三年级四班的教室被装点得格外喜庆,一场以“童声双语颂华诞,方寸画笔绘山河”为主题的双语迎国庆活动正精彩上演
2025-10-04 16:02:00
房县图书馆开展“巧手拼地图 同心颂祖国” 国庆专题活动
十堰广电讯(全媒体记者 郭梅 通讯员 杨阳 胡燕)丹桂飘香迎国庆,家国同心庆团圆。10月4日上午,房县图书馆活动室里热闹非凡
2025-10-04 15:51:00
无极县中医院被无极县市场监督管理局给予罚款6.5万元
近日信用河北官网显示,无极县中医院被无极县市场监督管理局因使用劣药、过期医疗器等问题于2025年9月26日被无极县市场监督管理局给予罚款6
2025-10-04 14:48:00
武当山“即丢即清”保洁模式绘就景区最靓底色
十堰广电讯(武当山融媒记者 汪伟 通讯员 张新杰)10月4日,武当山景区在连绵秋雨中迎来旅游高峰,一群身着橙色工装的环卫工人穿梭在人群中
2025-10-04 14:49:00
秦皇岛市北戴河区“爱家乡”书画摄影展启幕
河北新闻网讯(康丽、于明慧)9月29日上午,秦皇岛市北戴河区文化馆图书馆内古琴悠扬,“‘双争’有我 画说河北”北戴河区“爱家乡”书画摄影展在此拉开帷幕
2025-10-04 13:12:00
著名画家吕士民先生辞世 享年88岁 去世几天前还在画画
大皖新闻讯 10月4日,大皖新闻记者从相关方面获悉,著名画家吕士民老先生于2025年10月4日0点39分与世长辞,享年八十八岁
2025-10-04 11:49:00
重视健康,积极干预:卵巢巧克力囊肿患者选择南郊医院终结困扰
近一年来,“卵巢巧克力囊肿”成为这位患者心中挥之不去的阴影。2024年12月,她因腹痛在外院检查时,首次发现了这个直径约3
2025-10-04 08:09:00
“解锁”肢体枷锁 重塑生命活力——济南南郊医院康复科助脑梗患者打破肢体禁锢
在济南南郊医院康复科,一位特殊的患者正经历着一场生命的“解锁”。三年前的一场脑梗,使他的左侧肢体仿佛被无形的绳索紧紧捆住——关节挛缩
2025-10-04 08:10:00
情系国庆 月满中秋“我和我的祖国,一刻也不能分割……”10月1日、2日,每晚夜幕降临、华灯初上时,太原植物园乐天广场上音乐角悄然启动
2025-10-04 07:17:00
不止足球!10月4日,“河北五超”第八轮沧州vs保定,“方圆驴火” 之战即将打响~沧州方驴火酱香浓郁,保定圆驴火酥到掉渣~舌尖与赛场的双重对决太上头!
2025-10-04 07:24:00
10月3日,经过激烈角逐和权威评选,金狮奖等奖项揭晓。掌声如潮,中外杂技人士激情祝贺、彼此相拥。不远处,古老运河蜿蜒流淌
2025-10-04 07:57:00
河北日报讯(记者张晓超)近日,满载427吨啤酒的15个标准货柜,从青岛港启程发往古巴。这是石家庄交投集团所属石家庄市交投冷链物流有限公司与欧盟最大跨境电商BIGBUY中国公司正式签署合作协议后
2025-10-04 07:59:00
钟山风景区内及周边设置10多处行李寄存点赏秋景闻桂香,游客“细品慢游”□南京日报/紫金山新闻记者 李子俊储笑抒甩掉“肩扛手提”的大包小包
2025-10-03 08:15:00