• 我的订阅
  • 社会

彩云科技发布基于DCFormer架构通用大模型云锦天章

类别:社会 发布时间:2024-11-14 14:43:00 来源:缘之心

11月13日,彩云科技在北京总部与媒体进行一场主题为“From Paper to App”的沟通会。会上,彩云科技CEO袁行远,就通用大模型未来进化之路,与人工智能的落地场景等热点话题进行了交流,并正式推出了首款基于DCFormer架构开发的通用大模型云锦天章,与此同时,彩云科技旗下AI RPG平台彩云小梦,也成为首款基于DCFormer架构开发的AI产品。

早在2017年,谷歌发布《Attention Is All You Need》论文,首次提出Transformer架构,掀开了人工智能自然语言处理(NLP)领域发展的全新篇章。Transformer架构作为神经网络学习中最重要的架构,成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。而提升Transformer的运行效率也成为人工智能领域的研究热点,2024年4月,谷歌最近一次更新了Transformer架构,提出了Mixture-of-Depths(MoD)方法,使得训练后采样过程中提速50%,成为Transformer架构提速升级的又一重要事件。

同样在今年,一家来自国内的人工智能企业彩云科技,在国际机器学习领域的顶级会议ICML(国际机器学习大会)上,发布全新大模型论文《Improving Transformers with Dynamically Composable Multi-Head Attention》。在该论文中,彩云科技团队首次发布DCFormer架构,并在基于DCFormer打造的模型DCPythia-6.9B上,实现了在预训练困惑度和下游任务评估上都优于开源Pythia-12B。这意味着,DCFormer模型在性能上,实现了对Transformer模型1.7-2倍的提升。

彩云科技发布基于DCFormer架构通用大模型云锦天章

只有模型效率和智能度提升才能实现真正的AGI

沟通会现场,袁行远首先向参会者展示了一个ChatGPT o1的问答:“假设ChatGPT4每天响应用户约2亿个请求,消耗超过50万千瓦时的电力。假设全球网络都使用ChatGPT作为访问入口,ChatGPT每天消耗多少电力?另外按照这个速度发展下去,到2050年全球人工智能的耗电量会达到目前地球发电能力的多少倍?”ChatGPT o1给出的答案是,“到2050年,全球人工智能的耗电量可能会达到目前地球发电能力的8倍”。

“Scaling Law告诉我们,随着算力的提升,模型更大、数据更多,模型效果会越来越好,但与之相应的,能耗也会越来越高,在Scaling Law失效,人工智能实现之前,或许我们地球的能源就已经无法支撑了。”袁行远表示,“没有效率的提升,AI就是镜花水月。”

彩云科技团队构建DCFormer框架,提出可动态组合的多头注意力(DCMHA),替换Transformer核心组件多头注意力模块(MHA),解除了MHA注意力头的查找选择回路和变换回路的固定绑定,让它们可以根据输入动态组合,从根本上提升了模型的表达能力,由此实现了对Transformer架构1.7—2倍的性能提升。

今年的ICML会议上,彩云科技团队的3篇论文,在录用平均分为4.25-6.33的情况下,获得平均7分的高分,并成为国内唯二受邀参加维也纳ICML2024登台演讲的企业,另一家则是华为。

袁行远表示:我们的工作表明,Transformer架构距离“理想模型架构”还有很大的提升空间,除了堆算力堆数据的“大力出奇迹”路线,模型架构创新同样大有可为。往小了说,在大模型领域,利用效率更高的模型架构,小公司也可以在与世界顶级人工智能企业的对抗中取得优势。往大了说,模型效率的提升,可以有效地降低人工智能升级迭代的成本,加速AI时代的到来。

云锦天章问世首个基于DCFormer架构的通用大模型

作为国内最早做LLM(大语言模型)的公司之一,彩云科技在2017年就已经开始做NLP和大模型方面的工作。目前,彩云科技旗下有彩云天气、彩云小梦、彩云小译三款面向C端用户的AI产品,是国内为数不多能够实现盈利的人工智能公司。

“世界最强的小说续写通用模型。”沟通会上,袁行远向大家展示了首个基于DCFormer架构的通用大模型云锦天章。“这个成语是比喻文章极为高雅、华美,和我们的大模型想要实现的效果有共通之处。”袁行远介绍,云锦天章可以实现在虚构世界观的基础上,赋予小说人物编程、数学等基础能力,可以高速针对大量文字进行扩写、缩写,针对文章风格进行大容量更换,同时兼具其他模型的问答、数学、编程等基础能力。

彩云科技发布基于DCFormer架构通用大模型云锦天章

而在应用端,拥有四百万用户的彩云小梦,也迎来了基于全新DCFormer架构的V.3.5版本。与之前的版本相比,彩云小梦V3.5整体流畅性和连贯性提升了20%,支持前文长度由2000字提升至10000字,故事背景设定最长长度高达10000字。“这意味着,在故事创作或者与人工智能对话中,人工智能能够记住之前发生的事情,记住之前故事里发生的细节,人物记得自己明确的目标,并且会根据剧情及时进行反思修正。在做到自主创作的同时,发散性收敛,不会天马行空,人物性格前后一致,故事逻辑性更强。”

彩云科技发布基于DCFormer架构通用大模型云锦天章

“深度对话,超长记忆,逻辑清晰。”袁行远总结彩云小梦V3.5的特征,“我们的目标是为用户打造指尖伴侣定制梦境。”袁行远表示,彩云小梦的用户单次使用时长,累计使用时长在同类产品中都处于领先的地位,“对话超过400句,你会发现彩云小梦真正的魅力。”

袁行远介绍,公司接下来将继续加大对DCFormer的研究和投入:“一方面有打破‘国外做技术层,国内做应用层’刻板印象的情怀所在,一方面也是为公司自有产品应对市场竞争,实现快速迭代升级和能力领先的现实需要。”【编辑:史词】

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-11-14 17:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

0提示词就能续写小说!彩云科技首创DCFormer架构大模型,AI秒变网文产粮神器
...技正式推出首款基于DCFormer架构开发的通用大模型“云锦天章”,旗下AI RPG平台“彩云小梦”也成为首款基于DCFormer架构开发的AI产品
2024-11-14 09:45:00
跟我抢乒乓球桌的四川青年 做了一个ChatGPT点赞的聊天模型
...所欠缺,似乎又无所不能。那么国内有没有类似的应用?彩云科技的“彩云小梦”可以续写小说故事,受到了年轻用户的欢迎,然而大家可能不知道的是,这是来自四川德阳一位87年CEO推出的
2023-02-12 20:35:00
...演研究、沉浸式交互演艺系统设计——以“剑书”为例、云锦数字化解构与智能设计等9个项目入选,旨在促进文化和旅游科技创新体系建设。这些项目在科技创新和成果转化上取得了哪些成果?近
2024-01-11 00:04:00
...速科技成果的研发中试落地进程,成功孵化落地了郑州新云锦特导新材料有限公司。该公司依托北京科技大学国家材料基因工程中心在材料合成领域的垂直模型和高质量的铜合金数据库,与AI相结
2025-05-24 21:31:00
华为AI最新布局曝光!昇腾、鲲鹏“羽翼”重回五年前
...致星图、同盾科技发布银行AI与大模型方案,与依柯力、云锦汇智、赛意发布汽车智慧工厂2.0方案,与软通智慧、科大讯飞发布城市智慧中枢&大模型方案,与赛意、博瀚智能、中图
2025-03-23 13:06:00
元境科技CEO王智武:踏浪AIGC,虚拟人赋能多场景数智化升级
...坛上,元境科技荣获“2023年AIGC创新应用奖”,并与南京云锦博物馆达成战略签约,双方将共同为南京云锦的传承创新贡献力量
2023-10-10 15:02:00
...,该系统已服务全国超200家景区。本届文博会现场,南京云锦博物馆提取经典纹样与色彩,对传统“妆花”工艺解构重组,将带来手机包、香囊、云锦胸针、丝巾等文创产品,非遗技艺与现代设
2025-05-22 07:20:00
东方韵味与科技融合!vivo S18系列花似锦诠释现代美学
...大的亮点。花似锦配色采用了vivo特有的浮光雕花工艺和云锦玻璃工艺,使得机身上的花纹细腻生动,同时带来了云锦般的高级质感。手机背面的双矩形设计,灵感来源于中式圆角方窗,增添了
2023-12-10 14:12:00
vivos18系列新机发布会即将来临,你准备好了吗?
...方传统文化艺术的画卷,也是年度东方潮流的时尚单品。云锦玻璃以排布400万颗立体方钻,巧妙复刻东方云锦的奢华质感,令人陶醉其中。全系旗舰级体验,让我们看到vivo在用户体验上的
2023-12-14 12:34:00
更多关于社会的资讯:
兔宝宝因货运重量存在误差被行政处罚
近日,齐鲁晚报·齐鲁壹点记者从中华人民共和国海事局官网处罚结果公示一栏中获悉,德华兔宝宝装饰新材股份有限公司(兔宝宝 002043)因在船舶国际集装箱货物运输经营活动中托运人提供的验证重量与实际重量存在误差
2025-10-25 09:30:00
数字铭忠魂,这是抗美援朝的精神密码!
今天(10 月 25 日)是中国人民志愿军抗美援朝出国作战75周年的日子当我们回望那段烽火岁月一组数字始终震撼人心、不容忘却 75年前他们义无反顾跨过鸭绿江在这场残酷鏖
2025-10-25 08:07:00
“本人没到场,他们就将我们的车过户了,现在钱没见到,车也不见了踪影。”10月23日,宣先生向华商报大风新闻记者反映,他和合伙人的车辆被榆林景达恒盛汽车检测站(以下简称
2025-10-25 07:48:00
河北新闻网讯(梁彬)近日,在“一池两新万企”行动中,唐山农商银行古冶支行精准施策,为辖内某柴烧工作室授信50万元,以金融力量为这门古老的柴烧工艺注入新动能
2025-10-25 07:48:00
纵览·9张|小书店里的诗情
壹 在石家庄,有一家“晴朗文艺书店”,它是无数诗词爱好者心中的“精神驿站”。店主李树冬,是怀揣文学梦的诗人,也是深耕俄语文学的翻译家
2025-10-25 07:47:00
2025年度京鲁奖教金第五站走进山东省实验中学
10月23日,2025年度京鲁奖教金第五站走进山东省实验中学。山东京鲁律师事务所创始合伙人王义松介绍,京鲁奖教金自2018年设立以来
2025-10-24 14:07:00
长白时评评论员 殷建光10月23日,青海网友发布的视频中,有人用布蘸取不明物品涂抹牛羊胴体,使其表面呈现异常鲜艳的红色
2025-10-24 15:19:00
2024年8月24日,茉莉花开·第八届全国青少年民族器乐教育教学成果现场展示活动在南京江苏大剧院圆满闭幕,闭幕式暨综合汇报演出为这场历时多日的艺术盛宴画上了精彩句号
2025-10-24 15:32:00
借力国际平台 共谋发展新篇 灵武市农交会推介会成果丰硕
第二十二届国际农产品交易会已圆满落幕,而宁夏灵武市在盛会中呈现的“黄金奶源”与“滩羊臻品”依旧香韵悠长,引人回味。10月17日
2025-10-24 15:32:00
Soul 兴趣主理人:在世界的褶皱中寻找自我
在浩瀚的网络里,旅行内容常见——从五分钟速通欧洲的“特种兵”攻略,到滤镜厚重的“网红打卡地”,但其千篇一律,让人觉得好像很难再看到旅行本身那种粗砺
2025-10-24 15:32:00
指尖传温情 泰安联通宁阳营业厅暖心服务获点赞
鲁网10月24日讯近日,泰安联通宁阳县中心营业厅,一对聋哑夫妇进厅办理业务,因语言交流受阻,营业员用细致服务化解沟通难题
2025-10-24 15:47:00
鲁网10月24日讯(记者 陈珊珊 通讯员 徐玉茹)随着气温持续下降,流感进入高发期。为保障学生身体健康,筑牢校园健康防线
2025-10-24 15:48:00
大皖正能量|他管了件“闲事”,让33年未谋面的亲人得以重逢
大皖新闻讯 10月23日午后,蚌埠火车站收发室的窗台上,多了封字迹工整的感谢信,信封上“卢老师收”四个字格外醒目,信内字里行间满是感激
2025-10-24 15:55:00
齐鲁晚报·齐鲁壹点记者 李家澍10月24日早高峰时段,南京地铁一号线突发设备故障,导致车厢内冒出浓烟,大量乘客在晓庄站紧急疏散
2025-10-24 15:57:00
华商网讯 10月24日,甘肃省临夏州公安局交通管理支队在州政府官方网站上发布了康乐县“6·22”较大道路交通事故调查报告
2025-10-24 16:55:00