• 我的订阅
  • 科技

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

类别:科技 发布时间:2024-09-05 09:50:00 来源:量子位

微软正尝试在Office中集成国产开源大模型RWKV!

RWKV官方甚至直接发了个推文表示:

RWKV.cpp,现已在全球五亿系统中部署。

之所以这么说,是因为他们发现最新版Windows 11系统的Office文件夹中有以rwkv命名的DLL文件,包含GPU、CPU版本。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

对这些二进制文件进行反编译检查,结果发现就是GitHub的RWKV.cpp项目的一种变体。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

人人都可以将Windows 11更新到最新版本,通过以下路径自行验证:

C:\Program Files\Microsoft Office\root\vfs\ProgramFilesCommonX64\Microsoft Shared\OFFICE16

或者,也可以在IT商店的任何“copilot Windows 11”设备上搜索系统文件中的rwkv。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

消息一出,引发网友热议,不少网友喊微软赶紧打钱。

如果他们没有给予支持或引用你们的贡献,那就有点说不过去了。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

希望这项工作能得到丰厚的报酬。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

微软可能用RWKV干啥?

RWKV团队猜测,微软可能会将RWKV用于正在测试的本地Copilot、memory recall等功能。

在之前微软发布新一代Copilot+PC中就有提到过,在专为AI重构的新版Windows 11上,许多功能都是实时的。

为此,微软引入了全新的系统架构,将CPU、GPU和新的高性能神经处理单元NPU结合在一起。

NPU就负责在后台实时运行AI,Recall功能背后其实就是AI对你屏幕上正在处理的所有内容做分类。

而RWKV模型的优势是:

支持100多种语言,有利于全球化部署;

相比传统Transformer模型,运行能耗低得多,能够在包括树莓派等各种设备上高效运行。

如下图所示,生成更多token所需的计算资源随token数增加而线性增加,cuda_rwkv-4-pile-3b的曲线在整个过程中相对低了一大截,表明在相同量token情况下,这个模型GPU消耗更为高效。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

而能耗对于设备电池寿命而言至关重要。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

当然这些只是猜测,关于微软的真实用意,团队表示后续将密切关注。

RWKV是什么?

再来简要介绍一下RWKV,之前量子位也有持续关注,RWKV是魔改RNN挑战Transformer的一种新架构。

RWKV设计灵感来自苹果21年的研究《An Attention Free Transform》,团队意识到如果在公式中使用循环矩阵(circular matrices)就可以将网络结构写成RNN。

与GPT系列的时间复杂度O(n^2)相比,RNN的时间复杂度只有O(n),空间复杂度是O(1)。

这意味着生成内容的速度不会随长度而夸张增涨,显存占用也是恒定的。

论文共同一作彭博在接受36kr采访时曾这样形容:

GPT每写一个字就要重新看一遍前面所有文字,效率很低。而RWKV就相当于人类读了一遍资料后,在不再看资料的情况下直接回答。

这项研究去年一经发布,就在学术圈得到大量关注。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

RWKV开山论文背后是由来自27家大学、研究机构和公司的研究人员组成的团队,作者达30人。

共同一作彭博(Peng Bo),毕业于香港大学物理系,编程经验20+年,曾在世界最大外汇对冲基金之一Ortus Capital就职,负责高频量化交易。

还出版过一本关于深度卷积网络的书籍《深度卷积网络·原理与实践》。

他的主要关注和兴趣方向在软硬件开发方面,在此前的公开访谈中,他曾明确表示AIGC是自己的兴趣所在,尤其是小说生成。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

但他的最主要公开身份是一家灯具公司禀临科技的联合创始人,主要是做阳光灯、吸顶灯、便携台灯等。

并且其人应该是一个喵星人资深爱好者,Github、知乎、微信头像,以及灯具公司的官网首页、微博上,都有橘猫的身影。

今年,RWKV又上新推出了两种新架构模型:Eagle (RWKV-5) 、Finch(RWKV-6)。

微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟

这两种序列模型以RWKV-4架构为基础,在多头矩阵值状态(multi-headed matrix-valued states)和动态递归机制(dynamic recurrence mechanism)上做了改进,提高了RWKV模型的表达能力,同时保持RNN的推理效率特征。

同时,新架构引入了一个新的多语言语料库,包含1.12万亿个token。

团队还基于贪婪匹配(greedy matching)开发了一种快速的分词器,以增强RWKV的多语言性。

参考链接:[1]https://x.com/RWKV_AI/status/1831000938120917336[2]https://github.com/RWKV/rwkv.cpp

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-05 11:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

本周硅谷发生了什么?|OpenAI推出5项更新;微软组建新的AI团队;Googe发布文生视频模型Lumiere
...频模型Lumiere,生成视频在运动幅度和一致性表现良好。微软集中公司内部顶尖AI研究人员力量,组建新的GenAI团队研发小模型
2024-01-29 09:34:00
OpenAI断供API 套壳公司何去何从
...者提供API调用服务,这也是OpenAI最核心的业务;三是来自微软Azure云服务的分成。凭借这三块业务,该公司2023年营收16亿美元
2024-06-27 08:57:00
微软推出14b参数“最先进”小型语言模型
12月13日消息,微软今天宣布推出14B参数“最先进”小型语言模型(SLM)Phi-4,除了传统的语言处理外,它还擅长数学等领域的复杂推理
2024-12-14 00:08:00
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
...人助手苹果发布2024年Q1财报,库克称AI是“巨大的机会”微软、Alphabet等AI相关企业总市值一天蒸发1.3万亿元360 AI搜索移动App已上线Sam Altman弟弟的风投公司募资1
2024-02-05 11:37:00
谷歌和微软两位“印度老乡”CEO,正面硬刚
...发布的GPT-4。而后者是在其“印度老乡”Satya Nadella掌舵的微软投资支持下研发出来的。早在今年年初,为了应对ChatGPT的威胁
2023-12-08 16:29:00
meta和微软合作推出开源模型
Meta和微软近日合作推出Llama2,这是Meta公司的下一代开源大型语言模型,可以免费用于研究和商业用途。微软在新闻稿中表示
2023-07-19 23:14:00
...面)投融资: 沃达丰将在未来10年投资15亿美元,用于与微软合作开发人工智能服务英国电信巨头沃达丰16日宣布与微软宣布达成为期10年战略合作伙伴关系。沃达丰将在未来10年投资
2024-01-16 17:57:00
...任何与我们的产品和服务竞争的AI模型”。字节跳动通过微软购买了OpenAI的访问权限,但是微软也制定了与OpenAI同样的政策
2023-12-17 20:59:00
...,2021年国外大模型进入高速发展期。2018年开始,谷歌、微软、英伟达、Meta和微软等美国大型科技企业纷纷推出自研大模型技术,预训练大模型逐渐成为自然语言处理领域的主流研
2023-08-31 22:19:00
更多关于科技的资讯:
全球最大超级电容调频电站在山西成功并网,我国新型储能技术应用取得世界级突破
近日,由深圳市今朝时代股份有限公司提供核心技术与整体解决方案的山西偏关百兆瓦级独立调频电站一期项目顺利并网。该项目是全球首个百兆瓦级大规模应用超级电容混合储能技术的调频电站
2025-09-15 13:46:00
鸿蒙开发者孙晨阳:撬动端侧 AI 开发新可能
在 HarmonyOS 生态快速发展的浪潮中,开发者孙晨阳凭借扎实的技术积累和敏锐的生态洞察力,连续三年在鸿蒙极客松大赛中斩获佳绩——从2023年的《赏金猎人》优秀奖
2025-09-15 13:59:00
齐鲁晚报·齐鲁壹点客户端 李孟霏近日,威海举办好客山东·美食争霸赛,作为本次大型文旅消费季赛事的重要通信支持单位,山东移动威海分公司(以下简称“威海移动”)全力护航本次赛事通信畅通
2025-09-15 12:22:00
泰岳小漫 eSIM 产品,全球连接赋能跨境出行
在eSIM技术普及的浪潮中,神州泰岳旗下泰岳小漫前瞻性布局海外eSIM市场,推出FiRoam eSIM服务跨境人群,为海外用户打造便捷
2025-09-15 09:45:00
华芢生物冲刺港股:PDGF 技术破局医保减负撬动千亿愈合市场
2025 年以来,恒指强势反弹,港股新股市场吸引了全球投资者的目光。华芢生物科技(青岛)股份有限公司正稳步推进港股上市进程——继 2024 年 12 月完成证监会备案后
2025-09-15 09:50:00
【奋进七十年 大厂再出发】大厂:科技创新驱动县域经济活力迸发
河北新闻网讯(刘英、黄蕾)“前不久,我们又获得了‘廊坊市工业设计中心’的荣誉。”9月5日,位于大厂高新区的河北时硕微芯科技有限公司展厅内
2025-09-15 10:15:00
海尔空调全面推进大暖通全流程平台建设
依托大暖通战略布局,海尔空调正以全屋空气解决方案突破行业同质化竞争困局。9月11日,在2025年海尔空气产业第14届营销俱乐部峰会上
2025-09-15 10:24:00
大众网记者 邢晨 梁鹏 烟台报道作为全市网络安全宣传教育的标杆,烟台联通数字化展厅依托先进技术手段与创新传播模式,打造了集“沉浸式体验
2025-09-15 09:19:00
9月4日15时,记者走进石家庄市高新区想象国际小区兔喜生活快递驿站,只见崭新的智能快递柜排列整齐,白色的柜体搭配清晰的触控显示屏
2025-09-15 08:03:00
“以前打包,一天弯腰上百次,考验手又考验腰,现在机器全搞定,咱只要盯着设备运转就行!”近日,在国内办公家具行业头部企业圣奥科技股份有限公司深州生产基地(以下简称“圣奥深州生产基地”)
2025-09-15 07:59:00
体验首家潮流店的独特,感受首个主题展览的魅力,领略首场大秀的震撼……越来越多的消费者逐渐被首店经济吸引。通过首店经济,创新消费场景涌现
2025-09-15 07:13:00
明势、BAI和蚂蚁,AI投资的乐观派、悲观派和中间派聚在一场圆桌上
文|周鑫雨编辑|苏建勋如今的AI投资人,也分“乐观派”和“悲观派”。2025年9月12日,Inclusion外滩大会。在由36氪CEO冯大刚主持的圆桌论坛“AI应用落地首战
2025-09-14 17:16:00
王兴兴、朱啸虎们说了些AI创业真心话
文|周鑫雨 富充编辑|苏建勋2025年9月11日开幕的Inclusion外滩大会,为当下的AI创业者、学者和投资人,攒了一个“真心话”局
2025-09-14 19:30:00
厦门网讯(厦门日报记者 林钦圣 通讯员 江安娜)近日,我市申报的“车路协同·公交智行可视化”项目入选自然资源部、国家数据局联合发布的2025年实景三维数据赋能高质量发展创新应用典型案例
2025-09-14 08:20:00
AnPro®酵母蛋白获美国GRAS认证,定义未来可持续蛋白新标准
近日,安琪公司自主研发的AnPro®酵母蛋白(海外市场命名:AngeoPro®)正式获得美国食品药品监督管理局(FDA)的GRAS认证
2025-09-14 09:00:00