• 我的订阅
  • 头条热搜
3天把Llama训成Mamba,性能不降,推理更快!
...根据x,B,C与V,K,Q的对应关系直接复用注意力中的投影矩阵。 额外的参数包括SSM需要的A矩阵和Δt(由x投影得到),这就完成了基本的参数初始化。之后就是SSM的运算过程,再通过投影和累加得到输出。模型架构和训练下图...……更多
...内外市场,为全球用户带来精彩的内容和体验。多元产品矩阵全面开花经典IP焕发新生网易着眼市场需求,不断迭代内容模式,长线精品持续焕发新生命。二季度,网易游戏经典、热门IP持续突破,《第五人格》开展优质IP内容联...……更多
vivo:在所有做大模型的厂商中,我们都是第一名
...系统内部已经经过大模型能力去重构了,这也是一整套的矩阵规划。在未来,vivo会始终坚持以用户为本、产品驱动、开发共赢的理念,围绕技术创新构建生态建设,并且不断推出大模型应用,为消费者提供更好的服务 ……更多
观察|手机厂商“卷”大模型,人工智能会是下一个竞争赛道吗
...11月1日,vivo在开发者大会上正式发布了自研通用大模型矩阵——蓝心大模型BlueLM,以及智能辅助应用“蓝心小V”和以公版App形式推出的自然语言对话机器人“蓝心千询”。科技公司不能错失任何一个战略性风口,否则就会被时...……更多
丁肇亮:看我们的视频,让你更健康
人物名片丁肇亮,杭州知识矩阵信息科技有限公司创始人兼CEO。全域大健康内容数据生态运营专家,精准医药数字营销平台服务商。公司成立于2020年,秉持“内容为王”的理念,以优质内容、全域流量运营为核心生产力,致力...……更多
2022生成模型进展有多快,新论文盘点9类生成模型代表作
...其他生成模型”。AlphaTensor 由DeepMind开发,懂得自己改进矩阵乘法并提升计算速度,不仅改进了目前最优的4×4矩阵解法,也提升了70多种不同大小矩阵的计算速度,基于“棋类AI”AlphaZero打造,其中棋盘代表要解决的乘法问题,...……更多
通过图论直观解释线性代数原理,理解机器学习的数学原理
...视觉上理解线性代数的计算,这将涵盖许多核心概念,如矩阵的加法、减法、乘法、除法、转置等。这些是线性代数中非常基本和常见的概念,这些概念在机器学习中也经常出现。图论与线性代数图论和线性代数是相辅相成的,...……更多
超星未来梁爽:软硬件协同优化,赋能AI 2.0新时代
...到现有的边缘侧芯片上,主要原因包括:(1)传统架构矩阵算力缺口明显,大模型中50-80%算力需求在Attention层中的各类矩阵计算,并且KV矩阵有明显稀疏性,需要专项支持;(2)大模型的参数量和带宽需求巨大,单7B级别的浮点...……更多
vivo开始发力:OriginOS 4已开启内测招募
...很清晰,比如AI大模型,后续vivo会发布一组自研AI大模型矩阵,包括十亿、百亿、千亿三个不同参数量级的5个自研大模型。而且自研AI大模型同时位列C-Eval、CMMLU双榜的全球中文榜单榜首,在人文、社科等领域的表现远超同级别...……更多
国产大模型第一梯队玩家,为什么pick了CPU?
...化,各方面都考虑到位了。硬件方面,英特尔®AMX(高级矩阵扩展)技术,正是为大模型推理重深度学习中大量的矩阵乘法运算专门优化的,可以理解成”CPU里的TensorCore”。有了英特尔®AMX,处理器每个时钟周期可完成高达2048个...……更多
引领AI设计“范式革命”,暗壳科技亮相广州建博会
...产力与生产关系,为行业带来指数级的增长。 7月9日,由矩阵股份战略投资的暗壳科技于广州建博会「首届中国家居AI设计大会」亮相,暗壳科技CEO黄燕虹女士进行了《AIGC在住产业设计的应用》的主题演讲,并展示专业级AIGC设...……更多
把大模型装进手机,总共分几步?
...端协同,以vivo、OPPO为代表。11月vivo发布的自研AI大模型矩阵,其中包括十亿、百亿、千亿三个不同参数量级的5款大模型。其中,10亿量级模型是主要面向端侧场景打造的专业文本大模型,70亿模型是面向手机打造的端云两用模型...……更多
4000亿参数,国产大模型硬刚Llama 3?|钛媒体AGI
...模型、AI搜索、AI音乐、AI社交、AI游戏、AI视频六大业务矩阵。其中,AI大模型和AI搜索作为底座,是所有AIGC能力的基础,音乐、视频、社交、游戏等方向则是昆仑万维在AGI道路上的探索,体现了其AI UGC平台商业模式。2024年1月,...……更多
免训练大模型知识编辑,吸收新数据更高效|EMNLP\\\'24
...过程可以被重新形式化为:其中⊕表示检索到的连续提示矩阵和q的单词嵌入矩阵的连接。 本文方法的可行性得到了P-Tuning等先前工作的支持,该工作证明了训练连续提示嵌入可以提高LLM在下游任务上的性能有效性。在RECIPE中,...……更多
2024北京国际车展|加速智能汽车驶入AGI时代 商汤绝影系列原生态大模型亮相
4月25日,商汤绝影携系列原生态大模型及相关产品矩阵首次亮相2024北京国际车展。作为首个提出感知决策一体化自动驾驶通用模型的公司,商汤绝影在本届车展上首次向公众展示面向量产的真·端到端自动驾驶解决方案UniAD(Uni...……更多
微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B
...ax.device_put 之后:加入 LoRALoRA 通过将权重更新分解为低秩矩阵,减少了可训练参数的数量,这对于微调大型模型特别有效。以下是在 AMD GPU 上微调 Llama 3.1-405 的 LoRA 的要点:将 LoRA 参数(lora_a 和 lora_b)与主模型参数分开。……更多
微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟
...Attention Free Transform》,团队意识到如果在公式中使用循环矩阵(circular matrices)就可以将网络结构写成RNN。与GPT系列的时间复杂度O(n^2)相比,RNN的时间复杂度只有O(n),空间复杂度是O(1)。这意味着生成内容的速度不会随长度而夸张...……更多
aipc能否拯救笔记本市场?
...言模型和文字生成图片的预训练模型,计算时涉及大量的矩阵运算。如果采用CPU进行运算,需要将矩阵的行列相乘、相加过程拆分开来,运行效率极低,此时就需要GPU通过大量的处理单元并行计算来提高速度。 不过在拥有了专...……更多
构建数字经济新引擎:枫清科技 高雪峰解读AI技术的未来趋势
...所未有的变革。”枫清科技创始人兼CEO 高雪峰创新产品矩阵:驱动行业智能化转型高雪峰在分享中指出,在机器学习领域,长期以来存在着两种主要的架构理念之争:Model-Centric(以模型为中心)与 Data-Centric(以数据为中心),...……更多
Transformer打破三十年数学猜想!Meta研究者用AI给出反例,算法杀手攻克数学难题
...到训练集的分数分布。训练集中的每个图都可以用其邻接矩阵来表示,该矩阵有n²=20²=400个条目。研究者注意到,邻接矩阵是对称的,而且没有循环,因此可以使用矩阵的上三角部分而不是整个矩阵,从而将其减少到20×19/2 = 190...……更多
AI自己长出了类似大脑的脑叶?新研究揭示LLM特征的惊人几何结构
...和「噪声」分别定义为聚类间变化和聚类内变化的协方差矩阵。图 1 显示,这极大地提高了聚类和梯形图 / 平行四边形的质量,突出表明干扰特征可能会隐藏现有的晶体。「大脑」尺度:中尺度模块性结构现在放大视野,寻找更...……更多
广西百色市烟草专卖局推动营销数字化转型
...平台、开发一套智慧零售终端系统、搭建一个新媒体运用矩阵等工作举措,推动营销数字化转型取得新突破、新成效。建立一个数据化转型人才培养模型。为有效解决数字化转型人才短缺问题,该局探索构建队伍成长数字化分析...……更多
中关村科金:大模型赋能敏捷创新实践更多可能性
...销决策引擎,全面赋能中关村科金数字化洞察与营销产品矩阵,如CDP(客户数据平台)、MA(营销自动化平台)、SCRM(新媒体营销平台)等,并在金融行业某大型客户的真实营销场景中即将规模化落地。中关村科金将于11月23日...……更多
江苏构建现代化水库运行管理矩阵 全力筑牢防汛减灾阵地
...经进入汛期,江苏去年起试点建设的现代化水库运行管理矩阵,帮助实现水库风险精准管控,为安全度汛提供了保障。最近,在南京溧水老鸦坝水库,无人机每天会定时起飞,按照三条固定线路对水库大坝及上下游展开巡查,对...……更多
3秒让AI生成风险减少30%!复旦新研究拿下扩散模型概念移除新SOTA
...概念(例如,空文本“ ”),以及交叉注意力的K/V投影矩阵,UCE的目标是找到新权重,将新权重下的映射值对齐到。其中后面两项是为了控制参数变化,最小化对无关概念的影响。这也是凸函数,将解析解直接赋值给新权重:...……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
...论文,提出一个名为SliceGPT的方法。SliceGPT通过删除权重矩阵中的行和列来降低网络的嵌入维数,有效降低大模型所需资源,同时保持较高的模型性能。这也意味着SliceGPT可以运行在更少的GPU上,同时运行速度更快。△SliceGPT原理...……更多
手机市场迎来拐点! vivo X100系列带来“满分信心”
...位升级的续航体验。蓝心大模型是vivo自研的通用大模型矩阵,也是vivo在AI领域最耀目的技术成果之一。过去五年,vivo人工智能图谱研究院积累了2800TB⾼质量的中⽂⽂本数据及数万TB的其他模态数据,仅⽤于百亿蓝心大模型的数...……更多
AI大模型,进入攻防阶段
...I融合模型。简单来说,就是将多个AI模型融合成一个模型矩阵,在输出数据前各个模型间先交换一轮数据,对输出内容进行审核,在交叉认证确认数据无误后再进行输出,考虑到一次性多个AI都被污染的概率很低,这种方法的效...……更多
中国联通王俊治:构筑融合算力新底座,共赢数字经济新蓝海
...造、物流运输等领域打造示范应用。发布雁飞5GRedCap产品矩阵,并且面向工业传感、视频监控、可穿戴设备3大核心场景和电力、车联网、矿山等高价值场景,启动了“5GRedCap百城商用行动”。中国联通在行业内率先实现全国数据...……更多
...海口成为我省唯一入选城市。打造大模型时代AI数据服务矩阵“它很聪明,给的建议非常实用。”当天上午,在海口基地“文心一言”产品展示区,一幕幕人机对话的场景,引得现场体验者连连称赞。被大家点赞的“文心一言”...……更多
更多关于科技的资讯:
vivo老手机淘汰!OriginOS5更新,支持微信备份
嘿,VIVO手机的小伙伴们注意啦!最近originOS5更新了一个超实用的新功能——vivo的云服务现在支持微信云备份了
2024-11-23 22:35:00
LCD党无需再坚持!红米K80,全系2K屏揭晓
红米K80屏幕四大升级红米K80系列下周就要发布了,这个系列的屏幕一直以来都是它的强项。这次红米K80系列在屏幕上又有哪些亮点呢
2024-11-23 22:36:00
正式停售!旧款iPhone耳机兼容性或受限
苹果配件pricey一流一说到苹果,大家可能第一时间想到的是他们的手机很厉害。其实啊,除了手机,苹果的配件也是一流的,种类齐全
2024-11-23 22:36:00
荣耀300 Pro开启预订 三大唯美配色享24期免息
【CNMO科技消息】在11月21日荣耀300开启预订之后,22日,荣耀300Pro也开启了100元订金预订活动。预订页面显示
2024-11-23 22:36:00
REDMI K80系列狂暴引擎4.0有点东西 是不是太酷辣
【CNMO科技消息】REDMIK80系列发布会定档11月27日晚,近日官方也开启了预热。尤其是辣椒酱的邀请函更是直接火出了圈
2024-11-23 22:36:00
小米14T Pro月底登陆日本市场 K70U小改版
智能手机、智能手表、智能手环、真无线蓝牙耳机、扫地机器人、空气净化器、充电宝等等。11月22日,小米日本官方宣布,10月发布的小米14TPro已经正式确定上市时间
2024-11-23 22:37:00
最轻薄iPhone来了:仅6毫米厚,国人又要疯抢?
初代iPhone发布时,苹果彻底改变了手机行业,成为设计标杆。乔布斯每年更新iPhone,带来诸多创新。但库克接手后,iPhone渐显平淡
2024-11-23 22:37:00
iPhone17新机:史上最轻薄的苹果手机来了
聊聊即将登场的iPhone17新机,特别是那款备受瞩目的iPhone17Air。你们知道吗?在iPhone16系列发布前
2024-11-23 22:38:00
999元!华为发布动态血压手表,居家监测便捷实惠
华为新款血压手表发布在即最新消息,华为出了一款新手表,能监测动态血压,11月26号就要发布了,现在已经开始接受预订了。现在大家量血压通常都是用腕式或臂式的血压计
2024-11-23 22:38:00
华为Mate 70外观引争议,网友直呼设计奇特!
万众期待的华为Mate70系列终于发布了,但大家的反应却褒贬不一。有些博主直言不讳地说:“华为Mate70这外观真是绝了
2024-11-23 22:38:00
红米K80Pro独立!冲击高端,小米15还有戏吗?
红米K80Pro:全方位升级挑战高端市场大家好,今天咱们来聊聊红米K80系列,尤其是红米K80Pro。这次真的是全方位升级
2024-11-23 22:38:00
顶级一体式陶瓷+全面屏鼻祖,小米Mix4数百元成主力机首选!
陶瓷之美这台手机的外观质感我非常满意!用过多款顶级旗舰,但这台手机的感觉完全不同,精致得像艺术品。它采用一体式陶瓷机身和真全面屏设计
2024-11-23 22:38:00
华为Mate X6明日开启!样机已到门店,线上线下同步
数码博主爆料:华为MateX6折叠屏手机定于2024年11月20日开启预订!据多位信源透露,包括大名鼎鼎的博主“看山的叔叔”和权威的IT资讯平台IT之家都确认了这个消息
2024-11-23 22:38:00
iQOO Neo 10系列配置大揭秘:性能与续航双提升
近日,vivo的高管贾净东在微博上透露了关于iQOONeo10系列新机的诸多细节,让人不禁对这款新机充满期待。作为测评人士
2024-11-23 22:39:00
iPhone17新机,厚度仅6毫米,价格或创新高
超轻薄新机来袭!第一款iPhone新机厚度仅6毫米,价格或创新高今天有个大新闻要告诉大家!据说明年苹果将会发布四款全新的iPhone手机
2024-11-23 22:39:00