• 我的订阅
  • 头条热搜
清华大学金融科技研究院副院长魏晨阳:大模型以超级助理的形式,会给千行百业带来降本增效的巨大机遇
...持续专注在零到一的创新点,通过并购及时实现退出,把注意力放在下一个创新上。活跃稳定的并购机制,对形成和保持纯粹聚焦的创新氛围,十分重要。 ……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
...《Attention as an RNN》的论文。正如论文名字所示,他们将注意力机制重新诠释为一种 RNN,引入了一种基于并行前缀扫描(prefix scan)算法的新的注意力公式,该公式能够高效地计算注意力的多对多(many-to-many)RNN 输出。基于新公...……更多
一文读懂安检机器的工作原理
...后X射线的出射强度,x为X射线在物体中行进的距离,μ为线性衰减系数,上式表明X射线穿透物质时呈现指数衰减。如何通过这个原理窥探我们的行李箱呢?X射线强度衰减可以用来成像。X射线穿过被检测的行李箱时强度发生衰减...……更多
广东汕头90后,1年造出200亿独角兽
...,广告已经被互联网验证过了,它的确定性更高,但人的注意力和时间有限,这种商业模式的机会可能也没有那么大。所以,月之暗面未来的重点将是要找一个scalable(可扩展)的增长方式。或许企业的前进路径定制的很清晰,...……更多
PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
...Llama3-8B中,占端到端延迟80%的两个主要操作是矩阵乘法和注意力内核,而且它们依旧由CUDA内核操作。为了进一步提升性能,我们开始手写Triton内核来替换上述两个操作。手写Triton内核矩阵乘法对于线性层中的矩阵乘法,编写一...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
... 3D convolution)为主要模型组件,移除了自编码器中常用的注意力模块,使得模型具备不同分辨率迁移使用的能力。同时,在时间维度上因果卷积的形式也使得模型具备视频编解码具备从前向后的序列独立性,便于通过微调的方式...……更多
华为、阿里接连下场“具身智能”,决战时刻何时到来?清华AIR周谷越:三到五年
...能找到新大陆不好说,但现在都上路了。”不管是华为、阿里巴巴、腾讯这样的科技巨头,还是初创公司,周谷越认为谁都有机会先实现机器人的“GPT时刻”。他判断,“三到五年后会迎来‘具身智能’的决战时刻。现在大家都...……更多
无问芯穹夏立雪:破解算力焦虑,我做了大模型算力领域的“淘宝”丨36氪专访
...团队。在团队方面,「无问芯穹」创始人兼CEO夏立雪曾任阿里云用户增长产品技术负责人,曾经负责过阿里云大语言模型的压缩加速、生成式AI模型芯片的等战略项目;无问芯穹CEO夏立雪联合创始人兼CTO颜深根曾是商汤科技数据...……更多
算法之「恶」:如何挣脱推荐系统的「囚禁」?
...奥卡姆剃刀原理、CNN的局部性假设、RNN的时间依赖假设、注意力机制假设等等,通常这些是有利的,但是也会造成也会造成归纳偏差(Inductive Bias)。模型输出结果给到用户的过程中,推荐结果常见的偏差有:热门偏差(Popularity...……更多
月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake
...广,月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等共同发布开源项目 Mooncake,共建以 KVCache 为中心的大模型推理架构。11 月 28 日,Mooncake 技术框架已开源上线,IT之家附地址如下...……更多
1-bit大模型还能再突破!新一代BitNet架构启用4位激活值
...略,来减轻异常通道引入的量化误差。简单来说就是,对注意力层和FFN层的输入采用4位量化,同时用8位整数稀疏化中间状态。大量实验表明,BitNet a4.8在相同的训练成本下,实现了与前代BitNet b1.58相当的性能,同时因为可以吃...……更多
斯坦福AI团队抄袭国产大模型?连识别“清华简”都抄了!清华系团队发文回应
...这些嵌入通过投影块与文本标记对齐,投影块应用两个自注意力块将文本和视觉嵌入放在同一平面上。最后,投影块中的视觉标记就被添加到文本标记前面,并将联合表示传递给Llama 3。Llama3-V套壳实锤,或损害开源社区健康发展...……更多
...、目的明确。专注意味着我们不会被无关紧要的事情分散注意力,在决定什么是重要的或不重要的事情时保持聚焦,在面临艰难选择时不会情绪化。目的明确意味着我们在作出决策时,都必须有充分坚实的理由。例如,阿里云转...……更多
阿里云AI基础设施获2024世界互联网大会领先科技奖
11月19日,2024年世界互联网大会领先科技奖在乌镇揭晓,阿里云面向AI的云计算基础设施荣获该奖,成为世界互联网大会史上首个以AI基础设施整体获奖的科技成果。面向AI时代,阿里云全面重构了一个从底层硬件到计算、存储、...……更多
清华大学教授李宗鹏:AI将成为未来股民炒股的辅助性工具
...了。我看到了一个方法是它还赚了钱。比如说,你关心的阿里股票,那阿里的股票和最大类的内容是有关系的,比如它的历史业绩、历史股价,它网上新闻的评价和它整个行业的一些情况。将这些内容找到,然后让大模型顺便写...……更多
HuggingFace工程师亲授:如何在Transformer中实现最好的位置编码
...篇文章前,你需要掌握一些基本的线性代数、三角学和自注意力的知识。问题陈述与所有问题一样,最好首先了解我们想要实现的目标。Transformer 中的自注意力机制用于理解序列中 token 之间的关系。自注意力是一种集合运算,...……更多
AI翻译界杀手诞生!阿里国际翻译大模型吊打谷歌和GPT-4
...而且显瘦。它很适合我的风格,穿上它我一定会吸引很多注意力翻译2号则更加拉跨,内容和语法完全不对。「绿就是白」,「时尚但不时尚」,充满了矛盾的哲学……内容大意:绿色是白色哦!真的非常仙的裙子,时尚但不时...……更多
新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE
...中,作者探索了不同的门控函数。首先使用的是最流行的线性投影门控函数,它通过一个线性层来生成专家子集的分配结果。此外,作者提出了一种新的门控机制,利用从预训练模型的 token 表示中得出的聚类中心来指导专家分...……更多
蔡崇信最新对话拆解:谈阿里AI路径、吴泳铭的管理、间接回应\\\
...今年4月接受挪威主权基金专访时深入反思以来,近日,阿里巴巴董事会主席蔡崇信再次对外系统地谈及阿里的现在、未来与战略重心,并分享了他对AI的最新见解。在与美国投行摩根大通大中华区投资银行业务副主席Kam Shing Kwang...……更多
发布法律垂直大模型,清华系AI公司「幂律智能」获蓝驰领投8000万元融资
...等产品和服务。幂律智能CEO涂存超幂律智能创始团队来自清华。公司CEO涂存超就读于清华大学计算机系本科,为2013级博士,在人工智能、自然语言处理领域国际顶级会议和期刊发表论文十余篇,获得清华大学优秀博士毕业生;...……更多
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
...、更加节能的新能源汽车。它去除了Transformer中高成本的注意力机制,代之以计算量更小、难度更低的线性计算,大大提高了建模效率和训练速度,效率翻倍的同时实现了成本的骤降。“两个方面看,一方面缩短客户的沟通时间...……更多
工业软件之芯!阿里达摩院自研敏迭求解器斩获权威赛事冠军
快科技1月9日消息,今日,阿里巴巴达摩院宣布,在工业和信息化部产业发展促进中心等单位主办的第二届能源电子产业创新大赛上,达摩院自主研发的“敏迭”求解器斩获国产求解器技术专题赛冠军,成功卫冕。此次,敏迭延...……更多
官宣!阿里全球数学竞赛明日决赛:“天才中专少女”姜萍参赛
快科技6月21日消息,从阿里达摩院DAMO官方公众号获悉,2024年阿里巴巴全球数学竞赛决赛将于6月22日举行。按照此前公布的决赛入围名单,“天才中专少女”姜萍将参加决赛。据了解,决赛形式为线上个人闭卷赛。决赛分为五个...……更多
阿里云安全大模型投入使用,引领云上安全运营新体验
2023年云栖大会,阿里云安全正式宣布基于通义千问大模型训练的安全大模型投入使用。首期开放的功能包括为用户提供定制化的安全告警解读、事件调查及处置建议服务,覆盖全网超过99%的告警事件类型。即日起,用户可在阿...……更多
清华光学AI登Nature!物理神经网络,反向传播不需要了
用光训练神经网络,清华成果最新登上了Nature!无法应用反向传播算法怎么办?他们提出了一种全前向模式(Fully Forward Mode,FFM)的训练方法,在物理光学系统中直接执行训练过程,克服了传统基于数字计算机模拟的限制。简...……更多
史上首个实时AI视频生成技术:DiT通用,速度提升10.6倍
...该技术名为 Pyramid Attention Broadcast (PAB)。通过减少冗余注意力计算,PAB 实现了高达 21.6 FPS 的帧率和 10.6 倍的加速,同时不会牺牲包括 Open-Sora、Open-Sora-Plan 和 Latte 在内的流行基于 DiT 的视频生成模型……更多
阿里发布《“AI+”职业趋势报告》 详解中国职场人如何用AI
“五一”劳动节前夕,阿里巴巴发布《“AI+”职业趋势报告》,介绍我国各行各业正在如何用AI(人工智能)。《报告》指出,AI会编程、能设计、懂养猪,进入各行各业后,已经显示出巨大价值。“人人都有一个AI助理”的时...……更多
报告:女性群体以其特有方式推动乡村振兴和县域发展
...和乡村振兴的重要力量。清华大学社科学院通过实地调研阿里巴巴乡村特派员常驻县域,于3月28日发布研究报告《“她”力量如何推动乡村振兴?——以女性比较优势为基础的乡村振兴模式和路径》(下称“报告”)。报告显示...……更多
3秒让AI生成风险减少30%!复旦新研究拿下扩散模型概念移除新SOTA
...型编辑和嵌入推导。首先,RECE以解析解的形式,在交叉注意力层中将风险概念映射到无害概念。然后,RECE以解析解的形式推导出风险概念的新嵌入表示并用于下一轮的模型编辑。RECE还包括了一个简洁有效的正则项,可以证明其...……更多
无需训练即可大幅提升SAM 2!SAM2Long来了,港中文 上海AI Lab出品
...质量的帧,SAM2Long 通过以下几个步骤来调整每个内存帧在注意力计算中的权重。首先,定义一组线性分布的标准权重,用于对内存中的帧进行加权。这些权重在一个预定义的范围 [w_low, w_high] 之间线性分布,较高的权重将分配给...……更多
更多关于财经的资讯:
富蕴蒙库铁矿有限责任公司入选自治区首批先进级智能工厂名单
1月9日,记者从阿勒泰地区工业和信息化局获悉,富蕴蒙库铁矿有限责任公司(以下简称:蒙库公司)入选自治区首批先进级智能工厂(2024年度)名单
2025-01-11 20:22:00
储能迎来“集装箱时刻”:海辰储能首发储能“标准化”新解法,用Pack撬动未来
1954年,美国一艘名为勇士号的货船搭载了5000吨的货物从布鲁克林驶向德国的不来梅港。这批货物多达194582种,形状
2025-01-11 21:36:00
中西部&全国建材成交价格周/月汇总表(12.10-1.3-1.10)
/阅读下一篇/返回网易首页下载网易新闻客户端
2025-01-11 20:24:00
冷空气吹来“暖消费”,酸汤牛肉外卖点单量增长近三成
日前,记者从美团外卖获悉,随着冬季的到来气温的下降,“暖经济”开始升温。美团外卖数据显示,入冬以来,贵州的酸汤牛肉、烤鱼
2025-01-11 20:00:00
航天科技集团领导班子调整
中国航天科技集团有限公司(以下简称“航天科技集团”)官网近日更新显示,该集团领导班子成员“进二退一”,庞锦已任集团董事
2025-01-11 19:47:00
中新经纬1月11日电 (魏薇)“我们对中国的股票保持比较积极的态度,因为我们已经看到中国企业盈利有着不错的增长。”11日
2025-01-11 19:49:00
耒阳仁义:31家面条工厂,成就乡镇名片!
谈及仁义镇,就不得不谈“仁义手工面”。千百年来,当地老百姓沿袭着手工制作面的技术和传统,几乎家家户户都制作手工面。尤其近年来
2025-01-11 20:23:00
北方华创:鉴于原审计机构天职国际会计师事务所2024年8月被证监会暂停从事证券服务业务6个月
证券之星消息,北方华创(002371)01月11日在投资者关系平台上答复投资者关心的问题。投资者:请问公司 2024 年更换会计事务所的主要原因是什么
2025-01-11 20:26:00
温州这家国企,准备上市!
来源:诚达公司、集团办公室、温州交发集团版权归原作者所有,如有侵权请及时联系为进一步推进诚达股份IPO上市工作,1月10日
2025-01-11 19:48:00
南山控股董事长杨国林、副董事长王世云及总经理舒谦同时辞职,均因工作变动原因
乐居财经 刘治颖 1月10日,南山控股(SZ002314)公告,公司董事会近日收到公司董事长杨国林、副董事长王世云、总经理舒谦递交的书面辞职报告
2025-01-11 20:24:00
从“没想到”“新变化”“强底气”看中国外贸韧性与活力
央视网消息:2025年,是“十四五”规划的收官之年。新年伊始,国家一系列稳增长政策加速落地,我国外贸领域发展预期如何?梁明
2025-01-11 20:25:00
开启最后的谈判!ICS联合47国推出航运碳税新提案
编者注:谈判桌上硝烟从来都是无形且浓烈,最后一轮的谈判将暴露在航运业有史以来最大的聚光灯下。一方面,十万船舶组成的全球航运业脱碳之路能否走下去
2025-01-11 20:25:00
聊城市政府报告解读① 加速构建具有聊城特色的现代化产业体系
1月1日,新年第一天,大众日报重点版位刊发《聊城:小轴承装上“最强大脑”》,作为16市高质量发展亮点系列——“干字当头 勇挑大梁”专栏开篇之作
2025-01-11 20:26:00
投资者诉前“私募一哥”徐翔、文峰股份前董事长徐长江等操纵证券市场纠纷一案,二审胜诉了。中国基金报记者从该案原告之一代理律师上海久诚律师事务所许峰律师处获悉
2025-01-11 19:52:00
米莱一小步,中国牛肉一大步,价格降低,谁在欢喜谁在忧?
价格降至5年来新低,一斤出口价只要14块,中国人的牛肉自由要来了吗?从今年6月开始,你发现了吗,商场里的牛肉自助火锅多了起来
2025-01-11 20:23:00