• 我的订阅
  • 头条热搜
李彦宏发布文心大模型4.0工具版,推理成本降到1%
...练效率提升到了原来的5.1倍,周均训练有效率达到98.8%,推理性能提升了105倍,推理的成本降到了原来的1%。“也就是说,客户原来一天调用1万次,同样成本之下,现在一天可以调用100万次。”此外,李彦宏在演讲中分享了百度...……更多
研究人员给了人工智能一个“内心独白”,结果大大提高了其性能
...工智能系统,让它在说话前先思考。内心独白提高了常识推理能力,并使其数学成绩翻了一番。一项新的研究表明,给人工智能系统一个“内心独白”会大大提高它们的推理能力。这种方法训练的人工智能系统,会在对提示做出...……更多
PC正在经历AI时代 下一代Windows 12将是AI PC的完美载体
...态下也能使用;第三,降低大模型使用成本,在本地免费推理为主,云端公共推理为辅的情况下,一次购买AI PC即可享受全生命周期的本地免费推理服务;第四,提供可信、安全的个人数据和隐私保障,包括个性化本地知识库、...……更多
...能计算等;在AI服务器领域,联想从训练到训推一体再到推理的AI全场景都有完善的AI服务器产品矩阵。在设备之上,联想研发了在构筑智算中心时的关键模块——异构智算平台。同时,联想与国内外领先的AI算力生态企业广泛合...……更多
剧本推理游戏需要几个人才能玩
一般来说,剧本推理游戏最少是需要4个人才能玩的,但是如果要想有更好的体验感,最好还是要有5~8个人一起玩比较好,一般用时2~3个小时。知识讲解什么是剧本推理游戏?所谓的剧本推理游戏也称呼为“谋杀之谜”游戏,是...……更多
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
...在MMLU(多任务语言理解)、Knowledge(知识)、Reasoning(推理)、Comprehension(理解)等关键指标上均超越了Meta Llama 2的13B模型。这一个故事,在2024年2月1日的发布会上,也被AI模型层公司面壁智能的CEO李大海不断提起。对标Mistral..……更多
算子开发到推理加速,一位00后开发者的“升级打怪”之旅
...框架降低了大模型训练的门槛,目前正在做大模型分布式推理加速,希望可以帮助其他开发者在生产环境中高效部署在线推理服务。在昇腾AI的生态里,像郑辉这样为大模型浪潮默默贡献自己力量的开发者不胜枚举。他们还不是...……更多
...今年正式投产。据了解,新的芯片将被应用于数据中心的推理任务,与英伟达等供应商的GPU一起协同工作。Meta发言人之前表示:我们相信,我们自主开发的加速器将与市面上的GPU相得益彰,为Meta的任务提供最佳的性能与效率平...……更多
阿里云佘俊泉:创新涌现,边缘云场景的探索与机遇|GDCC智算
...成本优化,后者则注重实时互动体验。此外,虽然边缘AI推理当前的规模不大,但随着AIGC以及LLM技术全面应用到千行百业,边缘云在这个方向上有巨大潜力,在未来5-10年内将产生更多创新业务场景。针对上述场景化需求,阿里...……更多
AI算力大战开启:英特尔AI芯片性能超越H100,谷歌云推出最强ARM芯片|钛媒体AGI
...中,相比于英伟达H100 GPU,Gaudi3 AI芯片的模型训练速度、推理速度分别提升40%和50%,平均性能提高 50%,能效平均提高40%,而成本仅为H100的一小部分。英特尔预计,Gaudi 3将于2024年第二季度起出货,戴尔、惠普、联想、超微电脑等...……更多
AI PC YES!AMD举办AI PC创新峰会
...的架构产品去解决AI的不同需求,包括面向通用处理和AI推理的Zen架构CPU;面向HPC、AI训练和密集推理的CDNA架构GPU;面向游戏和基于AI的内容开发的RDNA架构GPU;以及面向低功耗和一直在线的AI推理的XDNA架构,即NPU。 最先的锐龙804...……更多
掰开安卓手机 满屏都是三个字:大模型
...的内存单元,是大模型进手机面临的第二道难关:大模型推理需要大量计算资源做支撑,与此同时,内存大小决定了数据处理速度的上限以及推理的稳定性。另外,在手机上跑大模型,也给电池带来了更大的压力。因此芯片能耗...……更多
商汤升级“日日新5.0”大模型,对标GPT-4Turbo
...用混合专家架构,超10TB tokens训练,覆盖大量合成数据,推理时上下文窗口达200K左右。云、端、边全栈大模型产品矩阵中,用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求。“日日新5.0”和GPT-4...……更多
中国银河证券:Sora将推动推理端算力占比将大幅提升
...。目前OpenAI已加入算力芯片军备竞赛中,根据OpenAI论文,推理阶段算力需求是模型参数数量与训练数据集规模乘积的2倍,Sora将推动推理端算力占比将大幅提升。此外,通信端等配套实施需要全方位升级,网络上行下载速度需大...……更多
清华大学获芯片领域重要突破!
...可为百亿像素大场景光速智能分析、百亿参数大模型训练推理、毫瓦级低功耗自主智能无人系统提供算力支撑。文中图片均由受访者提供 ……更多
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
...能效果——记忆能力提升3倍、速度提升7倍的同时,实现推理吞吐量的5倍提升。 至于为何另辟蹊径,寻求非Transformer的大模型路径,岩芯数智CEO刘凡平指出,以大规模著称的Transformer,在实际应用中的高算力和高成本,让不少中...……更多
...阶段:训练和日常使用,后者用信息技术语言来说就是“推理”。萨莎·卢乔尼说道:“推理可能比训练带来的影响更大。一次使用可能并不需要很多计算,但时常更新就不一样了,例如人们熟知的谷歌翻译每天要更新数十亿次...……更多
当AI大模型卷向服务机器人,会有哪些新故事?|硬氪分析
...莫拉维克悖论提出,和传统假设不同,计算机要实现例如推理等人类所具备的高阶智慧、仅需少量的计算能力,而若要直觉、感知等能力,却需要巨大的运算能力。 简单来说,电脑可以在和人类围棋对弈中轻松取胜,但如果让...……更多
百川智能发布baichuan3稳定语言模型
...处理和代码生成领域的强大实力。不仅如此,其在对逻辑推理能力及专业性要求极高的MCMLE、MedExam、CMExam等权威医疗评测上的中文效果同样超过了GPT-4,是中文医疗任务表现最佳的大模型。Baichuan3还突破“迭代式强化学习”技术...……更多
黄仁勋对话Transformer七子:我们被困在原始模型里,还需要更强大的新架构
...其不断交互才能变得聪明,待在实验室里并不会造福世界推理是下一个重要的进步节点,能提升数据训练效率,产生更有价值的结果对话实录部分要点整理Transformer因何横空出世?Illia Polosukhin:如果要做出能真正读取搜索结果的...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
...业基准测试中达到了 SOTA,并提供了新的功能,如改进的推理能力。最强开源 LLM 来了Meta 官方博客写道,“得益于预训练和后训练的改进,我们的预训练和指令微调模型是目前 8B 和 70B 参数尺度下最好的模型。”他们表示,后期...……更多
对话云天励飞董事长陈宁:2030年人类将实现AGI,推理芯片将是蓝海市场|钛媒体AGI
...拥有一个AI Agent。“如果说2024年是大模型落地应用之年,推理就会越来越重要。此前在训练芯片市场上,英伟达一骑绝尘,占有绝对的市场占有率,那么今天,推理芯片市场没有垄断性的巨头。这不仅是万亿级、万亿颗芯片的蓝...……更多
IDC王吉平:AI PC产业生态具备以人为本、终端主导和AI原生三大特点
...下也能使用;第三,更低的大模型使用成本,以本地免费推理为主、以云端公共推理为辅,一次性购买AI PC即可享受全生命周期的本地免费推理服务;第四,可信、安全的个人数据和隐私保障,个性化本地知识库、隐私数据的本...……更多
让AI无处不在 高通全面开启终端侧生成式AI大门
...效提升了40%。Hexagon NPU集成了硬件加速单元、微型区块推理单元、性能加强的张量/标量/矢量单元,同时所有单元共享2倍带宽的大容量共享内存。 这意味着用户在搭载第三代骁龙8的设备上可以按照自己的需要自由生成类似于...……更多
对话王田苗:万亿市场之下,大模型 + 机器人还有四大问题未解决
...务设定多个小模型,并提供不同的参数训练,端到端减少推理成本。另外,将专用小 GPU 芯片置入到机器人中,也可提高任务实时性,目前特斯拉已在自动驾驶中尝试了这种做法。硬氪:今年有哪些细分场景的模型值得关注?王...……更多
ChatGPT 日耗电超 50 万度,卡死AI发展的竟然是能源?
...策都关注 AI 训练(training)阶段,但多项研究表明 AI 在推理(inference)过程中,也即人们使用 AI 输出结果的过程能耗更高。此外,不同 AI 模型处理不同类型的推理任务,能耗的差异也很大。例如 1000 次请求计算,图片分类任务...……更多
...下一代HBM4内存。在AI算力芯片部分,庆桂显称客户对于AI推理芯片Mach-1的兴趣正在增长,并有部分客户表达了将Mach系列芯片应用于超1000B参数大模型推理的期望,因此三星电子将加速下代Mach-2芯片的开发。Mach-1芯片是一种高能效...……更多
OpenAI造芯计划曝光!拟自研AI芯片 英伟达强敌来了
...势后,算力焦虑笼罩在各大AI厂商头上。无论是模型训练推理,还是API调用都需要算力作为支撑,有多少卡也成为衡量AI厂商实力如何的硬指标之一。而眼下的GPU市场,英伟达一家独大,市场份额超80%。与此同时,GPU不仅紧俏还...……更多
...工智能在工厂生产的应用,大致分为三个阶段:一是边缘推理阶段,二是边缘训练阶段,三是自主化人工智能工厂。目前人工智能在智能制造应用中,尚属于边缘推理阶段。张宇介绍,为实现不同的碎片化AI应用,英特尔通过Open...……更多
英特尔推最新AI处理器,挑战英伟达:训练主导地位不会持久
...要依赖CUDA,接下来的重点在于模型能否顺利运作,所以推理(inference)、即部署AI模型的过程将是市场的重点发展方向,而Gaudi 3正是英特尔用来打入AI推理市场的产品。当日,英特尔股价在发布会后一度涨超5.6%,全日收于45.18美...……更多
更多关于科技的资讯:
酷冷至尊推出M.2 SSD散热器Kaze:双均热板超薄设计
快科技10月13日消息,酷冷至尊(CoolerMaster)震撼发布全新M.2 SSD散热器——“Kaze”,专为追求极致被动散热效能的用户量身打造
2024-10-13 18:45:00
Intel Xe3第三代显卡开始行动!酷睿Ultra 300首发
很多人怀疑Intel Xe显卡还做不做,是不是会放弃,但至少到第三代是不会丢掉的,相关的部署工作已经悄然展开了。Intel日前发布的代号Lunar Lake的酷睿Ultra 20
2024-10-13 19:45:00
撒哈拉沙漠暴雨引发洪水 当地人:已有三五十年未见
快科技10月13日消息,据媒体报道,撒哈拉沙漠的部分区域遭遇了一场数十年难遇的降雨盛况,降雨量之大实属罕见,以至于在某些地段
2024-10-13 20:15:00
史上第一款!华擎Z890太极OCF主板默认支持DDR5 10GHz+
快科技10月13日消息,Intel Arrow Lake酷睿200S系列将内存频率支持从DDR5-4800提高到DDR5-6400
2024-10-13 20:45:00
“公交医生”自制防冻液加注器
每到秋季,公交行业就开始进入冬运准备“模式”,给公交车加注防冻液是其中必不可少的一项工作。以往,驾驶员或维修工用瓶子一点点往水箱里加
2024-10-13 20:59:00
“老人味”可能是大病前兆!这4种气味 一定小心
生活中,我们走进中老年人的房间或靠近中老年人交谈时,有时可能闻到一股奇怪的味道。蜡烛、乳酪、旧书、油……人们对这种特殊体味的描述多种多样
2024-10-13 21:15:00
东台农商银行举办员工业务技能比赛
江南时报讯 为进一步激发员工学习业务、钻研技能的热情,持之以恒提升金融服务效能和规范化服务水平,近日,东台农商银行举办了2024年员工业务技能比赛决赛
2024-10-13 21:20:00
决战四季度 夺取全年胜丨让传统制造更“聪明” 浙江加速推进工业企业数字化改造
中国蓝新闻 作为制造业和数字经济大省,今年以来浙江设定“年底前实现规上工业企业数字化改造全覆盖”的目标,通过企业数字化转型
2024-10-13 22:33:00
钱江观潮丨追梦人
中国蓝新闻 地面,领航者二号从容行走,举重若轻;天空,朱雀三号吟啸腾飞,剑指苍穹。新质生产力奔涌的背后,一群“追梦人”在浙江大地上奋力奔跑
2024-10-13 22:33:00
首次“筷子”夹大火箭!SpaceX星舰一级回收成功:全程完美
北京时间10月13日20点25分,SpaceX星舰在美国得州的星港发射场点火成功。这是星舰的第五次试飞,超级重型一级助推器B12回收成功
2024-10-13 22:45:00
美国男子沉溺“人造羊”:非法克隆巨型羊 有特殊目的
因为对羊做了“不可思议”的事,美国蒙大拿州男子前段时间被抓判刑。如果仅仅是从科学角度来看待这个案件,那么律师将男子的所有努力
2024-10-13 22:45:00
本田passport现身rebellerally越野拉力赛
10月12日消息,汽车媒体carscoops今天(10月12日)发布博文,报道称2026款本田Passport现身RebelleRally女子越野拉力赛
2024-10-13 19:58:00
小鹏P7+电驱细节图首次公开!最大能力放开达270kw
快科技10月13日消息,小鹏汽车动态体验产品总监近日公开了小鹏P7+的电驱爆炸图,并透露了一些关键信息。他指出,在工信部公告的两款车型(180kw
2024-10-13 16:45:00
为电动汽车增添乐趣!本田有望推出电车专用模拟变速箱
快科技10月13日消息,据媒体报道,本田正在研发一项新技术,旨在为电动车带来类似手动挡的驾驶体验。该公司的工程师透露,本田正在开发一款模拟手动变速装置
2024-10-13 16:45:00