• 我的订阅
  • 头条热搜
AMD跑大模型终于Yes!MI300X对比NVIDIA H100/200毫不逊色
...根据The Information发布的评测报告,AMD的Instinct MI300X GPU在AI推理基准测试中的表现与NVIDIA的H100 GPU相当,显示出AMD在高性能AI计算领域的进步。这份评测报告由MLCommons提供数据,在测试中,AMD的MI300X GPU以及NVIDI……更多
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
...行业基准测试上展现了最先进的性能,提供了包括改进的推理能力在内的新功能,是目前市场上最好的开源大模型。在架构层面,Llama3选择了标准的仅解码(decoder-only)式Transformer架构,采用包含128K token词汇表的分词器。Llama 3...……更多
豆包大模型公布价格清单 支持国内最高并发标准
...示豆包通用模型不同版本、不同规格的价格信息。在模型推理定价大幅低于行业价格的基础上,豆包通用模型的 TPM(每分钟Tokens)、RPM(每分钟请求数)均达到国内最高标准。以豆包主力模型 pro-32k 为例,价格比行业低99%,TPM...……更多
苹果发布 OpenELM,基于开源训练和推理框架的高效语言模型
...,苹果在 Hugging Face 平台上发布了一个“具有开源训练和推理框架的高效语言模型”,名为 OpenELM。当然,这是一项开源语言模型,其源码及预训练的模型权重和训练配方可在苹果 Github 库中获取。IT之家将官方简介翻译如下:参...……更多
阿里云百炼上线Qwen2.5-Turbo模型,可支持100万超长上下文
... Qwen2.5-Turbo在长文本、短文本任务评测集上均表现优秀在推理速度方面,通义千问团队利用稀疏注意力机制将注意力部分的计算量压缩了约12.5倍,将处理1M tokens上下文时的首字返回时间从4.9分钟降低到68秒,实现了4.3倍的速度提...……更多
CITE2024,昇腾硬核实力打造极致体验,宝德斩获创新大奖
...易管理等优点,广泛适用于深度学习的模型开发、训练和推理一体化等多种AI应用场景。此次会议,它凭借强大的计算处理能力和市场应用方面的优势,荣获“第十二届中国电子信息博览会创新奖。” 宝德自强®训推一体算力平...……更多
神州鲲泰携智算系列产品亮相2024华为北京政企合作伙伴大会
... 除此之外,本次参展的产品还包括神州鲲泰KunTaiA722智算推理服务器,该产品以鲲鹏+昇腾主板为核心,围绕数据资源、运算能力、核心算法三个维度提供强大的计算能力。凭借强大的智能算力加持,神州鲲泰KunTaiA722智算推理服...……更多
...群建设进度,着重满足快速增长的大模型训练算力需求和推理算力需求。市经信局相关负责人介绍,智算资源供给将实现集群化,改变智算建设“小、散”局面,集中建设一批智算单一大集群。到2025年,本市智算供给规模达到45...……更多
快速准确定位识别生物大分子 中国团队基于人工智能研究提出新方法
...件,以辅助用户完成图像预处理、颗粒标注、模型训练与推理等操作。使用DeepETPicker从冷冻电子断层扫描图像中挑选颗粒的整体工作流程包括训练数据阶段和模型推理阶段。在训练数据阶段,研究团队优选了弱标签来代替真实掩...……更多
RTX 40系GPU AI性能首测
...RTX40系列多款型号的显卡、笔记本电脑GPU在StableDiffusion的推理性能表现,其中在ULBenchmarkSD1.5TRTvs.OpenVINO的对比测试中RTX4090笔记本电脑GPU相对于Arc核显有超过27倍的性能提升。使用吐司基准测试完整LoRA模型在StableDif……更多
...算效率和算力开销两大问题成为新的行业焦点。对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决...……更多
...的32项学术基准中,从自然图像、音频和视频理解到数学推理,“双子座”Ultra的性能有30项超过了当前先进水平。谷歌公司称,在图像识别领域的测试结果显示,“双子座”Ultra性能优于迄今最先进的人工智能模型,具有天然多...……更多
三个大模型组队挑战o1,实测360多模型协作干掉提示词工程
...横空出世,开启了大模型演化的新范式——Inference law(推理定律)。正如英伟达AI科学家Jim Fan所说,o1的出现标志着大模型研发者开始把集中在训练阶段的投入,开始转移到了推理过程。Jim还引用了机器学习先驱Rich Sutton的经典...……更多
amd推出10亿参数语言模型系列amdolmo
...ens进行预训练,让模型在处理自然语言任务时具有强大的推理能力。IT之家援引新闻稿,OLMo模型采用解码器(decoder-only)架构,并通过下一个标记预测(next-tokenprediction)进行训练,这种架构在生成文本和理解上下文方面表现出...……更多
谷歌员工曝AI改进速度放缓,Gemini已成立新团队解决问题
...的规模提供AI服务很重要”。 在OpenAI,研究人员发明了推理模型等新技术,以弥补在模型训练阶段,使用传统scaling law技术导致的性能提升放缓问题。谷歌似乎也在效仿。最近几周,DeepMind在其Gemini部门内组建了一个团队,该团...……更多
对话王田苗:万亿市场之下,大模型 + 机器人还有四大问题未解决
...务设定多个小模型,并提供不同的参数训练,端到端减少推理成本。另外,将专用小 GPU 芯片置入到机器人中,也可提高任务实时性,目前特斯拉已在自动驾驶中尝试了这种做法。硬氪:今年有哪些细分场景的模型值得关注?王...……更多
火山引擎丢出视频大模型「王炸」,云厂商从「价格战」回归「卷性能」
...始人闫俊杰向极客公园表示,从技术发展的角度看,模型推理成本 10 倍、百倍的降低是必然,只是时间问题,难的是通用模型的性能提升。在看到从 ChatGPT 到 GPT-4,性能出现了大幅提升时,大模型领域也沿着 OpenAI 在模型预训练...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...精度,还显著降低了计算负担,完美解决了时序大模型在推理阶段的计算瓶颈。2. 灵活的预测范围:Time-MoE支持任意长度的输入和输出范围,能够处理从短期到长期的各种时序预测任务,实现了真正的全域时序预测。3. 全球最大...……更多
NeurIPS 2024|水印与高效推理如何两全其美?最新理论:这做不到
... sampling)结合,在为大语言模型加入水印的同时,提升其推理效率,降低推理成本,因此适合用于大规模生产环境。这项研究发表在了 Nature 杂志上,给出了两种具体的结合方法,分别在水印检测效果和生成速度上达到了现有最...……更多
戴尔科技:夯实AI时代“算力底座”,让每一分算力“物尽其用”
...供动力。这些AI大模型的创新性发展,无论是在训练还是推理阶段,都对算力提出了前所未有的需求。随着模型参数规模的显著增长,算力市场的供需关系面临日益严峻的挑战。特别是,训练和推理的算力需求正在以指数级的速...……更多
中国电信中部智算中心在中部地区属于最高等级
...足多场景算力需求。中部智算中心可提供千卡规模的训练推理能力,并支持主流框架及芯片,基于训练推理的混合调度能力,资源利用率可以提升20%。基于高性能的基础设施和一系列的优化技术,在千卡模型下并行计算效率可以...……更多
o1 基石论文火爆传阅:Ilya 仍是关键先生,核心项目清北校友闪光
...后的贡献者。Ilya 在 o1 的作用 OpenAI o1 主打进行通用复杂推理,在输出回答之前,会在产生一个很长的思维链,以此增强模型能力。而 Ilya 此前合著的这篇论文主要就是探讨了提高大语言模型多步推理能力的方法。他们主要比较...……更多
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
...能效果——记忆能力提升3倍、速度提升7倍的同时,实现推理吞吐量的5倍提升。 至于为何另辟蹊径,寻求非Transformer的大模型路径,岩芯数智CEO刘凡平指出,以大规模著称的Transformer,在实际应用中的高算力和高成本,让不少中...……更多
...AI)系统在编码、战略规划和机器人科学三个领域执行复杂推理任务。聊天生成预训练转换器(ChatGPT)和“克劳德3-奥普斯”(Claude 3 Opus)等大语言模型(LLM),根据人类输入“提示词”处理和生成文本。研究人员说,过去18个月,这些技...……更多
腾讯发布最大开源MoE模型,3890亿参数免费可商用
...含四个主要任务:信息抽取、信息定位、定性分析和数值推理。不同于现有的长文本基准测试,”企鹅卷轴”有以下几个优势:数据多样性:”企鹅卷轴”包含了各种真实场景下的长文本,如财务报告、法律文档、学术论文等,...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...来处理不断增长的上下文窗口。如果资源没有相应扩展,推理速度会变慢,最终无法处理超过某个固定长度的文本。为了解决这些难题,状态空间语言模型(SSLM)架构应运而生,该架构通过在处理单词时持续更新「状态」,已...……更多
让AI无处不在 高通全面开启终端侧生成式AI大门
...效提升了40%。Hexagon NPU集成了硬件加速单元、微型区块推理单元、性能加强的张量/标量/矢量单元,同时所有单元共享2倍带宽的大容量共享内存。 这意味着用户在搭载第三代骁龙8的设备上可以按照自己的需要自由生成类似于...……更多
谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100可跑
...等。对于第二代Gemma 2,谷歌表示相比于Gemma,性能更高、推理效率更高,单个NVIDIA H100或TPU主机上可跑。上下文长度方面,Gemma 2为8192 Tokens。性能方面,Gemma 2与Llama 3、Grok-1基准测试结果对比如下:Gemma 2 9B得分全面超越Ll……更多
Bengio团队提出多模态新基准,直指Claude 3.5和GPT-4o弱点
...型开发的关键指导之一便是如何让机器像人类一样思考和推理。诸如注意力机制和思维链(Chain-of-Thought)等技术正是由此产生的灵感。然而,可能很多人并没有意识到,很多对人类来说很简单的认知任务也往往伴随着非常复杂...……更多
高通发布海量新技术,加速终端侧ai生态建设
...超过75个AI模型,通过对这些模型进行优化,开发者运行AI推理的速度将提升高达4倍。优化后的模型占用的内存带宽和存储空间也将减少,从而为消费者提供更长的续航时间。此外,高通还展示了多个面向终端的大模型,如面向...……更多
更多关于科技的资讯:
厦门抢占具身智能产业新赛道
第十四届中国创新创业大赛——首届具身智能专业赛成果在厦发布。厦门网讯(文/厦门日报记者 吴晓菁 通讯员 高菲 康潇潇 图/厦门日报记者 卢剑豪)昨日的厦门国际会议中心酒店
2025-09-26 08:38:00
具身智能孵化加速器在厦正式揭牌第十四届中国创新创业大赛首届具身智能专业赛昨日发布成果东南网9月26日讯(海峡导报记者 黄奕琳)昨日
2025-09-26 10:17:00
全国26家实验室参与!由雷沃支持的这场“田间论剑”举行
日前,2025年农业机械检测实验室间比对活动在山东潍坊举行。该活动由中国农业机械化协会主办、农机鉴定检测分会承办、潍柴雷沃智慧农业协助开展
2025-09-26 07:05:00
人们依托脑力开展思维活动,而人工智能则依赖算力进行“思考”。“十四五”期间,中国在算力建设上的投入力度相当大,发展成效显著
2025-09-26 07:31:00
王灿:以笔为犁 深耕“城事”
王灿。 臧翔宇 摄□胡欣玥芮天舒祁绩外出采访结束后,王灿轻轻推开南京报业传媒集团融媒中心时政新闻部的门。工位上屏幕亮起
2025-09-26 07:41:00
560余家企业携4.8万余个岗位来东大揽才“AI+”岗位热度不减,实战经验是核心指标□南京日报/紫金山新闻记者何洁 实习生黄佳琪杨久久9月25日
2025-09-26 07:41:00
厦门网讯(厦门日报记者 沈彦彦 应洁)明日,厦门岛外首家永辉“胖东来模式”调改店将在杏林万科里正式开业。作为厦门第二家
2025-09-25 08:53:00
9月24日,“青春华章・向西而歌”网络大思政课活动上,西安交通大学微电子学院集成电路工程专业博士研究生魏上杰介绍,集成电路是“国之重器”的“心脏”
2025-09-25 09:44:00
杜建英一持股公司被吊销,名下关联60家企业其中8家已注销或吊销
企查查APP显示,近日,杜建英持股的杭州芸台文化创意有限公司被吊销,原因是公司成立后无正当理由超过6个月未开业,或者开业后自行停业连续6个月以上
2025-09-25 11:20:00
雷军“五十来岁正是闯的年纪”,出生于1969年,和余承东、陈明永同龄
9月25日,雷军发文:这5年,小米一路摸爬滚打、跌宕起伏,依然启动了造车、芯片和高端化……没什么好犹豫的,五十来岁,正是闯的年纪
2025-09-25 11:20:00
贵州国企“智”变攻坚推动数实融合
赤水河畔,国内首台高温复合型仿生压曲机稳定运转,物联网实时优化发酵参数……这场酿酒的“数字革命”,也是贵州习酒公司以全链数智革新推动产业跃迁的生动缩影
2025-09-25 11:57:00
近8成职场人每周都会用AI工具 “人机互信”仍在磨合期
在人工智能技术日臻成熟的2025年,AI已是深度融入职场生态的“数字同事”,在AI辅助下的2025年职场迎来了哪些变化
2025-09-25 13:30:00
9月23日下午,2025北京文化论坛“破界共生:科技激发文化原创力”平行论坛在京举办。本场论坛由中国文联、中国作协指导
2025-09-25 13:38:00
国庆前夕,房山区物美超市“胖改店”、居然之家房山店、瑞莱广场分别于9月26日、27日、28日开业,进一步丰富了房山区消费场景
2025-09-25 13:38:00
OPPO杭州研发总部项目易主,山子高科接手公司95%股权
企查查APP显示,近日,负责OPPO项目的杭州逗酷软件科技有限公司发生工商变更,新增山子高科旗下浙江山子超影科技有限公司为股东
2025-09-25 16:25:00