• 我的订阅
  • 头条热搜
对标o1,Kimi放出了最能打的国产模型
...历新一轮技术范式的变化,预训练 Scaling Law 放缓之后,推理时间计算成为了新的性能提升关键。两个月前,OpenAI o1 的诞生再次引领了大模型技术的突破。从后训练阶段入手,通过更多的强化学习、原生的思维链和更长的推理时...……更多
OpenAI发布最新技术研究,AI“黑盒”不再是难题!
...出了正确回答。大部分大模型都在给出答案的同时呈现了推理过程。智谱清言给出的推理过程显示,在比较13.11%和13.8%时,13.11%是更大的数值。这是因为当比较两个百分数时,我们首先比较整数部分,如果它们相同,则比较小数...……更多
英伟达没有慌,黄仁勋再谈DeepSeek:“推理”的计算需求可能增加上百万倍
...于DeepSeek、Grok、OpenAl等冲击,AI正在从感知和生成式AI向推理和逻辑推理领域发展。而推理AI又增加了一条扩展规律——增加训练的计算能力能让模型变得更智能,而增加深度思考的计算能力则能让答案更精准,与一次性推理相比...……更多
成都人形机器人创新中心全国首发 R-DDIRM 高速推理模型
...现突破,于近日全国首发基于扩散架构的人形机器人高速推理模型 R-DDIRM(Denoising Diffusion Implicit Robot Model)。这是继今年 5 月推出中国首个基于扩散架构人形机器人任务生成式模型 R-DDPRM(Denoising Diffusion Proba……更多
...司利用自主研发的训练框架和量化算法显著提升了训练和推理速度,并优化了模型精度与推理吞吐量;在智能安全保障上,公司采用RLHF方案对齐安全认知,创新的热修复技术确保了大模型的安全性,提供安全、可靠的用户体验...……更多
DeepSeek“点燃”国产芯片 FP8能否引领行业新标准?
...然没有资本市场那么高亢。技术派更关注FP8在模型训练、推理及生态标准化上的实际价值与挑战。▍FP8是什么,有哪些提升?在AI训练与推理过程中,为提升计算效率,数值精度的降低是一个常见的技术路径。摩尔线程AI Infra总...……更多
百倍提升7B模型推理能力!颜水成团队携手新加坡南洋理工大学发布Q*算法
...-7b等小模型达到参数量比其大数十倍、甚至上百倍模型的推理能力,使模型性能迎来惊人提升。自OpenAI的Q*项目曝光后,业内相关讨论始终层出不穷。据现有信息汇总,Q*项目被视作OpenAI在探索人工通用智能(Artificial General Intelli...……更多
字节豆包团队推出稀疏模型架构UltraMem:推理成本可降83%
...将计算和参数解耦,在保证模型效果的同时,有效解决了推理过程中的访存问题,为人工智能领域带来了新的突破。据了解,UltraMem架构巧妙地将计算与参数分离,不仅确保了模型的卓越性能,更针对推理过程中的访存瓶颈提出...……更多
百川智能发布baichuan3稳定语言模型
...处理和代码生成领域的强大实力。不仅如此,其在对逻辑推理能力及专业性要求极高的MCMLE、MedExam、CMExam等权威医疗评测上的中文效果同样超过了GPT-4,是中文医疗任务表现最佳的大模型。Baichuan3还突破“迭代式强化学习”技术...……更多
DeepSeek,大消息
...伟达开源了首个在Blackwell架构上优化的DeepSeek-R1,实现了推理速度提升25倍,并且每token成本降低20倍的惊人成果。这一新模型的推出,标志着英伟达在人工智能领域的又一次重大进展。开源周第三天,DeepSeek宣布开源Optimized Paralle...……更多
北大等发布多模态版o1!首个慢思考VLM将开源,视觉推理超闭源
...ion模型打造,超越传统思维链提示,实现自主“慢思考”推理。在多模态推理基准测试中,LLaVA-o1超越其基础模型8.9%,并在性能上超越了一众开闭源模型。新模型具体如何推理,直接上实例,比如问题是:减去所有的小亮球和紫...……更多
Hugging Face发布SmolVLM开源 AI 模型:20 亿参数,用于端侧推理
...lVLM AI 视觉语言模型(VLM),仅有 20 亿参数,用于设备端推理,凭借其极低的内存占用在同类模型中脱颖而出。官方表示 SmolVLM AI 模型的优点在于体积小、速度快、内存高效,并且完全开源,所有模型检查点、VLM 数据集、训练...……更多
探索终端操作系统领域AI大模型创新趋势 OpenHarmony技术大会OS原生智能分论坛召开
...AI大模型与操作终端深度结合后,必将带来大模型扩展能力边界、终端设备更加智能的“双赢”前景。而随着越来越多原生智能领域的技术专家和行业精英加入OpenHarmony社区,也必将推动OpenHarmony生态枝繁叶茂。期待更多伙伴加入Open...……更多
荣耀Magic V5发布,一文看懂YOYO到底有多强大
...各种美的设备。 从AI模型底座的打磨,到技术、场景的边界突破,再到生态共赢,荣耀正以更强大的AI演进路径,重新定义终端智能边界,YOYO也在通过更智慧、可靠的AI体验打破地理、生理壁垒——偏远山村教师借助荣耀YOYO生...……更多
20多家车企接入DeepSeek:为啥没有“蔚小理华米特”
...上叫我给他们讲讲 AI 是怎么回事。由于同时具备强大的推理能力及开源模型两个特质,导致几乎所有科技公司都在研究怎样和 DeepSeek「深度融合」一下。华为、腾讯、百度、字节等互联网巨头,尽管都有各自自研的模型,但不...……更多
比GPU性价比高百倍!Cerebras推出新AI推理服务,号称“全球最快”
...28日消息,AI芯片独角兽Cerebras Systems于8月27日宣布推出AI推理服务Cerebras Inference,号称“全球最快”。该服务已经在云端上线。据官网介绍,该推理服务在保证精度的同时,速度比英伟达的服务快20倍;其处理器内存带宽是英伟达...……更多
阶跃星辰李璟:多模态是AGI的必经之路,视觉模型可按语言模型路线实现大一统
...发力。一是在预训练的基础上加上强化学习,提高模型的推理能力。“强化学习还在早期,还会延续一长段时间。”第二个趋势是多模的理解生成一体化。李璟认为,文本领域已经实现生成理解任务的统一,语言模型的技术路线...……更多
算子开发到推理加速,一位00后开发者的“升级打怪”之旅
...框架降低了大模型训练的门槛,目前正在做大模型分布式推理加速,希望可以帮助其他开发者在生产环境中高效部署在线推理服务。在昇腾AI的生态里,像郑辉这样为大模型浪潮默默贡献自己力量的开发者不胜枚举。他们还不是...……更多
DeepSeek开源惠四方(科技名家笔谈)
...与OpenAI发布ChatGPT3.5相提并论。DeepSeek以高效率、低成本的推理模型和开源的商业模式走出一条发展人工智能的新路。 坚持历史视角准确看待价值准确认识DeepSeek的价值和贡献,必须坚持历史视角,将其放在人工智能创新发展的...……更多
超越YOLOv10/11、RT-DETRv2/3!D-FINE重新定义边界框回归任务
...瓶颈,来自中科大的研究团队提出了 D-FINE,重新定义了边界框回归任务。不同于传统的固定坐标预测,D-FINE 创新了两种方法:细粒度分布优化 (FDR) 和全局最优定位自蒸馏 (GO-LSD)。通过将回归任务转化为细粒度的分布优化任务,...……更多
大模型是否有推理能力?DeepMind数月前的论文让AI社区吵起来了
...,随着 OpenAI o1 模型的推出,关于大型语言模型是否拥有推理能力的讨论又多了起来。比如苹果在前段时间的一篇论文中指出,只要给模型一些干扰,最聪明的模型也会犯最简单的错误(参见《给小学数学题加句「废话」,OpenAI ...……更多
国产大模型第一梯队玩家,为什么pick了CPU?
...占绝对大头的因素——算力。 现在提及大模型的训练和推理,很多人的第一反应或许就是想到了GPU。诚然GPU在高性能上占据着一定的优势,但它所存在“硬伤”也是比较明显,那便是供应不足、价格昂贵。何以破局?国产大模...……更多
摩尔线程新方法优化AI交互:显存节省最多82%
...nd Attention专为多轮对话场景推理需求设计,以轮次为自然边界划分KV缓存。研究发现,轮次粒度的Attention分布存在两个重要规律。其次,摩尔线程提出了Round Attention推理流水线;基于发现的两个规律,将稀疏性从Token级提升至块...……更多
推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型
...」。模型升级:Baichuan4-Turbo两张4090即可部署,Baichuan4-Air推理成本下降99%接下来,如何将Baichuan4-Turbo、Baichuan4-Air应用在实际场景中?从名字中不难看出,它们都是Baichuan 4系列基础模型的升级。对于企业来说,在不同场景阶段……更多
大模型新趋势之MoE:现状、挑战及研究方向
...,MoE在训练过程通过门控模型实现“因材施教”,进而在推理过程实现专家模型之间的“博采众长”。 图1MoE架构原理示意图1MoE的特征优势是专家化、动态化、稀疏化,在模型研发成本、训练/推理效率和整体性能之间实现最佳...……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
...腾讯Angel 机器学习平台,突破了万亿级模型分布式训练和推理以及大规模应用部署等难题,率先实现大模型技术从底层硬件到关键软件技术的自主研发,在业务场景广泛应用,显著推动实体产业和数字经济发展,提升社会效率。...……更多
chatgpt低成本复现流程开源
...。相比原生PyTorch,单机训练速度最高可提升7.73倍,单卡推理速度提升1.42倍,仅需一行代码即可调用。对于微调任务,可最多提升单卡的微调模型容量3.7倍,同时保持高速运行,同样仅需一行代码。要知道,ChatGPT火是真的火,...……更多
微软开源爆火1bit大模型推理框架!千亿参数模型量化后单CPU可跑
微软开源1bit大模型推理框架!现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。就是今年爆火论文The Era of 1-bit LLMs的官方代码实现,开源不到一周GitHub已揽获7.9k Star。传统大模型参数以16位浮点数(如FP16或BF16)形...……更多
...智能的旗舰产品GPT-4为代表的大语言模型在逻辑测试中的推理表现很糟糕:它们犯下前后不一致的错误,而且推理过程往往是荒谬的。近日发表在《皇家学会开放科学》杂志上的一项研究表明,大语言模型所依赖的语料库往往反...……更多
pytorchtorchao正式发布,提供了一系列优化工具集
...将模型训练转换为float8,从而轻松实现模型高效训练。在推理方面,torchao提供多种量化方法,包括权重量化(Weight-OnlyQuantization)和动态激活量化(DynamicActivationQuantization),用户可以自有选择适合的量化策略,以获得最佳的模...……更多
更多关于科技的资讯:
一句话、一张图,共绘古祠新名片!陈家祠商圈标识及宣传语邀您来设计
为提升陈家祠商圈品牌形象与文化内涵,扩大商圈影响力,进一步彰显岭南文化商圈特色,打造文化消费新地标,现面向全社会公开征集陈家祠商圈标识(LOGO)及宣传语
2025-12-12 09:23:00
晚上6点半,杭州遥望科技大楼的直播间里,灯光亮如白昼。小五对着镜子最后检查了一下妆容,深吸一口气,走向镜头。五年前,她站在黑龙江齐齐哈尔的寒风中
2025-12-12 08:08:00
如果未来的高速公路能像人一样“思考”,预判几公里外的风险;如果跨海大桥有“专属医生”,能飞檐走壁进行体检;如果服务区不再只是简简单单的驿站
2025-12-12 08:09:00
河北新闻网讯(杨春辉)如何深化信贷业务专业化能力,推动一线员工全面掌握产品体系与营销策略,从而为“一池两新万企”行动提供坚实支撑
2025-12-12 06:53:00
12月10日-12日,由浙江传媒学院主办、浙江传媒学院实践教学与艺术创作中心协办的 “剧想天开”——《儿童剧人物造型设计创新人才培训》成果展在杭州时尚中心正式展出
2025-12-12 07:07:00
站在4K摄像机前,主播“俍一”落落大方,此刻她站在演播室里,但直播间的观众们看到的却是由AI实时生成的背景。这样的场景在以前是不可想象的
2025-12-12 07:08:00
家电业创新驱动拓蓝海
家电业正朝着绿色、智能化方向升级,既精准匹配消费者需求,也开拓了市场新空间从电视、冰箱、洗衣机的传统“三大件”到智慧互联
2025-12-12 07:14:00
今年“双12”,南京企业捧出主题多元、内容丰富的促消费活动,推动消费市场提质扩容据悉,今年南京将“双12”作为南京市“四季有约·暖冬跨年庆”促消费活动的重要节点
2025-12-12 07:14:00
在直播间买了商品退货难、赔付慢等情况一直是困扰消费者的难题,临近“双12”,由杭州高新区(滨江)市场监管局联合辖区内头部直播电商企业共同起草的团体标准《放心消费直播间管理与运营规范》(以下简称《规范》)正式发布
2025-12-12 07:38:00
鲁网12月11日讯近日,建设银行泰安分行高效推进网点服务数字化转型,顺利完成泰安花园支行、新泰向阳支行、新汶翟镇支行、东平白佛山支行等4家网点的排队机轻量化叫号模式试点改造
2025-12-11 14:40:00
意大利ICA意卡亮相大湾区设计论坛:以色彩、技术与资源,赋能设计师
2025年广州设计周于12月5日至8日盛大开幕,在广州保利世贸博览馆、广州国际采购中心及海珠国际会展中心三馆共18个展厅同时举行
2025-12-11 14:53:00
苏大课堂来了位虚拟数字人老师
近日,在苏州大学传媒学院副教授程曦的《新媒体运营》课堂上,迎来了一位与她外型一模一样的虚拟数字人老师,只要是关于课程中的问题
2025-12-11 14:57:00
中新经纬12月11日电 11日,“网信中国”微信号发布汽车行业网络乱象专项整治行动公开曝光第二批典型案例。近期,国家网信办会同工业和信息化部等部门持续开展汽车行业网络乱象专项整治行动
2025-12-11 15:10:00
鲁网12月11日讯走进建行青岛市分行瞿塘峡路支行,大堂经理正俯身协助客户核对账单、同步讲解线上查询技巧;城阳支行营业部里
2025-12-11 15:17:00
【儒商风采】德州市恩锋企业管理咨询有限公司董事长李媛媛:先做朋友,再做生意
鲁网12月11日讯(记者 赵洪斌 通讯员 赵慧)“让一个企业家在半小时内,向陌生人交底,说出自己公司的核心难题——这事儿
2025-12-11 15:17:00