• 我的订阅
  • 头条热搜
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...型的参数可能超过数十亿,通常需要显存较大的GPU来加速推理过程。因此,越来越多的研究开始关注如何缩小模型,比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化(quantization)。ML工程师Maarten Grootendorst撰...……更多
芯片战场丨瞄准大模型 摩尔线程首个千卡智算中心落地
...模型智算加速卡MTT S4000,以及专为千亿参数大模型训练和推理提供支持的摩尔线程KUAE平台。近年在AI热潮之下,国内的智算中心不断兴建。根据此前国家信息中心联合浪潮信息发布的《智能计算中心创新发展指南》统计,目前全...……更多
大模型价格战谁会受益
...价值联系在一起,在他看来,大模型商业模式建立在用于推理的算力显著超过训练的算力,C(用户)端的推理成本显著低于获客成本,那时可能会产生新的商业模式,不会像现在在B(企业)端打价格战。创业公司和大公司、大...……更多
刘庆峰谈科大讯飞与华为合作:任正非高度重视,双方共同看好,非干不可
...“心中有数”,也很清楚与GPT-4在小样本快速训练、复杂推理、多模态综合使用、长文本内容等方面还有差距。“国内大模型都有不小差距,那些说跟它差不多的,我觉得还是要更客观。要有科学精神,才能真正实现从追赶到超...……更多
中国电信何忠江发布千亿参数大模型
...表示,星辰语义拥有超12亿风格数据、训练显存降低50%、推理提速4.5倍;中文意象理解生成能力提升30%,语义细粒度生成效果提升25%。在创意提效方面,星辰语义生产时间较此前生产工具减少92%,设计成本下降了95%。"总体而言,...……更多
国产大模型加速落地,争夺“中国版ChatGPT”心智定位
...技等也分别推出全新的大模型产品。李开复表示,大模型推理成本的下降会推动中国AI大模型进入”落地为王”的阶段,今年会迎来“大模型应用爆发元年”。他同时预测,明年下半年,随着大模型推理成本的大幅度下降,人们...……更多
实测苹果M3 Ultra运行DeepSeek R1满血版:速度超过8卡A100!
...着M3 Ultra在所有场景下都能超越A100,单用户进行单一模型推理时,主要依赖内存带宽和容量,无法完全发挥A100的潜力,在多用户推理和大模型训练场景下,M3 Ultra则完全无法与A100相提并论。此外,M3 Ultra在大语言模型推理速度测...……更多
交通类 AI 项目预演阶段,本地化部署的一些新思路
...模型; 资源调度类:还有团队在考虑利用DeepSeek的深度推理能力,对历史流量、天气、事件等多源数据进行融合分析,开发出大模型能够动态地优化信号灯控制策略,提升路口通行效率和交通资源利用率。这其中,报告生成类...……更多
昆仑万维:“天工大模型3.0”将于4月17日正式发布 同步开源4000亿参数MoE超级模型
...“天工2.0”MoE大模型,“天工3.0”在模型语义理解、逻辑推理、以及通用性、泛化性、不确定性知识、学习能力等领域拥有惊人的性能提升,其模型技术知识能力提升超过20%,数学/推理/代码/文创能力提升超过30%。同时,“天工...……更多
英伟达地表最强,黄教主被称作AI界“霉霉”
...来支持高达10万亿参数的AI模型训练和大语言模型的实时推理。有望在数据处理、工程模拟、电子设计自动化、计算机辅助药物设计、量子计算和生成人工智能等领域实现新的突破。用黄仁勋的原话来说,它就是“当今世界上最...……更多
精准狙击Llama 3.1?Mistral AI开源Large 2,123B媲美Llama 405B
...l Large 2,该模型拥有 1230 亿个参数,在代码生成、数学、推理等方面与 OpenAI 和 Meta 的最新尖端模型不相上下。紧随 Llama 3.1 405B 之后,Mistral Large 2 的发布让开源大模型的赛道一下子热闹起来,而这一模型的特点是 ——「足够大...……更多
轻量化模型架构catvton的优势在哪里
...分简洁高效:2个网络模块(VAE+UNet)899.06M总参数量<8G推理显存(输出图像1024×768)轻量化的架构来源于CatVTON对现有方法模块冗余的观察:基于Warping的方法依靠几何匹配对服装进行形变再利用试穿模块融合,结果生硬不自然;...……更多
微软开源爆火1bit大模型推理框架!千亿参数模型量化后单CPU可跑
微软开源1bit大模型推理框架!现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。就是今年爆火论文The Era of 1-bit LLMs的官方代码实现,开源不到一周GitHub已揽获7.9k Star。传统大模型参数以16位浮点数(如FP16或BF16)形...……更多
李开复辟谣「掉队」传闻,零一万物推「白菜价」顶级模型
...搜索、月之暗面 Kimi 探索版,则相继推出了主打具备深度推理能力的 AI 搜索; 百川智能和阶跃星辰尚未释放进一步动作; 零一万物选择公布了最新模型进展,力破停止预训练等传言。10 月 16 日,继千亿参数模型 Yi-Large 之后,...……更多
大模型重构生命科学!最大基础模型面世,解锁DNA超长序列
...,从跨模态预训练、到下游任务的微调都可以完成。而在推理端,他们为该领域量身定制地打造了生物与AI融合的计算引擎。这个值得说道说道。因为在我们日常大模型语境中,可能只需要针对AI模型本身进行推理优化,就能在...……更多
《永劫无间》手游首次将具有18亿参数的大语言模型引入终端侧
...可以大幅提升腾讯混元大模型在终端侧的运行效率,端侧推理实现首个token生成时延达到150ms,解码速率达到超过 30tokens/秒。腾讯混元大模型已为腾讯内部超过700个业务场景和C端应用提供底层技术支持,在骁龙8至尊版芯片上部...……更多
首发!优刻得云平台上新DeepSeek-V3-0324模型
... 不仅将模型参数量由原版的671B提升至685B,编程、数学等推理思考能力大幅提升,性能表现可以与Claude3.5/3.7Sonnet相媲美。同时,模型的开源协议升级为更宽松的MIT许可,进一步降低了商业应用门槛。 优刻得云平台始终密切关注A...……更多
amd推出10亿参数语言模型系列amdolmo
...ens进行预训练,让模型在处理自然语言任务时具有强大的推理能力。IT之家援引新闻稿,OLMo模型采用解码器(decoder-only)架构,并通过下一个标记预测(next-tokenprediction)进行训练,这种架构在生成文本和理解上下文方面表现出...……更多
llava-1.6与gpt-4vmp面硬刚的性能,一起来看看
...率基础上,并通过改进视觉指令数据集和SGLang,提升了“推理、OCR等方面的性能”,意味着人类向AGI(通用人工智能)探索的道路上又迈进了一步。LLaVA-1.6的研发团队成员Haotian Liu在X平台发文原文 二、更适合中国人体质的GPT-4V...……更多
重磅!TeleAI 完成首个全国产化万卡万参大模型训练
...型有效训练时长占比达到 98% 以上。TeleChat-52B在OpenCampass推理榜单排名第一在今年5月的 OpenCampass 测试榜单中,TeleChat 系列模型的逻辑推理能力名列开源大模型榜单第一。作为新一代版本,TeleChat2-115B 在9月最新公布的 C-Eval ……更多
豆包大模型1.5 Pro正式发布:比GPT-4o更强
...示,豆包大模型1.5 Pro增强了综合能力,在知识、代码、推理、中文等多个测评基准上,综合得分比GPT-4o更高。全新的豆包实时语音模型Doubao-1.5-realtime-voice-pro,采用Speech2Speech端到端框架,表现力实现质的飞跃,真正做到会哭会...……更多
成本不到150元!26分钟训出个推理模型 媲美o1和R1
成本不到150元,训练出一个媲美DeepSeek-R1和OpenAI o1的推理模型?!这不是洋葱新闻,而是AI教母李飞飞、斯坦福大学、华盛顿大学、艾伦人工智能实验室等携手推出的最新杰作:s1。在数学和编程能力的评测集上,s1的表现比肩Dee...……更多
随着大模型的发展日新月异,其推理和训练的边界问题也引起了广泛讨论。近日,清程极智CEO汤雄超在一场行业活动中明确表示,尽管外界有声音认为OpenAI发布的o1模型模糊了推理和训练的界限,但从技术角度来看,这两个阶段...……更多
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...紧张是产生算力焦虑的根源所在。一方面,大模型训练与推理需求呈几何级数爆发——自2022年以来,人工智能算力需求每3~4个月就翻一番,每年训练AI模型所需算力增幅高达10倍,而生成式AI使上升曲线进一步陡峭,未来大模型...……更多
清华团队提出大模型“密度定律”;足球领域首个视觉语言基础模型
...交视觉-语言-动作建模框架RevThink:使用逆向思维增强 LLM 推理想要第一时间获取每日最新大模型热门论文? 点击阅读原文,查看「2024必读大模型论文」合集,以及申请加入「大模型技术分享群」。SwiftEdit:50 倍速文本引导图像...……更多
AIGC落地应用:腾讯云如何助力产业智能化升级?
...同的模型形态,采用混合专家模型(MoE)结构,提高训练和推理效率及专业领域适应性,具备强大的中文创作能力。 腾讯混元大模型构建三层自主可控的国产大模型全栈技术架构:上层为自研高速网络互联来支撑模型训练,预计20...……更多
系统级玩家微软、苹果先后出牌,端侧大模型路径清晰了?
...MGSM(跨语言数学能力)提升 2.3%,而DROP(文本段落分析推理)则下降了 3%。但与此同时,杀手级应用仍未出现。根据第三方网站SimilarWeb的监测数据,早在去年6月,ChatGPT流量即已见顶,当月其网站与移动客户端的全球流量(PV)...……更多
京东云曹鹏:AI变革之下,大模型技术如何为企业未来赋能?
...提高工作效率;在模型服务方面,提供一站式的模型训练推理服务,降低大模型训练和使用门槛;在基础设施方面,提供极致的数字基础设施能力,满足大模型的算力需求。随着通用大模型训练进入万亿参数级别,超大规模算力...……更多
对话王田苗:万亿市场之下,大模型 + 机器人还有四大问题未解决
...务设定多个小模型,并提供不同的参数训练,端到端减少推理成本。另外,将专用小 GPU 芯片置入到机器人中,也可提高任务实时性,目前特斯拉已在自动驾驶中尝试了这种做法。硬氪:今年有哪些细分场景的模型值得关注?王...……更多
MiniMax进化论:一群「偏执者」的破浪前行
...捉关键细节,进而有效减少HBM内存读写量逾70%,让训练与推理效率提升2.5倍。当然,这种将精力放在对的事情上、不断创新的逻辑,不只是NCR的底层技术思路,同时也是对MiniMax企业气质,以及如今地位如何炼成的最好概括。M1创...……更多
更多关于科技的资讯:
当城市核心区的物理空间增长几近饱和,未来的竞争力新高地何在?12月5日,一场发布会以别开生面的“数字气味”体验开场,为上城区加快建设中央创新区(CID)的战略发布
2025-12-07 07:21:00
日前,山西转型综改示范区入区企业山西恒真真空玻璃科技有限公司自主研发的新产品——“真空发热玻璃”上市。这一产品将高效真空玻璃技术与新型半导体制热技术深度融合
2025-12-07 07:32:00
生产设备共享给清河羊绒带来什么——河北特色产业集群共享智造故事(四)纱线在电脑横机上来回穿梭、电商平台的提示音此起彼伏……随着冬季来临
2025-12-06 08:04:00
厦门移动智慧康养产品亮相首届海峡两岸(厦门)银发博览会
市民现场体验移动随心屏(闺蜜机)的AI舌象问诊功能。厦门网讯 (文/厦门日报记者 许晓婷 王玉婷 通讯员 陈奕珣 图/厦门移动 提供)伸出舌头拍一拍
2025-12-06 08:26:00
厦门网讯 (厦门日报记者 林露虹)刷到一部微短剧,不知不觉被剧情吸引,回过神来看介绍,发现竟是AI参与制作的。类似经历
2025-12-06 08:26:00
从“手搓”到“智造” 厦门跑步机“跑”向全球
厦门网讯 (厦门日报记者 詹文 林健华)在位于同安工业集中区的生产车间里,一节一节钢板正传送上激光切割台,自动切割、打孔
2025-12-06 08:26:00
共建共享破局资源瓶颈:临沂联通与电信合作以5G RedCap创新实现业务与服务双突破
鲁网12月5日讯近日,临沂联通与临沂电信深度践行国家共建共享战略,成功完成全省首个基于电信800M频段的5G RedCap技术承载联通物联网专网业务的商用落地
2025-12-06 13:44:00
中国青年报客户端讯(中青报·中青网记者张均斌)近日,“中央引导地方”专项科技赋能文化方向立项课题——“面向文博场景的智能伴游导览系统研发及示范应用”启动会
2025-12-06 15:25:00
2025教室节能照明标杆盘点 四大品牌绿色护眼解决方案解析
在“双碳”目标引领下,校园节能改造成为教育领域绿色发展的重要方向。据住建部统计,商业建筑能耗中照明系统占比高达35%,学校作为人员密集
2025-12-06 16:09:00
海尔智慧家电亮相迪拜
11月26日至28日,中东地区极具影响力的家电电子展在迪拜世贸中心举办。展会中,海尔智家针对当地高温、多尘等特点,集中展示了洗衣机
2025-12-06 16:10:00
12月1日,豆包手机助手技术预览版正式发布,首发搭载于中兴Nubia工程样机。豆包手机助手是以豆包APP为基础,与手机厂商在操作系统层面合作开发的AI助手软件
2025-12-06 17:41:00
文化中国行|全场听觉无死角 吉林省音乐厅声学揭秘
历经修缮重生的丰乐剧场,以“吉林省音乐厅”之名即将绽放春城。这座历史建筑,从伪满时期影剧院到音乐剧场的跨越,背后藏着一套极致考究的声学设计方案
2025-12-06 18:41:00
伊贝格:让机床行业不再为“头”烦恼
“关键核心技术与高端装备对外依存度高”一直是制约制造业升级的瓶颈。五轴联动铣头作为五轴机床的核心功能部件,过去很长一段时间被欧洲部分知名厂商垄断
2025-12-06 22:07:00
山东重工潍柴集团2026年商务大会圆满召开
鲁网12月6日讯12月6日,以“乘势向上 聚力向新”为主题的山东重工潍柴集团2026年商务大会在潍坊举行。山东重工集团党委书记
2025-12-06 22:43:00
近日,兴业数金上线投产跨境人民币理财项目,建立基于手机银行APP的“跨境理财通”线上功能专区,助力本行成为第二家实现“跨境理财通”业务全线上办理的内地商业银行
2025-12-06 16:08:00