• 我的订阅
  • 头条热搜
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...型的参数可能超过数十亿,通常需要显存较大的GPU来加速推理过程。因此,越来越多的研究开始关注如何缩小模型,比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化(quantization)。ML工程师Maarten Grootendorst撰...……更多
芯片战场丨瞄准大模型 摩尔线程首个千卡智算中心落地
...模型智算加速卡MTT S4000,以及专为千亿参数大模型训练和推理提供支持的摩尔线程KUAE平台。近年在AI热潮之下,国内的智算中心不断兴建。根据此前国家信息中心联合浪潮信息发布的《智能计算中心创新发展指南》统计,目前全...……更多
大模型价格战谁会受益
...价值联系在一起,在他看来,大模型商业模式建立在用于推理的算力显著超过训练的算力,C(用户)端的推理成本显著低于获客成本,那时可能会产生新的商业模式,不会像现在在B(企业)端打价格战。创业公司和大公司、大...……更多
刘庆峰谈科大讯飞与华为合作:任正非高度重视,双方共同看好,非干不可
...“心中有数”,也很清楚与GPT-4在小样本快速训练、复杂推理、多模态综合使用、长文本内容等方面还有差距。“国内大模型都有不小差距,那些说跟它差不多的,我觉得还是要更客观。要有科学精神,才能真正实现从追赶到超...……更多
中国电信何忠江发布千亿参数大模型
...表示,星辰语义拥有超12亿风格数据、训练显存降低50%、推理提速4.5倍;中文意象理解生成能力提升30%,语义细粒度生成效果提升25%。在创意提效方面,星辰语义生产时间较此前生产工具减少92%,设计成本下降了95%。"总体而言,...……更多
国产大模型加速落地,争夺“中国版ChatGPT”心智定位
...技等也分别推出全新的大模型产品。李开复表示,大模型推理成本的下降会推动中国AI大模型进入”落地为王”的阶段,今年会迎来“大模型应用爆发元年”。他同时预测,明年下半年,随着大模型推理成本的大幅度下降,人们...……更多
实测苹果M3 Ultra运行DeepSeek R1满血版:速度超过8卡A100!
...着M3 Ultra在所有场景下都能超越A100,单用户进行单一模型推理时,主要依赖内存带宽和容量,无法完全发挥A100的潜力,在多用户推理和大模型训练场景下,M3 Ultra则完全无法与A100相提并论。此外,M3 Ultra在大语言模型推理速度测...……更多
交通类 AI 项目预演阶段,本地化部署的一些新思路
...模型; 资源调度类:还有团队在考虑利用DeepSeek的深度推理能力,对历史流量、天气、事件等多源数据进行融合分析,开发出大模型能够动态地优化信号灯控制策略,提升路口通行效率和交通资源利用率。这其中,报告生成类...……更多
昆仑万维:“天工大模型3.0”将于4月17日正式发布 同步开源4000亿参数MoE超级模型
...“天工2.0”MoE大模型,“天工3.0”在模型语义理解、逻辑推理、以及通用性、泛化性、不确定性知识、学习能力等领域拥有惊人的性能提升,其模型技术知识能力提升超过20%,数学/推理/代码/文创能力提升超过30%。同时,“天工...……更多
英伟达地表最强,黄教主被称作AI界“霉霉”
...来支持高达10万亿参数的AI模型训练和大语言模型的实时推理。有望在数据处理、工程模拟、电子设计自动化、计算机辅助药物设计、量子计算和生成人工智能等领域实现新的突破。用黄仁勋的原话来说,它就是“当今世界上最...……更多
精准狙击Llama 3.1?Mistral AI开源Large 2,123B媲美Llama 405B
...l Large 2,该模型拥有 1230 亿个参数,在代码生成、数学、推理等方面与 OpenAI 和 Meta 的最新尖端模型不相上下。紧随 Llama 3.1 405B 之后,Mistral Large 2 的发布让开源大模型的赛道一下子热闹起来,而这一模型的特点是 ——「足够大...……更多
轻量化模型架构catvton的优势在哪里
...分简洁高效:2个网络模块(VAE+UNet)899.06M总参数量<8G推理显存(输出图像1024×768)轻量化的架构来源于CatVTON对现有方法模块冗余的观察:基于Warping的方法依靠几何匹配对服装进行形变再利用试穿模块融合,结果生硬不自然;...……更多
微软开源爆火1bit大模型推理框架!千亿参数模型量化后单CPU可跑
微软开源1bit大模型推理框架!现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。就是今年爆火论文The Era of 1-bit LLMs的官方代码实现,开源不到一周GitHub已揽获7.9k Star。传统大模型参数以16位浮点数(如FP16或BF16)形...……更多
李开复辟谣「掉队」传闻,零一万物推「白菜价」顶级模型
...搜索、月之暗面 Kimi 探索版,则相继推出了主打具备深度推理能力的 AI 搜索; 百川智能和阶跃星辰尚未释放进一步动作; 零一万物选择公布了最新模型进展,力破停止预训练等传言。10 月 16 日,继千亿参数模型 Yi-Large 之后,...……更多
大模型重构生命科学!最大基础模型面世,解锁DNA超长序列
...,从跨模态预训练、到下游任务的微调都可以完成。而在推理端,他们为该领域量身定制地打造了生物与AI融合的计算引擎。这个值得说道说道。因为在我们日常大模型语境中,可能只需要针对AI模型本身进行推理优化,就能在...……更多
《永劫无间》手游首次将具有18亿参数的大语言模型引入终端侧
...可以大幅提升腾讯混元大模型在终端侧的运行效率,端侧推理实现首个token生成时延达到150ms,解码速率达到超过 30tokens/秒。腾讯混元大模型已为腾讯内部超过700个业务场景和C端应用提供底层技术支持,在骁龙8至尊版芯片上部...……更多
首发!优刻得云平台上新DeepSeek-V3-0324模型
... 不仅将模型参数量由原版的671B提升至685B,编程、数学等推理思考能力大幅提升,性能表现可以与Claude3.5/3.7Sonnet相媲美。同时,模型的开源协议升级为更宽松的MIT许可,进一步降低了商业应用门槛。 优刻得云平台始终密切关注A...……更多
amd推出10亿参数语言模型系列amdolmo
...ens进行预训练,让模型在处理自然语言任务时具有强大的推理能力。IT之家援引新闻稿,OLMo模型采用解码器(decoder-only)架构,并通过下一个标记预测(next-tokenprediction)进行训练,这种架构在生成文本和理解上下文方面表现出...……更多
llava-1.6与gpt-4vmp面硬刚的性能,一起来看看
...率基础上,并通过改进视觉指令数据集和SGLang,提升了“推理、OCR等方面的性能”,意味着人类向AGI(通用人工智能)探索的道路上又迈进了一步。LLaVA-1.6的研发团队成员Haotian Liu在X平台发文原文 二、更适合中国人体质的GPT-4V...……更多
重磅!TeleAI 完成首个全国产化万卡万参大模型训练
...型有效训练时长占比达到 98% 以上。TeleChat-52B在OpenCampass推理榜单排名第一在今年5月的 OpenCampass 测试榜单中,TeleChat 系列模型的逻辑推理能力名列开源大模型榜单第一。作为新一代版本,TeleChat2-115B 在9月最新公布的 C-Eval ……更多
豆包大模型1.5 Pro正式发布:比GPT-4o更强
...示,豆包大模型1.5 Pro增强了综合能力,在知识、代码、推理、中文等多个测评基准上,综合得分比GPT-4o更高。全新的豆包实时语音模型Doubao-1.5-realtime-voice-pro,采用Speech2Speech端到端框架,表现力实现质的飞跃,真正做到会哭会...……更多
成本不到150元!26分钟训出个推理模型 媲美o1和R1
成本不到150元,训练出一个媲美DeepSeek-R1和OpenAI o1的推理模型?!这不是洋葱新闻,而是AI教母李飞飞、斯坦福大学、华盛顿大学、艾伦人工智能实验室等携手推出的最新杰作:s1。在数学和编程能力的评测集上,s1的表现比肩Dee...……更多
随着大模型的发展日新月异,其推理和训练的边界问题也引起了广泛讨论。近日,清程极智CEO汤雄超在一场行业活动中明确表示,尽管外界有声音认为OpenAI发布的o1模型模糊了推理和训练的界限,但从技术角度来看,这两个阶段...……更多
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...紧张是产生算力焦虑的根源所在。一方面,大模型训练与推理需求呈几何级数爆发——自2022年以来,人工智能算力需求每3~4个月就翻一番,每年训练AI模型所需算力增幅高达10倍,而生成式AI使上升曲线进一步陡峭,未来大模型...……更多
清华团队提出大模型“密度定律”;足球领域首个视觉语言基础模型
...交视觉-语言-动作建模框架RevThink:使用逆向思维增强 LLM 推理想要第一时间获取每日最新大模型热门论文? 点击阅读原文,查看「2024必读大模型论文」合集,以及申请加入「大模型技术分享群」。SwiftEdit:50 倍速文本引导图像...……更多
AIGC落地应用:腾讯云如何助力产业智能化升级?
...同的模型形态,采用混合专家模型(MoE)结构,提高训练和推理效率及专业领域适应性,具备强大的中文创作能力。 腾讯混元大模型构建三层自主可控的国产大模型全栈技术架构:上层为自研高速网络互联来支撑模型训练,预计20...……更多
系统级玩家微软、苹果先后出牌,端侧大模型路径清晰了?
...MGSM(跨语言数学能力)提升 2.3%,而DROP(文本段落分析推理)则下降了 3%。但与此同时,杀手级应用仍未出现。根据第三方网站SimilarWeb的监测数据,早在去年6月,ChatGPT流量即已见顶,当月其网站与移动客户端的全球流量(PV)...……更多
京东云曹鹏:AI变革之下,大模型技术如何为企业未来赋能?
...提高工作效率;在模型服务方面,提供一站式的模型训练推理服务,降低大模型训练和使用门槛;在基础设施方面,提供极致的数字基础设施能力,满足大模型的算力需求。随着通用大模型训练进入万亿参数级别,超大规模算力...……更多
对话王田苗:万亿市场之下,大模型 + 机器人还有四大问题未解决
...务设定多个小模型,并提供不同的参数训练,端到端减少推理成本。另外,将专用小 GPU 芯片置入到机器人中,也可提高任务实时性,目前特斯拉已在自动驾驶中尝试了这种做法。硬氪:今年有哪些细分场景的模型值得关注?王...……更多
MiniMax进化论:一群「偏执者」的破浪前行
...捉关键细节,进而有效减少HBM内存读写量逾70%,让训练与推理效率提升2.5倍。当然,这种将精力放在对的事情上、不断创新的逻辑,不只是NCR的底层技术思路,同时也是对MiniMax企业气质,以及如今地位如何炼成的最好概括。M1创...……更多
更多关于科技的资讯:
浙江日报义乌12月3日电 (记者 拜喆喆 何贤君 共享联盟·义乌 吴峰宇) 3日,义乌今年第1亿个跨境电商进口订单完成打包
2025-12-04 08:41:00
中国科大新实验终结爱因斯坦与玻尔世纪之辩
大皖新闻讯 大皖新闻记者从中国科学技术大学获悉,该校潘建伟、陆朝阳、陈明城教授等组成的研究团队,利用光镊囚禁的量子基态单原子
2025-12-04 11:03:00
中新经纬12月4日电 “北京市场监管”微信号4日消息,为应对AI合成技术滥用风险,规范电商直播行业秩序,近日,北京市消费者协会(以下简称“北京消协”)联合京东
2025-12-04 11:06:00
用一张照片告别2025:富士胶片X-SPACE三城点亮\
2025年11月起,富士胶片影像共享空间X-SPACE于上海、南京、杭州三地先后启动年末特别企划——"影像之树"作品征集与交流活动
2025-12-04 11:49:00
《2026年中国礼品行业展望白皮书》发布“差异化”和“质价比”等关键词
2025年10月20-23日,第33届深圳礼品家居展于深圳国际会展中心举办,展会同期进行的2025中国礼业高峰论坛上,展会主办方励展华博第三次携手国际知名咨询公司凯度重磅首发《2026年中国礼品行业展望白皮书》
2025-12-04 11:55:00
中国网12月4日讯 据国家体育总局网站消息,体育总局日前印发《关于进一步推进篮球改革发展的意见》。其中提出,有序促进职业篮球开放
2025-12-04 12:16:00
长白时评评论员 刘颂寒12月1日,电视剧《家业》和制片方华策影视发文,谴责部分短剧投机取巧,擅自截取《家业》宣传物料中的创意元素“跟拍”
2025-12-04 13:48:00
近年来,智能制造产业园引导企业顺应数字化浪潮,积极落实智改数转,推动科技创新与产业创新深度融合。以南汽集团为核心的汽车产业
2025-12-04 11:20:00
储热赋能双碳 智慧引领供热 泰山集团高电压直入式电储能技术破解能源转型难题
鲁网12月4日讯在“双碳”目标深入推进、能源结构加速转型的时代背景下,电网峰谷差拉大、清洁供热需求迫切、弃风弃光资源浪费等问题成为制约绿色发展的关键瓶颈
2025-12-04 09:57:00
上海街头的数字生活指南,是城市数字品牌与公共艺术的对话
在上海,街头悄然出现的“数字城市指示牌”成为了市民与游客驻足讨论的热点。这些立体的、新颖的指示牌,是“智云上海”这个城市信息化名片的立体呈现
2025-12-04 08:17:00
摘要:随着生成式人工智能技术在各行业的广泛应用,模型输出结果的不确定性问题日益受到关注。为提高模型在关键领域的可靠性,对输出不确定性进行量化分析成为重要方向
2025-12-04 06:17:00
杭州博士后用AI让机器懂协作、更安全杭州日报讯 让机器从执行命令的“孤岛”,成为懂得协作的群体?让机器人安全走进人类生活
2025-12-04 06:38:00
12月3日从紫林醋业获悉,紫林醋业部分主导产品通过欧盟有机认证(EU Organic Certification),获准使用欧盟统一有机标识“欧洲叶标”(Euro-Leaf)
2025-12-04 07:31:00
中新经纬12月3日电 12月3日,豆包手机助手在官方微信号就“侵犯用户隐私”等问题进行回应,称不存在任何黑客行为。具体来看
2025-12-04 07:42:00
支付宝AI4SDL研发安全体系斩获首届“AI领航杯”星光金奖
12月1日-3日,由中国互联网协会主办的2025“人工智能+”产业生态大会在北京举办。开幕式上,首届“AI领航杯”“人工智能+”应用与技能大赛总决赛举行了隆重的颁奖仪式
2025-12-04 07:47:00