• 我的订阅
  • 头条热搜
...法特征,如虚词的使用、词序的变化等。选择合适的模型架构是构建古汉语大语言模型的关键因素之一。当前基于Transformer的模型如BERT、GPT等在自然语言处理领域表现出色,但古汉语的特点要求对这些模型进行适当的调整和优化...……更多
...面,DeepSeek通过MLA(多头潜在注意力)、DeepSeekMoE(混合专家架构)以及MTP(多token预测)等多种技术手段,显著提升了模型性能和训练效率。这些技术不仅有望被各家企业借鉴,以加速智驾模型的训练速度并降低训练成本,还可能直接替...……更多
IDC:中国大模型推理市场爆发,九章云极以\\\
...九章云极提出的\"算力水电化\"模式,通过Serverless+RL技术架构和\"一度算力\"计量标准,实现了高端算力普惠化供给,这对推动生成式AI应用规模化落地起到关键作用。旗下九章智算云Alaya NeW Cloud平台部署成本仅为国际同类方案的4...……更多
奥远光通光模块助力低碳算力网络革新 ——绿色智算时代,加速突围光通信赛道
...产业将逐步从传统分立方案迈向集成化、智能化的“绿色架构”。奥远光通:以绿色科技驱动高速智算网络跃迁 在这一变革浪潮中,奥远光通以前瞻的战略眼光与扎实的技术积淀,全面布局绿色光通信解决方案,成为推动通信...……更多
当康数智战略发展座谈会在广州召开——当康数智入选中国报业理事会战略合作单位
...数智基于公有大模型底座,通过知识图谱与向量检索混合架构,提出“大模型蒸馏+场景数据微调”的本地化训练方案,确保内容权威性与准确性。安全护航:结合量子加密与IPV6组网技术,当康数智自研安全防护系统,提供符合...……更多
...数据共享与动态算力需求,青云科技(qingcloud.com)通过统一架构的AI智算平台与AI算力云服务,帮助企业构建“本地智算中心+ 公有AI算力”的混合智算体系,提供全方位的技术支持,包括GPU计算、高速存储、数据集存储、高速网络...……更多
国产地表最强视频模型震惊歪果仁,官方现场摇人30s直出!视觉模型进入上下文时代
...破。这次跃阶背后,究竟有哪些技术革新?无微调大一统架构以前的视频模型如果想实现一致性生成能力,都不得不对每个场景设计相应的模型进行微调。 它们并不能像语言模型一样,通过上下文学习,基于少量的示例或提示...……更多
Scaling Law百度最早提出!OpenAI/Claude受它启发,致谢中有Ilya
...。深度学习Scaling是可预测的在深度学习领域,随着模型架构的不断探索、训练数据集的不断增大以及计算能力的不断提升,模型的性能也在不断提高。然而,对于训练集大小、计算规模和模型精度之间的具体关系,一直缺乏深...……更多
与OpenAI o1技术理念相似,TDPO-R算法有效缓解奖励过优化问题
...新数据,尤其在生成高质量逼真图像方面相较于其他模型架构具有显著优势。因此,尽管近年来也有基于 GPT 等其它架构的优秀图像、视频生成模型不断涌现,基于扩散模型的架构依然是当前大多数图像、视频生成任务的主流选...……更多
从线性注意力视角揭秘视觉Mamba,清华、阿里合作提出全新MILA模型
... (shortcut)、无注意力的归一化、single-head 和更先进的宏观架构。2. 实验证明,遗忘门和宏观架构很大程度上是 Mamba 性能成功的关键。然而,遗忘门会导致循环计算,可能并不适合视觉模型。本文发现,适当的位置编码能够在视觉...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...https://huggingface.co/apple/DCLM-7BDCLM-7B同样采用了decoder-only的架构,使用PyTorch和OpenLM框架进行预训练。总共4T token的DCLM-baseline数据集来自于总量240T的DCLM……更多
智谱AI新大模型来袭:部署价格大降50%,免费商用,做应用能力逼近GPT3.5 | 最前线
...进行分布式存储,另一方面是在训练过程中,利用分布式架构将模型在不同数据上进行训练。长按添加「智涌」小助手入群???????? 添加请备注:公司+职务 ????????欢迎交流欢迎交流 ……更多
4000亿参数,国产大模型硬刚Llama 3?|钛媒体AGI
...的成功案例。具体来说,天工SkyMusic采用与Sora类似的模型架构,包含三大核心模块——Encoder、DiT(Diffusion Transformer)和Decoder。其中,Large-scale Transformer负责谱曲,学习Music Patches的上下文依赖关系,同时完……更多
百度文心大模型4.0技术进展
...3.6倍,周均的训练有效率超过98%。文心大模型4.0基本技术架构与3.0和3.5版本一脉相承,并在多个关键技术方向上进一步创新突破。 在万卡算力上运行飞桨平台,通过集群基础设施和调度系统、飞桨框架的软硬协同优化,支持了...……更多
遗憾不?百度早研究过Scaling Law,Anthropic CEO灵感都来自百度
...增加算力不能大幅提升模型的能力,那么就需要探索新的架构创新、算法优化或跨领域的技术突破。作为一个学术概念,Scaling Law 为人所熟知,通常归功于 OpenAI 在 2020 年发的这篇论文:论文标题:Scaling Laws for Neural Language Models ...……更多
国产GPU突破!摩尔线程发布Torch-MUSA v2.0.0:FP8原生支持
...指定torch.device(\"musa\"),即可将现有的PyTorch模型迁移到MUSA架构的GPU上运行,无需大幅修改代码,目前Torch-MUSA已完全开源,可通过GitHub获取源代码。作为本次升级的核心亮点,Torch-MUSA v2.0.0率先在国产GPU上实现了对FP8数据类……更多
谷歌推出其最先进AI模型Gemini,希望击败GPT-4
...能超级计算机”的概念。谷歌云将其描述为一种超级计算架构,包括一个集成系统,具有开放软件、性能优化硬件、机器学习框架和灵活的消费模型。谷歌计算和机器学习基础设施部门副总裁马克·洛迈尔(Mark Lohmeyer)在博客文...……更多
...洛树搜索能力。据微软研究团队表示,XOT方法可以让语言模型扩展到不熟悉的问题上,并在Gameof24、8-Puzzle和PocketCube等严苛测试中展现出明显优势。XOT框架的关键步骤包括:在预训练阶段,MCTS模块在特定任务上进行预训练,以学...……更多
如何让大模型输出更精准、更可靠的结果?
大模型虽然强大,但是也有技术缺陷。有时会产生“幻觉”,甚至会犯一些事实性错误。这是大模型技术逻辑带来的天然缺陷,大模型的技术机理是,通过大量的知识训练,基于概率最大的原则生成答案。那么这就带来了几个...……更多
架构优先、先易后难,华为的制造业生成式AI方法论
...投入大的挑战,华为中国政企业务副总裁郭振兴提出了“架构优先、先易后难,化零为整,缓进急战”十六个字原则,加速推进AI与制造行业深度融合的进程。基于统一平台,将AI大模型应用逐步落地在向制造强国的迈进过程中...……更多
马斯克官宣Grok-2测试版!xAI将继续拥抱开源路线吗?
...统的设计,每个token从8个专家中选择2个进行处理。在该架构下,根据具体询问的内容,模型只会激活不同的专家子模块进行推理,在吞吐量一定的情况下,可以更快地完成推理、给出回答。这让Grok-1拥有了更快的生成速度和更...……更多
火山引擎发布大模型训练视频预处理方案 已应用于豆包
...频中的特征和知识,提升训练效果和效率。抖音集团视频架构负责人王悦表示,对大模型厂商而言,上述过程中面临着诸多挑战。“首先,超大规模视频训练数据集导致计算和处理成本激增,”王悦说,“其次是视频样本数据参...……更多
Find X7 Ultra翻开手机AI新篇章
...平台”。 据了解,安第斯大模型以“端云协同”为基础架构设计思路,推出从十亿至千亿以上多种不同参数规模的模型规格,能够基于“端云分工、端云互补、端云协作”等方式,灵活支撑多元化的应用场景。显而易见,OPPO推...……更多
快手可灵新功能上线
...成大幅度的合理运动,模拟物理世界特性。可灵使用了DiT架构,快手对模型中的隐空间编/解码、时序建模等模块进行了升维处理。在隐空间编/解码上,快手自研了3DVAE网络,实现时空同步压缩,获得了较高的重建质量,在训练...……更多
高通打响围攻英特尔的第一枪
...定的是,两家公司的 PC 处理器同骁龙 X Elite 一样采用 ARM 架构。 英特尔曾凭借 x86 架构垄断 PC 处理器市场三十余年,但眼下英特尔的行业霸主地位,似乎在一夜之间迎来变数。高通的蜕变,有多彻底?在发布会开始,安蒙介绍...……更多
联想刘军:加速发展三大生态,推动AI普惠
...甚至重构每一个产业。每家企业都需要重新思考未来的IT架构,刷新既有的业务模式,打造核心竞争力和改变企业的竞争格局。凭借强大而持久的战略定力、持续创新的能力、领先的业务模式和海量的客户积累,联想已经构建了...……更多
文生图参数量升至240亿!Playground v3发布:深度融合LLM,图形设计能力超越人类
...去年以来,文本到图像生成模型取得了巨大进展,模型的架构从传统的基于UNet逐渐转变为基于Transformer的模型。Playground Research最近发布了一篇论文,详细介绍了团队最新的、基于DiT的扩散模型Playground v3(简称PGv3),将模型参数...……更多
meta推出“v-jepa”视频预测模型
...Cun在2022年推出了JEPA(JointEmbeddingPredictiveArchitectures)模型架构,次年基于JEPA架构开发了一款“I-JEPA”图片预测模型,目前又推出了一款名为“V-JEPA”的视频预测模型。据介绍,相关JEPA架构及I-JEPA/V-JPA模型主打“预……更多
最强开源文生图模型一夜易主!SD原班人马打造,要发SOTA视频生成模型
...宽高比和分辨率。如此强大的性能是怎么做到的?在模型架构上,FLUX.1采用基于多模态和并行扩散Transformer模块的混合架构,并将其扩展到12B参数。团队通过建立流匹配(Flow Matching)来改进最先进的扩散模型,并通过结合旋转位...……更多
新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE
...领域正在经历重大转型,从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基础模型」。目前虽然有不少基础模型已经提出,但如何有效地在高度多样化的时序数据上训练基础模型仍是一个开放问题。近期,来自...……更多
更多关于科技的资讯:
当城市核心区的物理空间增长几近饱和,未来的竞争力新高地何在?12月5日,一场发布会以别开生面的“数字气味”体验开场,为上城区加快建设中央创新区(CID)的战略发布
2025-12-07 07:21:00
日前,山西转型综改示范区入区企业山西恒真真空玻璃科技有限公司自主研发的新产品——“真空发热玻璃”上市。这一产品将高效真空玻璃技术与新型半导体制热技术深度融合
2025-12-07 07:32:00
生产设备共享给清河羊绒带来什么——河北特色产业集群共享智造故事(四)纱线在电脑横机上来回穿梭、电商平台的提示音此起彼伏……随着冬季来临
2025-12-06 08:04:00
厦门移动智慧康养产品亮相首届海峡两岸(厦门)银发博览会
市民现场体验移动随心屏(闺蜜机)的AI舌象问诊功能。厦门网讯 (文/厦门日报记者 许晓婷 王玉婷 通讯员 陈奕珣 图/厦门移动 提供)伸出舌头拍一拍
2025-12-06 08:26:00
厦门网讯 (厦门日报记者 林露虹)刷到一部微短剧,不知不觉被剧情吸引,回过神来看介绍,发现竟是AI参与制作的。类似经历
2025-12-06 08:26:00
从“手搓”到“智造” 厦门跑步机“跑”向全球
厦门网讯 (厦门日报记者 詹文 林健华)在位于同安工业集中区的生产车间里,一节一节钢板正传送上激光切割台,自动切割、打孔
2025-12-06 08:26:00
共建共享破局资源瓶颈:临沂联通与电信合作以5G RedCap创新实现业务与服务双突破
鲁网12月5日讯近日,临沂联通与临沂电信深度践行国家共建共享战略,成功完成全省首个基于电信800M频段的5G RedCap技术承载联通物联网专网业务的商用落地
2025-12-06 13:44:00
中国青年报客户端讯(中青报·中青网记者张均斌)近日,“中央引导地方”专项科技赋能文化方向立项课题——“面向文博场景的智能伴游导览系统研发及示范应用”启动会
2025-12-06 15:25:00
2025教室节能照明标杆盘点 四大品牌绿色护眼解决方案解析
在“双碳”目标引领下,校园节能改造成为教育领域绿色发展的重要方向。据住建部统计,商业建筑能耗中照明系统占比高达35%,学校作为人员密集
2025-12-06 16:09:00
海尔智慧家电亮相迪拜
11月26日至28日,中东地区极具影响力的家电电子展在迪拜世贸中心举办。展会中,海尔智家针对当地高温、多尘等特点,集中展示了洗衣机
2025-12-06 16:10:00
12月1日,豆包手机助手技术预览版正式发布,首发搭载于中兴Nubia工程样机。豆包手机助手是以豆包APP为基础,与手机厂商在操作系统层面合作开发的AI助手软件
2025-12-06 17:41:00
文化中国行|全场听觉无死角 吉林省音乐厅声学揭秘
历经修缮重生的丰乐剧场,以“吉林省音乐厅”之名即将绽放春城。这座历史建筑,从伪满时期影剧院到音乐剧场的跨越,背后藏着一套极致考究的声学设计方案
2025-12-06 18:41:00
伊贝格:让机床行业不再为“头”烦恼
“关键核心技术与高端装备对外依存度高”一直是制约制造业升级的瓶颈。五轴联动铣头作为五轴机床的核心功能部件,过去很长一段时间被欧洲部分知名厂商垄断
2025-12-06 22:07:00
山东重工潍柴集团2026年商务大会圆满召开
鲁网12月6日讯12月6日,以“乘势向上 聚力向新”为主题的山东重工潍柴集团2026年商务大会在潍坊举行。山东重工集团党委书记
2025-12-06 22:43:00
近日,兴业数金上线投产跨境人民币理财项目,建立基于手机银行APP的“跨境理财通”线上功能专区,助力本行成为第二家实现“跨境理财通”业务全线上办理的内地商业银行
2025-12-06 16:08:00