• 我的订阅
  • 头条热搜
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
...发布了训练数据规模近1T、参数规模仅2B的模型:聚焦于适配端侧硬件的端侧大模型MiniCPM-2B。为什么瞄准端侧场景?李大海给出的理由,仍然是旺盛的市场需求,和云端协同的部署趋势。自2023年下半年起,三星、华为、小米、特...……更多
...高推理成本、高资源占用这“三高”,以及算力层的硬件适配,一直是困扰模型落地的最后一公里。尤其在AI+消费级硬件成为行业趋势的当下,如何让大模型在有限算力的终端设备上跑起来,也成为不少终端厂商亟需解决的难题...……更多
推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型
...还能为其模型优化提供精确指导。不仅如此,通过大量的适配工作,百川智能还实现了多平台适配的私有化部署方案,和英伟达、华为、寒武纪、高通、MTK、天数等主流芯片都能适配。多、快、好、省,深受合作伙伴好评那些拿...……更多
优刻得首个「国产千卡智算集群」落地,支持智源千亿大模型训练
...、数据传输和算力调度等方面具有极高的效率。经过精心适配和调优,优刻得国产智算集群现已在上海青浦智算中心全面部署,智源研究院正基于国产算力更高效地完成大模型的训推工作。突破算力瓶颈,技术自主可控基于国内...……更多
“智算融合 共创未来”——开普云AI战略暨新产品发布会召开
...制条件,提高视频内容生成的一致性和可控性; 5.算力适配通用化,在模型推理运行方面,针对重点行业客户应用,与多家国内外算力厂商的产品适配,形成了算力模型一体化产品; 6.模型进步持续化,为保障技术的持续领先...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
...出新的产品。在闭源的商业模型中,厂商把模型和硬件都适配好了,调到了最优状态,客户直接复制成熟经验就可以。但如果你用开源,还要自己去适配调,投入的算力成本、工程师的成本更高。所以我们说企业应用模型要“算...……更多
文心大模型4.0 Turbo来了!百度推出文心快码2.5,已覆盖内部80%程序员
...、动静统一自动并行、编译器自动优化以及大模型多硬件适配等特色。百度智能代码助手Baidu Comate升级至2.5版本,开发、业务迭代及企业落地速度大幅提升,并拥有了全新的中文名“文心快码”,正式加入百度“文心大家族”。...……更多
蚂蚁数科SOFAStack发布全栈AI服务,助力企业用好大模型
...aaS平台SOFAStack正式发布大模型服务平台AI Max。该平台兼容适配主流开源大模型、国产算力,向企业提供进行模型训练、部署、评估、优化等一站式模型工作台,并实现可视化研发、管理多种具备行业知识库的Agent(智能体)应用...……更多
...完成底层芯片到上层操作系统及应用开发的软硬一体深度适配;能够在较低的功耗下运行且适合电池供电的移动设备;有电子围栏技术感知周围的场景。端侧模型也需要链接智能音箱、安全监控、自动化家居控制系统等,提供更...……更多
...初期聚焦于SpiritX智算操作系统的自主研发。该系统不仅适配国内主流GPU(图形处理器)厂商,通过调度算法优化、算子优化、集群网络优化提升国产GPU在大模型训练与推理场景中的性能,还能够适配国内外主流开源、商用大模...……更多
国产GPU为底座,摩尔线程首个千卡智算中心落地
...一体化大模型解决方案,积极与广泛的生态伙伴开展兼容适配及技术调优等工作,共同推动国产大模型生态的全面繁荣。在最后的圆桌对话环节,摩尔线程副总裁董龙飞与中能建绿色数字科技(中卫)有限公司董事长墙虎、智谱...……更多
商汤科技sensetime推出“云端边”全栈大模型体系
...话时表示:“商汤的云边端全栈组合,可以很好地赋能和适配小米物联网生态。我们希望与商汤共同为我们的用户打造更具智能化的产品体验。”左为小米集团小爱总经理王刚,右为商汤科技联合创始人、首席科学家王晓刚此外...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
...的加速卡设计的AI大模型,通用服务器的处理器与之并不适配。原因很明显:后者虽然拥有高通用性和高性能的计算核心,但并没有并行工作的环境。通常来说,通用服务器会将先将模型的权重传给一个CPU,然后再由它去串联其...……更多
跨越算力鸿沟丨星凡科技2024AI算力集群产品发布会圆满成功
...三重使能平台,帮助大模型开发者解决国产芯片性能低、适配难,开发成本高、难度大等一揽子问题。1.神机AIOS致力于打造国内首个算力中心运营全场景AGI,通过Agent自然语言交互智能帮助开发者极简极低打造行业大模型,减少...……更多
GPU受限,国内AI大模型能否交出自己的答卷?
...芯片尚需生态支撑事实上,比起硬件性能上的差异,软件适配与兼容让国内客户接受更难。当大模型和应用层面的竞争拉响,从商业角度思考,采用国产AI芯片参战并不是好的选择。从硬件性能上,使用国产AI芯片计算会比采用...……更多
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...伟达、英特尔等国内外主流 AI 芯片的混合训练,并全面适配。同时通过「控制台」轻松一键发起,易用性很高。百舸 4.0 还通过大模型训推加速套件 AIAK 支持了更多使用场景、多种模型架构和主流训推方式,全能属性拉满。 当...……更多
芯片“围城”加剧,如何通过“算力运营”加速国产商业落地?
...还是很大,只是现有供给类型无法满足用户需求。无论是适配方面还是性价比角度,都达不到客户的预期。”IDC中国分析师杜昀龙总结到。在当前AI企业深受算力成本高昂之困、中小开发者与创业公司在算力租赁上尤感压力的背...……更多
腾讯开源最大MoE大语言模型!3D大模型同时支持文/图生成,晒混元模型及应用全家桶
...保证模型的训练稳定性和收敛速度;3)专家特定学习率适配策略,根据学习率和Batch size的缩放原则,为不同专家适配不同的最佳学习率,以提高模型训练效率。3、高质量的合成数据:混元团队在天然文本语料库的基础上,利用...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...品兼容性。“目前几乎所有的CPU企业都和我们的GPU完成了适配,我们一个驱动可以支持几乎所有的CPU,”他谈道,“我们希望完美体验系统让国内的CPU、操作系统和我们的GPU工作在一起的时候,可以为客户提供一个完整且很好的...……更多
PC迎来AI时刻,英特尔、微软、联想等纷纷布局,产品价格将迎上涨
...一代的8倍,可在PC上实现高能效的AI加速和本地推理,并适配超过10款国产大模型。英特尔的老对手AMD则抢先一步,上周发布Ryzen 8040系列处理器。该处理器集成了升级的专用AI引擎NPU,算力为16TOPS,AI性能相比上一代提升60%,支持...……更多
张云泉:集中力量,促进国产AI大模型发展
...导低功耗推理芯片和算子库技术攻关,鼓励大模型压缩、适配和性能调优等技术研发,通过规模效应实现成本共担,降低模型推理算力成本,形成经济适用国产大模型推理产业链。此外,可为大模型企业和愿意通过大模型手段智...……更多
CPU,正在被AI时代抛弃?
...方面进行技术探索——硬件层面的升级和软件层面的优化适配。千帆大模型平台采用xFT,主要进行了以下三方面的优化:●系统层面:利用英特尔®AMX/AVX512等硬件特性,高效快速地完成矩阵/向量计算;优化实现针对超长上下文...……更多
...算效率和算力开销两大问题成为新的行业焦点。对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决...……更多
百川智能、阿里云等进入开源大模型领域,开启商业化前奏
...用于自身业务优化并对外开放合作。 大模型分为训练和推理两个过程,前者将大模型训练成型,后者即为应用。由于训练大模型需极大算力,开发成本高昂,业界多有关于不需“重复造轮”的讨论。例如,入场做大模型后,百...……更多
联想王传东:2027年AI PC将成为市场主流
...下也能使用;第三,更低的大模型使用成本,以本地免费推理为主、以云端公共推理为辅,一次性购买AIPC即可享受全生命周期的本地免费推理服务;第四,可信、安全的个人数据和隐私保障,个性化本地知识库、隐私数据的本...……更多
算力浪费超50%!百度AI计算部负责人拆解大模型时代的算力成本
...算力优势,构建一系列复杂的加速库和框架,有针对性地适配不同应用场景。目前,我们已处于AI大集群超算时代。单一的芯片已经不足以独立解决问题,因此需要大规模的芯片协同解决一个问题,GPU集群规模甚至达到10万卡。...……更多
突破遥感基础模型关键技术!我国科研人员研发出遥感智能训推一体机
...多个边缘场景低成本灵活部署。在自主创新方面,一体机适配了昇腾AI环境与昇思MindSpore框架,实现了软硬一体的自主创新。“空天·灵犀”遥感智能训推一体机搭载的高精度、高时效轻量化基础模型,能够在自然资源、交通住...……更多
空天信息+人工智能 中国科研团队成功研发遥感智能训推一体机
...。在自主创新方面,“空天·灵犀”遥感智能训推一体机适配昇腾人工智能环境与昇思人工智能计算框架(MindSpore),实现软硬一体。中国科学院空天院赛博智能团队透露,未来,基于昇腾人工智能的“空天·灵犀”遥感智能训推一...……更多
“技术故障”背刺巴菲特,金融大模型到底靠不靠谱?
...尔®至强®CPUMax系列处理器在硬件能力、软件优化、生态适配、总拥有成本优势等方面都与金融场景非常契合,不失为业界大模型落地的一种新思路。如何评价?随着数字化转型的不断深入,大模型为金融行业带来的机遇与挑战...……更多
对话云天励飞董事长陈宁:2030年人类将实现AGI,推理芯片将是蓝海市场|钛媒体AGI
...芯片DeepEdge10 Max创新的D2D chiplet架构打造的X5000推理卡,已适配并可承载10亿级SAM、百亿级Llama2等大模型运算,可广泛应用于AIoT边缘视频、移动机器人等场景。据介绍,“深目”AI模盒内置的自研多模态大模型“云天天书”,包含...……更多
更多关于科技的资讯:
big胆!一位up主引发两个车企法务部严正声明
没想到临近春节,车圈还能这么热闹。先是雷军转发了小米法务部的抓人声明,后是极氪法务部转发了去年发的微博并再次声明。上次算辟谣
2025-01-28 13:41:00
DeepSeek,这条诞生在杭州的“鲸鱼” 这几天在全球科技圈、资本圈掀起滔天巨浪
金鳞耀岁 共启新程梁文锋在总理座谈会上发言 新闻联播截图昨天傍晚DeepSeek最新发布的乙巳新年春节AI贺词 一场名为DeepSeek(深度求索)的风暴
2025-01-28 07:53:00
“洋”年货走俏 中国“年货经济”走向全球
置办年货始终是过年的重要仪式。最受老百姓钟爱的年货都有啥?阿里巴巴联合第一财经商业数据中心发布的首份“中国年货大数据报告”显示
2025-01-28 08:24:00
开心消费过大年!家电以旧换新正当时
大众网记者 张婷婷 魏现芳 济南报道随着春节的临近,家家户户都在忙着准备年货。国家以旧换新政策的推出,更是为广大消费者提供了一个选购家电年货的好机会
2025-01-28 08:42:00
一觉醒来,英伟达跌掉了2个半茅台,源头竟是杭州这家公司
来自DeepSeek的震撼还在继续,美股科技股集体崩盘了,市场蒸发超一万亿美元。美国科技股大跌就在今天凌晨,美国标普500下跌1
2025-01-28 08:55:00
DeepSeek:线上服务受到大规模恶意攻击
1月28日消息,DeepSeek于服务状态页面公告:近期DeepSeek线上服务受到大规模恶意攻击,为持续提供服务,暂时限制了+86手机号以外的注册方式,已注册用户可以正常登录,
2025-01-28 08:55:00
向 “数” 向 “新”,南康构建现代化产业新体系
本文转自:人民网-江西频道自动化设备正在进行开料作业。张欣苑摄数智赋能,传统产业提质增效;新兴产业崛起,低空经济逐梦蓝天
2025-01-28 09:44:00
配备30台大功率充电终端!即墨汽车总站充电站上线运营
齐鲁晚报·齐鲁壹点 赵波 新春佳节的脚步日益临近,青岛城运能源科技集团为即墨市民送上了一份特别的节日礼物——即墨汽车总站充电站于1月27日正式上线运营
2025-01-28 13:49:00
2025年,中国给了世界第一个惊喜,还有些惊吓
毫无疑问,这是2025年,中国给世界的第一个惊喜。当然,对西方某些人来说,这也是惊吓。看了一下,北京时间1月28日凌晨
2025-01-28 09:50:00
【多彩新论】别让“电商专供”成为消费“陷阱”
在当下消费市场,“电商专供”产品似乎陷入了信任危机。卷纸变小、洗衣液变稀、同款产品线下难寻等现象频发,让“电商专供”在许多消费者心中与质量缩水画上了等号
2025-01-28 02:16:00
余承东华为3月重磅新品:别人想不到 全国人民抢购都买得起!
快科技1月28日消息,日前,华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东开启直播,驾驶享界S9回安徽老家过年
2025-01-28 06:36:00
如不能正常浏览请选用IE浏览器天津北方网讯:潮购津门,乐呵过年。第二届天津电商节年货节,“一站式”购齐年货,欢欢喜喜过大年。#你好天津 #点赞天津……(津云新闻编辑张麒麟)
2025-01-27 15:37:00
AI入口 “爱”的入口
江南时报讯 春节是团圆的盛宴,凝聚着家的灵魂、力量与温暖。南来北往的游子,对于“家”有着更深的情结与眷恋。春运期间,中国电信联合江苏交通文化传媒有限公司在江苏高速阳澄湖
2025-01-27 15:51:00
完美世界再发反腐通报:开除4人,永不录用
根据一份流传到网上的内部公告,1月24日,完美世界开除了百万工作室四人,其违规行为包括在素材制作外包管理方面玩忽职守,构成严重失职
2025-01-27 16:03:00
过年回家,你锁门了吗?Zigbang直帮(原三星指纹锁)
过年回家,你锁门了吗?Zigbang直帮(原三星指纹锁),自动上锁不操心随着春节的脚步日益临近,人们纷纷踏上了归家的旅程
2025-01-27 16:11:00