• 我的订阅
  • 头条热搜
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了!马斯克19天建成由10万块H100串联的世界最大超算,已全力投入Grok 3的训练中。与此同时,外媒爆料称,OpenAI和微软联手打造的下一个超算集群,将由10万块GB200组成。...……更多
百川智能、阿里云等进入开源大模型领域,开启商业化前奏
...消息称三星担心传输至生成式AI平台的数据被存储在外部服务器上,已禁止员工使用ChatGPT、谷歌Bard等生成式AI工具。开源之后对大模型企业而言,开源与闭源并不矛盾,企业在开源与闭源、收费与免费之间选择,阿里云是在闭源...……更多
马斯克新动向!365亿元
...文合作开发这台大型计算机。xAI是甲骨文最大的H100芯片服务器的租赁客户,已经使用了后者超过1.5万块H100芯片。马斯克去年7月创立了xAI,专注于人工智能业务,旨在挑战微软支持的OpenAI和谷歌。去年11月,xAI推出首款AI大模型...……更多
马斯克Colossus AI超算集群内部首曝:足足10万英伟达H100 GPU
...olossus AI超级计算机集群采用的是超威电脑(Supermicro)的服务器,其基于NVIDIA HGX H100方案,每个服务器中拥有8个H100 GPU,封装在 Supermicro 的 4U 通用 GPU 液冷系统内,为每个 GPU 提供简单的热插拔液冷。这些服务器装载在机架内,……更多
AI行业深度研究:乘大模型之风,AI芯片元老寒武纪再度起航
... 时间高景气,据 IDC 及 TheNextPlatform 统计,2023 年全球 AI 服务器 市场 规模预计将超 500 亿美元,2027 年预计将超 946 亿美元。在这一场科 技盛 宴中,Nvidia 凭借前瞻的布局、CUDA 生态的壁垒、从 P100 到未来 R100 芯 片的快速……更多
...模型在手机上应用的一种常见方法。计算任务分配给云端服务器,手机在本地处理一些简单算力任务,而将更复杂的任务发送到云端,这可以通过使用较小、优化的模型或硬件加速来实现。另外,通过模型压缩和优化,如知识蒸...……更多
李彦宏称开源赶不上闭源?Meta发布最强开源模型,马斯克评价“还不错”
...集的7倍多,代码数据量也增加了四倍。并在含有2.4万个英伟达GPU集群上训练,训练效率提高3倍。Meta表示,Llama 3预训练数据集超过5%来自高质量的非英语数据,能更好满足各国用户、不同语言背景的使用需求。此外,Llama 3在安...……更多
英伟达llama-3.1-minitron4bai模型发布
8月17日消息,英伟达公司联合Meta公司发布了最新的Llama-3.1-Minitron4BAI模型,主要通过结构化权重剪枝、知识提炼等尖端技术,成功蒸馏(Distill)出40亿参数的“小而强”模型。图源:英伟达Llama-3.1-Minitron4B模型在Llama-3.1-Minitron……更多
英伟达展示blackwell平台,否认推迟上市
8月24日消息,英伟达邀请部分媒体举办吹风会,向科技记者首次展示了Blackwell平台。英伟达将出席8月25-27日举办的HotChips2024活动,展示Blackwell平台在数据中心投入使用的相关情况。否认Blackwell推迟上市消息英伟达在本次吹风会...……更多
AI争霸战开启!OpenAI急建10万块GB200超算,马斯克10万块H100月末开训
...。 在马斯克最新帖子中,针对报道——xAI与甲骨文终止服务器交易谈判,立即做出了回应。他表示,xAI已经向甲骨文购买了24000块H100,并在这些芯片上训练的Grok 2。Grok 2目前正在进行微调、错误修复,预计下个月准备就绪发布...……更多
消息称马斯克的xAI已订购10.8亿美元的英伟达GB200 AI服务器
...初创公司 xAI 已向英伟达订购了价值 10.8 亿美元的 GB200 AI 服务器,并获得了优先交付权。预计英伟达将于 2025 年 1 月开始交付这些服务器,由富士康代工生产。报道称,马斯克直接联系了英伟达 CEO 黄仁勋,讨论了 xAI 的 GB200 服...……更多
英伟达发布全球最小AI超级计算机:最多可处理2000亿参数AI模型
快科技1月7日消息,在CES 2025大展上,英伟达CEO宣布推出用于AI开发的台式计算机“Project Digits”,号称全球最小的个人AI超级计算机,将于5月左右上市。据悉,Project Digits配备了最新的GB10 Grace Blackwell超级芯片,包含了英伟达Black..……更多
自定义Llama 3.1模型的利器来了!NVIDIA打造生成式AI代工厂,还有加速部署的微服务
...构建NVIDIA NIM推理微服务,以便在其首选的云平台和全球服务器制造商提供的NVIDIA认证系统上,使用自己选择的最佳机器学习运维(MLOps)和人工智能运维(AIOps)平台在生产中运行这些模型。NIM微服务有助于将Llama 3.1模型部署到...……更多
微软被曝未来3年花1000亿美金囤芯片;杨元庆:AI不是取代人类的智能|钛媒体AGI
...的战略资源,需要被开采、输送、提炼。因此,企业需要服务器、网络和存储设备,才能让海量数据各就其位,物尽其用,再通过AI模型和算法来实现企业的数据智能。未来,我们会看到AI将不仅在公有云上运行,还将在本地数...……更多
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
...ricks、谷歌云、Hugging Face、Kaggle、IBM WatsonX、亚马逊Azure、英伟达NIM和Snowflake上被提供给开发者,并获得 AMD、AWS、戴尔、英特尔、英伟达和高通提供的硬件平台支持。为了让Llama 3被负责地开发,Meta还将提供新的信任和安全工具,.……更多
全面不鸟英伟达!曝小鹏自研图灵芯片5月上车
...排除原报道存在误差。)据悉,小鹏单颗图灵芯片算力比英伟达Orin X的254 TOPS强大很多,只比还未量产的英伟达Thor中配版低一点,对于小鹏来说是足够了,而且性价比比Thor高太多。因此小鹏接下来所有全新车型都将会搭载自研...……更多
...。也就是说,AIDC对相关零部件提出了更高的要求。比如AI服务器电源,是给AI服务器供能的关键部件。因为高压电从电网进入数据中心后,服务器电源供应器会先将交流电转为直流电,并降压到48伏特;接着主板上还需要转换器...……更多
有了它,断网也能“纵享丝滑”
...网络,如果网络不稳定,信号覆盖不到或者信号质量差,服务器处理能力不行的情况下,它的识别会非常不稳定。其次就是云端无法保证用户的隐私安全,存在泄漏风险。再就是云端的运行成本非常高,因为它要搭建,涉及到搭...……更多
百亿无主“妖股”鸿博股份还作妖吗?
...子公司英博数科将向百川智能提供一定规模的英伟达智算服务器所有算力和资源,涉及金额预计13.82亿元,履行期限为2024年1月30日开始的三年。百川智能的创始人是前搜狗CEO王小川,是立志要做“中国版Open AI”的老板。去年10月...……更多
CPU,正在被AI时代抛弃?
...性和数据的安全性。但这也就愈发让我们好奇,作为通用服务器,CPU在AI时代可以发挥怎样的优势?其背后的技术原理又是什么?1、AI时代,CPU是否已被被边缘化?提起AI训练和AI推理,大家普遍会想到GPU更擅长处理大量并行任务...……更多
英伟达GB200 NVL72面临过热问题,或将更改设计及延迟发货
...,英伟达(Nvidia)最新一代的 Blackwell GPU在安装在大容量服务器机架中时,正面临过热的重大挑战,这些问题甚至导致了设计更改和发货延迟,并引起了 Google、Meta 和 Microsoft 等头部客户对他们能否按时部署基于 Blackwell GPU的AI服...……更多
通义千问发布半年,大模型已不是阿里云唯一主角 | 焦点分析
...据晚点报道,周靖人表示,最初阿里云想把几百台(GPU)服务器连起来做训练都很难,云优化一点,大模型才能发展一点。模型发展到一定程度又遇到挑战,又需要云去升级。正因如此,阿里云这几年都在强调要回归基础计算技...……更多
本周(4.8-4.14)AI界发生了什么?
...涨超4%,约 1120 亿美元。英特尔发布新AI芯片,性能超越英伟达H100当地时间4月9日,英特尔Vision大会上发布新一代 Gaudi 3 AI 芯片。新款 Gaudi 3 与英伟达 H100 相比训练性能提高了 170%,推理能力提高了 50%,效率提高了 40%,且成本更...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...DU 展现出了独特优势,也被视为 GPU 的最有力竞争者 。与英伟达相比,Sambanova 最新 Llama 3.1 模型上生成 token 的性能快了 10 倍以上,并且通过 cloud.sambanova.ai 公开供开发人员使用。RDU 能够实现更快的推理速率,更利于大模型的部...……更多
技嘉展示高性能人工智能服务器:曾获英伟达唯一认证
...北电脑展期间,我们就发现了技嘉为AI所打造的人工智能服务器,受到了行业的关注。在技嘉展台,首先受到关注就是G593-SD0,技嘉表示这是经过NVIDIA认证的可高性能支持HGXH1008xSXM5的5U人工智能服务器。G593-SD0采用了英特尔第四代...……更多
永擎推出全新的MECAI-GH200
...MECAI-GH200,号称是全球最小的英伟达GraceHopperGH200超级芯片服务器。GraceHopperGH200服务器处理器结合了英伟达™(NVIDIA®)GraceCPU和HopperAIGPU,通过NVLink互连进一步优化其性能。CPU拥有72个ArmNeoverseV2内核和480GBLPDDR5X内存……更多
一文读懂黄仁勋CES重磅发布:最新5090芯片、世界最大AI计算机、首个世界模型
...?喜欢我的夹克吗?”在“科技春晚”CES 2025开幕首日,英伟达创始人&CEO黄仁勋依然穿着标志性的黑色皮衣发表了主题演讲。在约90分钟的演讲中,黄仁勋发布了一系列重磅技术产品,包括新一代基于Blackwell架构的RTX 50系列显...……更多
Enfabrica推出全球最快GPU网络接口控制器芯片,获1.15亿美元融资
...供更高效的主机内存管理和突发带宽,从而共同提高 GPU 服务器群的整体效率和每秒浮点运算 (FLOP) 的利用率。并且,ACF SuperNIC 所采用的标准接口,可以在不改变设备驱动程序和协议的情况下,在 CXL 3.0 到来之前实现内存扩展和...……更多
geforcenow云游戏服务将出现在汽车上
...话,乘客可以在后座上玩游戏。GeForceNOW采用由云端GeForce服务器提供的突破性低延迟流媒体技术,实现了超过1000款游戏的实时播放,此外,该服务还涵盖许多最受欢迎的免费游戏。我们看到,英伟达还宣布为GeForceNOW云游戏进行...……更多
全球首款Transformer专用AI芯片Sohu发布:比英伟达H100快20倍
...集成应用更是令人瞩目。据测试,一台配备8块Sohu芯片的服务器,其性能足以媲美160块H100 GPU的集群。具体而言,集成8块Sohu芯片的服务器每秒能够处理高达50万的Llama 7B tokens,这一数据在业界堪称前所未有。而打造这款杰出芯片...……更多
更多关于科技的资讯:
基于“祖冲之2号” 中国科大首次实现量子体系高阶非平衡拓扑相
大皖新闻讯 11月28日,大皖新闻记者从中国科学技术大学获悉,该校潘建伟、朱晓波、彭承志、龚明等学者牵头合作,基于可编程超导量子处理器“祖冲之2号”
2025-11-28 12:52:00
摘要:品牌战略对于企业品牌形成和竞争力的提升有着不可替代的作用,随着市场竞争越来越激烈,品牌战略成为企业争夺市场的一个有力武器
2025-11-28 06:49:00
坚定信心 勇挑大梁·产业新亮点丨河北特色产业集群共享智造故事(二):技术创新共享给安平丝网带来了什么
技术创新共享给安平丝网带来了什么——河北特色产业集群共享智造故事(二)11月21日,安平县高新区绿色产业园区,河北丝筘金属制品有限公司车间里
2025-11-27 08:12:00
海底捞、阿嬷手作等品牌接入,顺丰同城“独享专送”餐饮品类单量同比激增3倍
随着即时零售市场的持续扩张和竞争深化,消费者对即时配送的需求正从“送达”向“送好”升级,推动即时配送加速服务分层,以准时
2025-11-27 08:16:00
风格各异的手作店、静谧雅致的咖啡馆、独具韵味的民宿……如今,在河北很多城市的街头巷尾,小店经济快速发展,在促进消费、扩大就业
2025-11-27 09:02:00
济南海尔第九届感恩月重磅启幕 以真心回馈亿万用户信赖
鲁网11月27日讯11月26日,济南海尔感恩月启动会拉开帷幕。以更加诚挚的福利、更具力度的优惠,回馈用户多年来的信赖与支持
2025-11-27 11:05:00
伽利略智能仿生四足防爆机器人EX-1重磅亮相2025中国国际应急管理展览会 开创高危环境智能作业新纪元
2025年11月18日至20日,以"新质赋能 智慧应急"为主题的2025中国国际应急管理展览会在北京国家会议中心隆重举办
2025-11-27 11:47:00
2026中国特许加盟展全年档期正式发布:两展三会贯通全年,全球特许盛宴即将启幕
由全国性行业组织中国连锁经营协会主办的中国特许加盟展公布2026全年展会规划,将继续采取全国巡展模式,以"两展三会"的形式贯通全年
2025-11-27 11:47:00
中新经纬11月27日电 题:机器人去景点“上班”,游客的快乐从哪里来?作者 周慎 中国科学技术大学科技传播系副研究员、徽州人工智能研究院院长近日
2025-11-27 12:15:00
执“碳”为尺 绘就绿色物流新图景
鲁网11月26日讯冬日清晨的泰山脚下,山东省泰安市烟草专卖局(公司)送货员刘婷正用扫码枪轻触循环周转箱上的智能芯片,“您瞧
2025-11-27 12:15:00
中新经纬11月27日电 国务院新闻办公室27日举行国务院政策例行吹风会,介绍增强消费品供需适配性进一步促进消费政策措施有关情况
2025-11-27 12:20:00
海外科技媒体Tech Times:AI助手“灵光”让难题处理“如清风拂面般轻松”
蚂蚁集团11月18日推出的全模态通用AI助手“灵光”在国内迅速出圈后,引发海外科技媒体和社交平台的关注。美国知名科技媒体《科技时代》(Tech Times)报道称
2025-11-27 14:32:00
华为新品发布会藏惊喜!来华为浏览器解锁资讯获取新方式
2025年11月25日,华为Mate 80系列|Mate X7及全场景新品发布会如期而至,这场科技盛宴备受瞩目。在首发搭载的HarmonyOS 6操作系统与Mate 80新机的双重赋能下
2025-11-27 14:41:00
胜者智选:全人成长新范式 锚定教育变革核心
从体质强健到能力培养,从AI融合到成本理性化,教育行业正迈向健康底色、核心能力、创新素养的全人培养新阶段。在此背景下,胜者教育旗下核心品牌“胜者智选”以生态化布局回应时代需求
2025-11-27 14:43:00
网易云音乐“AI写歌”功能上线测试 普通人也能“玩”音乐
近日,网易云音乐旗下网易天音“AI写歌”趣味功能上线测试,旨在用AI降低音乐创作门槛,帮助音乐人更好捕捉灵感创意的同时
2025-11-27 14:44:00