• 我的订阅
  • 头条热搜
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了!马斯克19天建成由10万块H100串联的世界最大超算,已全力投入Grok 3的训练中。与此同时,外媒爆料称,OpenAI和微软联手打造的下一个超算集群,将由10万块GB200组成。...……更多
AI大厂硬刚价格战,中小模型夹缝求生存
...资源和成本也越相应增加。而承载超大参数量的背后则是服务器数量。据安信证券测算,目前ChatGPT每天所需的算力约50EFLOPs,所需服务器约1万台,若ChatGPT的用户量继续保持上涨,假设到24年底用户数量为5亿,则需要23万台服务...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...大在于,建立了完整的自研芯片产业链,形成网络芯片、服务器芯片、AI芯片三条产品线。在AI芯片领域,亚马逊的自研产品就通用计算芯片、机器学习训练芯片、学习推理芯片等。满打满算,从2013年推出首款自研芯片Nitro1以来...……更多
大模型应用疯狂加速,洗牌却在静悄悄进行了
...让腾讯具备了更强的“全局优化”能力。从自研的星星海服务器,到新一代HCC高性能计算集群,再到自研的星脉高速网络,腾讯已经为自己打造了一整套面向AIGC的高性能智算网络。据腾讯内部负责人介绍,目前腾讯云已经可支...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...首先有自研全功能GPU,基于GPU做出计算加速卡,再组建成服务器,放进超融合一体机,然后将这样的4台机器整合到一个机柜里,形成一个小集群,小集群连成大集群,大集群的线性加速比高于91%。有了这样一个灵活组合的集群...……更多
大模型厂商急寻PlanB:英伟达改良版芯片已调试 华为等国产算力供应不足
...,英伟达面向中国市场的改良版——HGX H20已与国内头部服务器厂商在进行适配测试,由于具体的性能差异和优化程度挂钩,目前还很难对其与高配版H800做性能对比,但是,预估HGX H20的8卡服务器仍高达百万级。英特尔则对Gaudi 2...……更多
存储市场“供销两旺”原厂业绩好转,AI对存储应用市场提出要求
...近日在线上对记者分析说。进入2023年,除传统手机、PC和服务器市场外,ChatGPT开启的AI大模型浪潮、汽车智能化浪潮带来更多商业机会,这些应用场景对数据存储的容量、效率、流动性和安全性等方面提出了更高的需求。面对新...……更多
英特尔预计2024年正式上市Gaudi3,用于生成式AI模型
...伴和7家云服务商基于第五代至强处理器准备好了全新的服务器和云服务。”英特尔数据中心与人工智能集团副总裁兼中国区总经理陈葆立称。自去年年底ChatGPT发布以来,大语言模型技术支持下的AIGC应用获得了极大的发展。而这...……更多
AI服务器缺货真相调查:两天涨价30万,连“味精大王”都入场了
几乎是一夜之间,AI服务器价格在国内市场中飙升。智东西从一位服务器渠道销售人员处得知,搭载英伟达A800 GPU的热门AI服务器型号的价格已达140~150万元/台,比今年6月上涨超40%;搭载8颗英伟达H800 GPU的AI服务器价格上涨则更离...……更多
前商汤通用模型负责人打造3D大模型「Tripo」,3D生成迈入「秒级」时代 | 早期项目
...战,实现通用且可扩展的解决方案。这对算法、数据量、服务器等有很高的要求一一不过这恰恰也是VAST团队的核心优势。VAST这一思路提高了生成模型的成功率和效率。目前,已经实现8秒钟生成带纹理3D网格模型,可以进入传统...……更多
阿里云挥出“三板斧”:免费也要挣到钱
...下来的模型“放置”在任何一个云厂商平台上,通过虚拟服务器跑起来。上述人士介绍,在第二种形式中,阿里云构建了百炼平台、灵积(DashScope)平台等,为用户提供模型训练、推理等所需的算力服务。这些平台不仅支持阿里...……更多
英伟达特供芯片卖不动了?黄仁勋穿上东北花袄“示好”,中国大厂难掩AI野心
...囤货,大批量购买A800、H800等英伟达芯片,目前已部署的服务器总量尚能支撑市场需求,故而对“减量不减价”的H20兴致缺缺。而前人工智能NLP企业首席科学家、千芯科技董事长陈巍进一步向时代财经记者透露,国内交易市场中...……更多
有了它,断网也能“纵享丝滑”
...网络,如果网络不稳定,信号覆盖不到或者信号质量差,服务器处理能力不行的情况下,它的识别会非常不稳定。其次就是云端无法保证用户的隐私安全,存在泄漏风险。再就是云端的运行成本非常高,因为它要搭建,涉及到搭...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
... ASIC。通过专门化,Sohu获得了前所未有的性能。一台8xSohu服务器每秒可以处理超过50万个Llama 70B token,等效于160块H100 GPU。Sohu仅支持Transformer推理,并支持当今所有的模型(Google、Meta、Microsoft、OpenAI、Anth……更多
AI手机没有独家大模型供应商
...是一项长期消耗成本、且暂时还无法停下的趋势,无论是服务器消耗的电力、相关研发等都需要持续的投入。算法交易公司Deep Trading就曾指出,ChatGPT4以1.8亿用户基数和每人100Ktoken/天计算,每日成本就高达88.2万美元。此前vivo副...……更多
够21万人喝一辈子的水 还不够谷歌服务器用7个月
...水?今天就来跟大家聊聊,那些互联网巨头们都是怎么给服务器散热的。有什么办法,能把杭州西湖的水给用完?这是杭州西湖,三面环山,面积约6.39平方千米,南北长约3.2千米,东西宽约2.8千米,水体容量约为1429万立方米。...……更多
大模型价格战“卷”向何方?|深度
...掀起了“降价潮”,阿里、百度、腾讯等纷纷加入战团。大厂“钱多、卡多、算力足”无惧价格战,以惯有的免费模式先聚集用户与开发者。中小大模型创业公司普遍还在勒紧腰带苦苦打造爆款应用,也不得不匆忙接招。大模型...……更多
AI时代不甘落后:英特尔全新软硬件平台助力企业加速创新
...外机架密度也是上代的2.7倍。英特尔称72个机架的新一代服务器就能完成过去200个机架服务器的工作量,差不多节省了1兆瓦的功率,能够满足1300个家庭的能源需求。 在边缘计算上,英特尔AI硬件也同样给力,预计到2030年,边缘...……更多
百川智能、阿里云等进入开源大模型领域,开启商业化前奏
...消息称三星担心传输至生成式AI平台的数据被存储在外部服务器上,已禁止员工使用ChatGPT、谷歌Bard等生成式AI工具。开源之后对大模型企业而言,开源与闭源并不矛盾,企业在开源与闭源、收费与免费之间选择,阿里云是在闭源...……更多
模型即服务,卓世科技MaaS平台 2.0 正式上线
...型部署:将训练好的模型部署到生产环境中,可能包括云服务器、边缘设备或特定硬件上。 2、API集成:提供API接口,使得模型可以被其他应用程序调用,实现模型服务的快速集成。 3、应用开发框架:提供一套框架和工具,帮...……更多
疯狂一夜!美国AMD、谷歌纷纷亮出大杀器,人类迎来巨变前夜?|钛媒体焦点
...更多是针对生成式 AI 所研发的训练芯片。每个TPU v5p pod(服务器组)都由8960个芯片组成,它通过TPU带宽最高的芯片间互连(ICI)以每秒4800Gbp速度在3D拓扑结构中连接。与TPU v4相比,TPU v5p的Flops性能提高了2倍以上,高带宽内存(H...……更多
【科技早报】联想、英特尔、爱奇艺签署谅解备忘录;国内低轨卫星通信测试成功
...“云工开物”计划,给中国所有在校大学生每人送一台云服务器在10月31日举办的2023云栖大会上,阿里云首席技术官周靖人发布阿里云高校计划“云工开物”,计划将为中国所有在校大学生免费提供一台云服务器,所有高校学生...……更多
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...用并落地的开源千亿MoE大模型,也是首个支持用单台4090服务器推理的开源千亿MoE大模型。开源地址Skywork-MoE的模型权重、技术报告完全开源,免费商用,无需申请。模型架构本次开源的Skywork-MoE模型隶属于天工3.0的研发模型系列...……更多
若愚科技推出九天机器人大脑,大模型总参数规模达130亿 |项目报道
...用功能。若愚九天机器人大脑架构若愚科技选择将和头部服务器厂商合作,通过服务器厂商的核心需求,来覆盖不同领域的70%、80%的场景。未来,公司计划在与中长尾客户合作时,进一步增加客户需要的功能。若愚科技已经完成...……更多
4月17日,浪潮信息与英特尔(Intel)联合发布AI通用服务器NF8260G7,在业界首次实现服务器基于通用处理器支持千亿参数大模型的运行,灵活满足基于大模型的AI应用及云计算、数据库等通用场景,为企业大模型应用落地提供更高效...……更多
算力市场格局生变,谁能“拔得头筹”?
...,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3Ttokens的训练。6月17日消息,江苏鲲鹏·昇腾生态创新中心首席运营官王陶日前公开表示,昇腾集群是国内唯一已完成训练千亿参数...……更多
英伟达带来最强AI芯片,但赶超苹果又远了一步?
...伟达的新一代芯片平台。基于该平台,英伟达提供有多种服务器节点规格,性能从小到大依次为:HGX B100,HGX B200,以及GB200 NVL72。HGX B100配备x86 CPU和8个B100 GPU。HGX B200使用8个B200 GPU 和1个x86 CPU。最强大的GB200 N……更多
CPU,正在被AI时代抛弃?
...性和数据的安全性。但这也就愈发让我们好奇,作为通用服务器,CPU在AI时代可以发挥怎样的优势?其背后的技术原理又是什么?1、AI时代,CPU是否已被被边缘化?提起AI训练和AI推理,大家普遍会想到GPU更擅长处理大量并行任务...……更多
为AI加速而生 英特尔第五代至强CPU带来AI新表现
...场展示了搭载第五代至强®️ 可扩展处理器的新一代自研服务器所呈现的能力——全部以超过20%的性能提升“姿势”亮相!具体而言,京东云与上一代自研服务器有了如下的性能提升:• 整机性能提升达123%;• AI计算机视觉推理性能...……更多
Sora横空出世 互联网大厂将却未来几年的命运交给了?
...10亿美元,为OpenAI提供支撑大模型开发所需要强大算力的服务器;2021年,微软又向OpenAI追加了20亿美元的投资;直到2023年12月,OpenAI凭借聊天机器人ChatGPT一炮而红,微软顺势在2024年1月增加投资100亿美元。 大笔投入技术,这让...……更多
更多关于科技的资讯:
目前,安装ETC的车主越来越多,使用ETC通行高速,也成为越来越多现代车主出行的便捷选择。然而,在使用过程中,有时可能会遇到一些问题
2024-12-22 17:48:00
新时代的奔腾!Intel Wildcat Lake首次曝光:可能18A工艺
快科技12月22日消息,我们第一次看到了Intel一款新处理器的名字“Wildcat Lake”(野猫湖),目前看定位于入门级
2024-12-22 18:33:00
酷睿Ultra 200 65W包装盒首曝:没有无核显285F、没有3系列
快科技12月22日消息,Arrow Lake桌面版酷睿Ultra 200系列目前发布的只有K/KF系列,65W主流版本和35W节能版本将在明年初发布
2024-12-22 18:33:00
男孩在澳大利亚海滩发现奇怪生物 专家警告:恐有剧毒
快科技12月22日消息,据报道,一名男孩在澳大利亚巴特曼斯湾海滩惊现形似“外星生物”的物种。据悉,这种生物呈现出独特的蓝色管状形态
2024-12-22 18:33:00
最高时速250km/h!广汽集团发布GOVY AirJet飞行汽车官宣:2025年开启预订
快科技12月22日消息,广汽集团近日详细介绍了其全新飞行汽车品牌GOVY高域及首款复合翼飞行汽车GOVY AirJet
2024-12-22 18:33:00
CPU-Z小升级:支持Intel四大新品、新内存
CPU-Z近日迎来了一个小幅升级版本,v2.13,但内容相当丰富,重点支持Intel四大新品。首先是显卡方面,正式支持新发布的锐炫B580
2024-12-22 19:03:00
上海地铁11号线预计今晚9时恢复运营
本文转自:人民日报客户端据@上海地铁shmetro ,经全力抢修,11号线受损区段预计今晚9时左右恢复开通运营。
2024-12-22 19:07:00
石头居然长出了\
在秋天的阿拉斯加冰川湾公园,人们发现,石头居然长出了头发。看起来还挺浓密的。|atlasobscura而在墨西哥的查帕拉湖
2024-12-22 19:33:00
机械师K600G键盘首发299元:弹床式Gasket结构、定制HIFI轴
快科技12月22日消息,机械师K600G机械键盘目前已经上市,首发299元。据悉,该款键盘采用弹床式Gasket结构设计+多层复合降噪填充
2024-12-22 19:33:00
AMD显卡又双叒叕改名了!下代可能叫RX 9070
快科技12月22日消息,按照惯例延续下来,AMD RDNA4架构的下一代显卡应该是RX 8000系列,预计有RX 8800
2024-12-22 19:33:00
鲁网12月22日讯(记者 孙强 通讯员 冷梅)为学习日本知名企业管理经验,积极助力民营企业经营管理现代化、国际化,增强企业创新发展源动力
2024-12-22 19:57:00
印尼女子海边洗脚 突遭4米长鳄鱼死亡翻滚:逃生可能为0
12月16日,印尼北苏门答腊省南尼亚斯县,一名女子在海边洗脚时,遭遇了一条3.94米长的大鳄鱼袭击。附近居民听到了女子惨叫
2024-12-22 20:03:00
江南时报讯 域名作为企业的网络身份标识,停用后若不及时注销,不仅可能导致品牌方形象受损,还可能被一些境外服务器的不良网站抢注并用于播放侵犯他人著作权的影视作品
2024-12-22 20:52:00
9岁女孩长期吃头发胃里取出大块头发团:胃酸无法分解
快科技12月22日消息,据报道,南宁市妇幼保健院为9岁女孩小琪进行了开腹手术,从她胃里取出直径约4厘米的头发团,以及小肠内条索状头发丝绳约30厘米长
2024-12-22 21:03:00
江南时报讯 泰州某知名医药公司与某文化公司签订冠名合作协议,约定冠名费50万元,文化公司承诺3个月内完成500万元直播带货销售额
2024-12-22 21:25:00