• 我的订阅
  • 头条热搜
晶圆级AI芯片WSE-3性能公布:80亿参数模型上每秒生成1800个Token
...Hot Chips 2024大会上,Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示,WSE-3依然是采用了一整张12英寸晶圆来制作,基于台积电5nm制程,芯片面积为46225平方毫米,拥有的晶体管数量达到了4万亿个,拥有90...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
... Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还正式发布了 Llama Stack Distribution,其可……更多
大模型“免费”送,厂商们图什么?
...,零一万物CEO李开复接受采访时表示:“未来整个行业的推理成本每年降低10倍是可以期待的,而且这个趋势是必然的。”未来,大模型的成本将呈阶梯状下探,但目前大模型的价格却断崖式下探,甚至部分企业免费送,降价幅...……更多
紫东.太初再进化,揭秘全模态大模型的想象力
...会出现一些意想不到的复杂能力,譬如类似人类的思维和推理能力。正如前面所提到的,紫东.太初2.0首次提出了全模态多任务统一生成式学习框架,即全模态分组对齐、分组解码和联合解码的学习方式,形成了全模态逻辑推理...……更多
微软、英伟达纷纷押注小模型,大模型不香了?
...LLM之间的性能差距正在迅速缩小,特别是在多项选择题、推理和数学问题等特定任务中,顶级模型之间的差异极小。例如,在多项选择题中,Claude 3 Opus、GPT- 4 和Gemini Ultra的准确率均超过83%,而在推理任务中,Claude3 Opus、GPT-4和Ge...……更多
林达华谈大模型发展之路:未来会有更高效的模型结构出现
...模型的上下文长度快速增长,超长上下文解锁新应用,但推理计算代价高昂,上下文本身对于信息不会进行压缩,不能直接捕捉其中的深层知识和规律。上海人工智能实验室领军科学家林达华。过去一年,人工智能领域风起云涌...……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
...腾讯Angel 机器学习平台,突破了万亿级模型分布式训练和推理以及大规模应用部署等难题,率先实现大模型技术从底层硬件到关键软件技术的自主研发,在业务场景广泛应用,显著推动实体产业和数字经济发展,提升社会效率。...……更多
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
...能效果——记忆能力提升3倍、速度提升7倍的同时,实现推理吞吐量的5倍提升。 至于为何另辟蹊径,寻求非Transformer的大模型路径,岩芯数智CEO刘凡平指出,以大规模著称的Transformer,在实际应用中的高算力和高成本,让不少中...……更多
张云泉:集中力量,促进国产AI大模型发展
...法成为新时代的关键资源。大模型的开发、训练、微调及推理各个环节均离不开算力,且算力成本占据整体开销的大头。可以说,算力成为支撑大模型发展的关键因素,也是科技竞争的战略高地。在大规模的前端产品落地后,算...……更多
腾讯大模型混元Turbo:御气升昺云,梓桐金鼎开
...模型,腾讯混元Turbo性能有显著提升,训练效率提升108%,推理效率提升 100%,推理成本降低 50%,解码速度提升 20%,效果在多个基准测试上对标GPT-4o。最新第三方测评在国内位居第一。腾讯混云大模型已经落地腾讯700+个业务场景...……更多
摩尔线程与360达成战略合作,将共同打造“360智脑大模型一体机”
...模型一体机”集成了 360 智脑大模型,具备大模型管理、推理部署等功能,摩尔线程全功能 GPU 将为其提供底层算力,“以高性价比硬件方案确保大模型推理效率和成本的平衡”。双方还将共同研发和优化推理框架,在软件层面...……更多
Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的
...很多不同的GPU型号和显存大小。再加上,目前广泛应用于推理阶段的量化技术,比如可以用FP16或FP8精度,这会改变推理和训练/微调成本的比重。以上这些限制因素,都让模型规模的选择成为一个非常具有挑战性的问题。总体而...……更多
一键解锁ChatGPT原理与应用
...的语言理解能力;②极为广泛的知识储备;③学习能力与推理能力等等。这些能力让人们感觉人工智能真正拥有了“脑子”,想象着使用GPT解决一切问题。然而,若真的要深入应用该技术,有必要了解其局限性,以便在实际应用...……更多
苹果开源7B模型,训练过程数据集一口气全给了,网友:很不像苹果
...CLM-Baseline取得了更高的平均分,且在ARC(小学生科学问题推理)、HellaSwag(常识推理)、MMLU等任务上表现更好。 “小”模型成新趋势回到开头,“小”模型最近已成新趋势。先是HuggingFace推出了小模型家族“SmolLM”,其中包含1...……更多
通义千问再放大招:720亿大模型开源,全尺寸赶上LLaMA-2,还有移动端可用的18亿模型
...72B在C-Eval、CMMLU、GaokaoBench等基准得分超越GPT-4。而在数学推理方面,Qwen-72B在GSM8K、MATH测评中也领先其他开源模型;代码理解方面,Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升,代码能力也有质的飞跃。△72B模型做数学题 ……更多
商汤生成式AI业务飙涨256%,成为中国大模型、智算服务市场占有率领头羊
...劲需求、“日日新SenseNova”大模型能力的飞跃式提升以及推理成本的快速下降,带动模型调用量增长迅速。报告期内,“绝影”智能汽车业务的表现也极为亮眼。其业务收入达1.7亿元,同比增长100%。上半年新增交付70.5万辆车,...……更多
李开复AI公司首发大模型,阿里云领投 | 36氪独家
...SIQA、HellaSwag、WinoGrande等多个数据集,来评估Yi的“常识推理能力”“阅读理解能力”“数学与代码能力”等多维度能力。Yi能力。结果显示,Yi-6B在常识推理能力和阅读理解能力上达到了国内外开源模型的平均水平,但在数学与...……更多
大模型价格战“卷”向何方?|深度
...千亿参数MoE架构模型。MoE架构中基于多个专家并行机制,推理时只激活部分专家,以稀疏性压缩了参数数量和推理成本。“这就可以极大地节省算力耗费”。而率先掀起价格战的幻方DeepSeek-V2,就是其通过架构创新,实现了大模...……更多
优刻得首个「国产千卡智算集群」落地,支持智源千亿大模型训练
...环境,可支持超千卡规模、千亿参数级别的大模型训练和推理任务,旨在突破算力瓶颈,加速AI算力的国产化进程。国产千卡智算集群采用软硬件一体化的架构设计,提供低延迟、高吞吐、高可用的IB组网环境,支持GDR技术,使...……更多
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...需求不可避免迎来爆炸式增长,无论是前期训练还是后期推理,都是如此。在训练层面,OpenAI 曾在 2018 年做过估算,自 2012 年以来,AI 模型训练算力需求每 3.5 个月翻一番,每年所需算力增幅高达 10 倍,增速远远超出了芯片产...……更多
反击OpenAI,谷歌放出最强悍大模型Gemini
...某些任务,例如描述图像,但难以处理更概念性和复杂的推理。其通过60页的相关技术报告证明,Gemini是一个真正原生的多模态大模型,因为从最初的预训练数据开始,Gemini就在针对不同模态的模型进行训练,因此其功能在每个...……更多
大模型降价背后,国产大模型的竞争逻辑变了
...市场拱手让人。另一方面,随着大模型产业的快速发展,推理成本飞速下降,也成为终端降价的基础。据百度官方透露,相比一年前,文心大模型的算法训练效率提升到了原来的5.1倍,周均训练有效率达到98.8%,推理性能提升了1...……更多
推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型
...」。模型升级:Baichuan4-Turbo两张4090即可部署,Baichuan4-Air推理成本下降99%接下来,如何将Baichuan4-Turbo、Baichuan4-Air应用在实际场景中?从名字中不难看出,它们都是Baichuan 4系列基础模型的升级。对于企业来说,在不同场景阶段……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
...发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法,根据给定的prompt难度,动态地分配测试时(Test-Time)的计算资源。结果发现这种方法在一些情况下比单纯扩展模型参数更经济有效。换句话说...……更多
国产GPU为底座,摩尔线程首个千卡智算中心落地
...型生态联盟,致力于夯实从智算基础设施到大模型训练与推理的国产大模型一体化生态。摩尔线程CEO张建中在主题演讲中带来新品发布,包括大模型智算加速卡MTT S4000,以及专为千亿参数大模型训练和推理提供强大支持的摩尔线...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...的代表先后登台,对夸娥智算集群助力其在大模型训练、推理及具身智能的创新赞誉有加。加速一切大模型,只是第一步。张建中说,夸娥万卡集群不仅是加速AI,而是想要为美好世界加速。 一、大模型训练呼唤万卡集群,国...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
...业基准测试中达到了 SOTA,并提供了新的功能,如改进的推理能力。最强开源 LLM 来了Meta 官方博客写道,“得益于预训练和后训练的改进,我们的预训练和指令微调模型是目前 8B 和 70B 参数尺度下最好的模型。”他们表示,后期...……更多
商汤联合发布白皮书,首次提出新一代AI基础设施评估体系
...。AI2.0时代,需要新一代的基础设施来支撑大模型的训练与推理、生成式AI应用的规模化落地,其核心要素,如计算、存储、网络以及数据服务都要做精细化的设计和重构,而非简单的服务器或GPU实例堆砌。《白皮书》明确了新一代AI...……更多
马斯克官宣Grok-2测试版!xAI将继续拥抱开源路线吗?
...据具体询问的内容,模型只会激活不同的专家子模块进行推理,在吞吐量一定的情况下,可以更快地完成推理、给出回答。这让Grok-1拥有了更快的生成速度和更低的推理成本,简而言之就是更好的使用体验和性价比。根据xAI公布...……更多
小模型正在成为AI界的新宠
...算法,超越了同等大小和稍大一号的模型,在各种语言、推理、编码和数学基准测试中表现优异。苹果紧随其后,发布了 OpenELM,包含了 2.7 亿、4.5 亿、11 亿和 30 亿四个参数版本。与微软的 Phi-3 一样,OpenELM 也是一款专为终端设...……更多
更多关于科技的资讯:
AI诊断抑郁症,准确率高达97.53%的秘诀何在?
抑郁症是一种常见的精神疾病,全球有2.8亿人正在遭受它的困扰。为了帮助更多人及时准确地诊断抑郁症,考纳斯理工大学(KTU)的研究人员开发了一种新的人工智能(AI)模型
2024-11-23 14:12:00
小米15开箱:作为一款小旗舰、拍照旗舰,它的卖点是手感好
在最近两个月新上市的一堆旗舰手机里,有哪款是让你感觉值得关注一下的呢?小米15应该会成为不少人的目标,毕竟这个尺寸的手机太少了
2024-11-23 14:15:00
网友高速路上偶遇雷军,疑似正在测试小米SUV
鞭牛士 11月22日消息,近日,有网友在高速路上偶遇雷军正开着一辆SUV,被网友纪录了下来,雷军还举起手和该网友和车内的随行人员打了招呼
2024-11-23 14:15:00
网友偶遇雷军测试小米SUV:雷总车内笑得合不拢嘴
近日,有网友在高速路上巧遇雷军驾驶一辆SUV,并与其车内人员打招呼。雷军显得十分高兴,对小米SUV的性能感到满意。从外观来看
2024-11-23 14:16:00
vivo S20系列即将发布 美学与科技的完美碰撞
近日,vivo正式官宣,备受瞩目的S20系列智能手机即将于11月28日盛大发布。作为vivo S系列的又一力作,vivo S20系列不仅继承了S系列一贯的优雅设计与卓越拍照性能
2024-11-23 14:16:00
从2799元跌至1589元,3840Hz+骁龙7Gen3+100W,荣耀也太“亲民”了
以前荣耀作为华为旗下的“先锋队”,以“年轻、科技、品质”为招牌,为国人奉献了一场又一场科技盛宴。后来,这支队伍独立开拔
2024-11-23 14:17:00
华为胡厚崑:“要让不同设备都能说上普通话”,提升工业设备联网率
“当前工业协议‘七国八制’,形成了各种数据‘孤岛’,需要一张互联互通的网络,而IP正是有效的标准化技术。”“要让不同设备都能说上‘普通话’
2024-11-23 14:18:00
支持WiFi/以太网/4G上传,MG6 4G 蓝牙云桥网关重磅上市!
数字化转型的号角早已响彻千行百业,企业加速推进物联网技术及产品的应用。然而,随着应用场景的不断拓展与深化,一系列问题也逐渐浮出水面
2024-11-23 14:18:00
不用学外语了?微软公测语音翻译应用Translator Pro
财中社11月21日电微软Azure AI服务团队今天宣布公测一项面向企业、名为Microsoft Translator Pro的新服务
2024-11-23 14:19:00
重要成果!陕西名校连登“国际权威期刊”,全部为唯一通讯单位!
柔性电子技术,是将有机、无机或杂化材料沉积于柔性基底上形成以电路为代表的电子元器件及其集成系统的一门新兴科学技术,是智能时代的革命性技术
2024-11-23 14:19:00
炸弹气旋袭击美国2人死亡:比一般飓风更具破坏力
快科技11月23日消息,据央视新闻报道,当地时间19日起,美国多地遭到“炸弹气旋”袭击,已造成2人死亡、大规模断电和水陆交通受阻
2024-11-23 13:58:00
本文转自:人民网人民网北京11月23日电 (焦磊)当前,随着服务器应用场景日益丰富、任务类型日趋多样化,服务器算力算效评估的重要性日益凸显
2024-11-23 14:03:00
新一代擎天柱!米家空调Pro新品官宣:更大 更广 更远
快科技11月23日消息,小米智能生态即将揭晓,米家空调Pro系列迎来新成员,定于11月27日晚7点盛大发布,与K80新品携手登场
2024-11-23 14:28:00
其实呢,加盟便利店的成功关键其实有很多,今天我们就来聊聊这个话题。首先,让我们来思考一个问题:什么样的经营策略可以真正提升销量呢
2024-11-23 14:49:00
男子找网约车送别人5万元现金 深陷套路诈骗
快科技11月23日消息,“网上诱骗+线下转账+网约车运送”的诈骗手段日益猖獗,这类骗局通常以虚假色情APP为诱饵,诱导受害者转账并利用快递或网约车将现金等财物送至指定地点
2024-11-23 14:58:00