• 我的订阅
  • 头条热搜
字节跳动清华AIR成立联合研究中心 推动大模型产学研合作
...不论是进一步推动当前范式下的Scaling Law,还是模型逻辑推理能力的强化,或是模型学习、记忆能力的进一步提高,仍然有非常多的工作亟待我们去深入研究。希望双方能充分发挥各自优势,在同样梦想的引领下,一起努力做有...……更多
思维链让大模型推理更准确?谷歌早于OpenAI押中o1模型核心原理
...本质的不同。其不仅进入到复杂的领域,还表现出超强的推理能力。OpenAI 将 GPT-4o 和 o1 在国际数学奥林匹克竞赛资格考试方面进行对比测试。根据结果,二者差异显著,其中,前者正确解决问题的准确率是 13.4%,而 o1 的准确率...……更多
技术最前沿|瞄准行业痛点, AI验布机赋能传统行业技术焕新
...面,TeleAI创新性采用“大小模型”训练+“多层金字塔”推理的训练、推理两段式算法策略。“大小模型”训练中的大模型是指依托电信自研星辰大模型基座,打造布匹质检行业预训练基础大模型;小模式是指针对不同客户场景...……更多
pytorchtorchao正式发布,提供了一系列优化工具集
...将模型训练转换为float8,从而轻松实现模型高效训练。在推理方面,torchao提供多种量化方法,包括权重量化(Weight-OnlyQuantization)和动态激活量化(DynamicActivationQuantization),用户可以自有选择适合的量化策略,以获得最佳的模...……更多
昆仑万维:“天工大模型3.0”将于4月17日正式发布 同步开源4000亿参数MoE超级模型
...“天工2.0”MoE大模型,“天工3.0”在模型语义理解、逻辑推理、以及通用性、泛化性、不确定性知识、学习能力等领域拥有惊人的性能提升,其模型技术知识能力提升超过20%,数学/推理/代码/文创能力提升超过30%。同时,“天工...……更多
o1 基石论文火爆传阅:Ilya 仍是关键先生,核心项目清北校友闪光
...后的贡献者。Ilya 在 o1 的作用 OpenAI o1 主打进行通用复杂推理,在输出回答之前,会在产生一个很长的思维链,以此增强模型能力。而 Ilya 此前合著的这篇论文主要就是探讨了提高大语言模型多步推理能力的方法。他们主要比较...……更多
用硅模拟人脑,进度条走到了1/80
...物神经元。这种芯片效果如何?一系列数据说话:执行AI推理负载和处理优化问题时,速度比常规CPU和GPU架构快50倍,同时能耗降低了100倍。 运行传统深度神经网络时,INT8精度运算的能效比达到了15 TOPS/W。 (英伟达尚未发货的...……更多
ai生命周期:ai训练和ai推理的完美结合
...命周期包括最重要的两个部分,一个是AI训练,一个是AI推理。其中,AI训练就是让模型识别数据模式,是数据和处理最密集的部分,需要大规模的算力。在这一阶段,往往优先使用大规模并行的GPU加速器或专用的AI加速器,有时...……更多
清华大学孙富春:大模型+机器人可能会导致失业,未来80%的人工劳动会被取代
...事情,即便是大模型,也还是利用人类知识与智能算法去推理和学习。同时,现在机器人的躯体和四肢是通过电机控制,灵巧性、适应性等跟人差距也很大。因此在孙富春看来,目前人形机器人仅相当于人两三岁的水平,要想达...……更多
微软被曝未来3年花1000亿美金囤芯片;杨元庆:AI不是取代人类的智能|钛媒体AGI
...柱。开源大模型Llama3推出,百度智能云支持其全系列训练推理北京时间4月19日凌晨,Meta公布期待已久的多模态开源大模型Llama 3系列,目前包括80亿和700亿两个参数的调优版本。与此同时,Meta还推出了其首款基于Llama 3开源模型的...……更多
AI大模型应用商机:“AI+”还是“+AI”
...带来了更大的泛化能力,可实时对音频、视觉和文本进行推理,标志着AI大模型应用向更自然的人机交互持续迈进。GPT-4o的推出进一步推动了AI应用的繁荣,以AI大模型主导的创新应用前景也有望打开新的想象空间。对不同企业来...……更多
整合长期记忆,AI实现自我进化,探索大模型这一可能性
...也能让模型在处理长期、分散和个性化的数据时逐步提升推理和学习能力。用 LTM 数据提升模型能力,使其能够自我进化在传统 LLM 中,更新模型通常需要调整所有参数,而如果目的是处理个体数据,那这种操作明显不切实际。...……更多
AI时代CPU不老!Intel五代至强五大革新:340亿参数小意思
...架的支持,特别是PyTorch、TensorFlow等等,在AI训练、实时推理、批量推理等方面,基于不同算法,性能提升最多可达40%,甚至可以处理340亿参数的大模型。根据Intel提供的数据,五代至强SPECInt整数计算性能提升21%,AI负载性能...……更多
首届青年科学家创新发展大会人工智能青年科学家论坛成功举办
...济南超级计算技术研究院首席科学家亚历山大·赖科夫,清华大学计算机系长聘教授、国家杰青翟季冬,山东计算机学会秘书长吴小羽,上海交通大学深圳研究院副院长易春雨,国家超级计算济南中心研究员赵志刚,开放城市共...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3.5-MoE-instruct模型有419亿个参数,……更多
不要苛责中国大模型公司的盈利
...上下文,自动选择模型的多模态能力,同时实现了更快的推理速度和更多并发。GLMs的个性化智能体定制能力,则被认为是直接瞄准了GPTs。目前,国内敢说自己的大模型比肩GPT-4的,只有智谱AI和百度两家公司。虽然这两家公司从...……更多
苹果发布mm1.5-ui模型
...从10亿到300亿的多种参数规模,拥有图像识别和自然语言推理能力。在新版本中,苹果公司的研发人员改进了数据混合策略,极大地增强了模型在多文本图像理解、视觉引用与定位以及多图像推理等方面的能力。参考论文可知,...……更多
微软开源爆火1bit大模型推理框架!千亿参数模型量化后单CPU可跑
微软开源1bit大模型推理框架!现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。就是今年爆火论文The Era of 1-bit LLMs的官方代码实现,开源不到一周GitHub已揽获7.9k Star。传统大模型参数以16位浮点数(如FP16或BF16)形...……更多
清华大学获芯片领域重要突破!
...可为百亿像素大场景光速智能分析、百亿参数大模型训练推理、毫瓦级低功耗自主智能无人系统提供算力支撑。文中图片均由受访者提供 ……更多
oppo首个端侧应用70亿参数大模型findx7系列
...应用的70亿参数的模型,通过高精度4bit量化等模型压缩,推理引擎的加速,以及与芯片平台深度合作的硬件加速方式,第一次为手机端侧带来完全体的70亿参数大模型,彻底变革手机端侧AI的使用方式。OPPO软件创新中心总经理张...……更多
amd旗舰aigpu加速器mi300x对比英伟达h100
...H100)不相上下,并提供具有竞争力的价格/性能,同时在推理工作负载方面表现更为出色。 MI300XAI加速卡软件堆栈升至ROCm6.0,改善支持生成式AI和大型语言模型。 新的软件堆栈支持最新的计算格式,如FP16、Bf16和FP8(包括Sparsity...……更多
阿里云CTO周靖人:全面投入升级AI大基建
...级从服务器到计算、存储、网络、数据处理、模型训练和推理平台的技术架构体系,让数据中心成为一台超级计算机,为每个AI和应用提供高性能、高效的算力服务。大会现场,通义大模型迎来了年度重磅发布,基础模型升级,...……更多
对话王田苗:万亿市场之下,大模型 + 机器人还有四大问题未解决
...务设定多个小模型,并提供不同的参数训练,端到端减少推理成本。另外,将专用小 GPU 芯片置入到机器人中,也可提高任务实时性,目前特斯拉已在自动驾驶中尝试了这种做法。硬氪:今年有哪些细分场景的模型值得关注?王...……更多
...建模为热能扩散过程,从而使该架构有效突破了遥感模型推理的性能和速度瓶颈,计算速度较传统结构模型提升2.4倍以上。孙显表示,“目前传统的、用于处理遥感图像的基础模型架构(transformer结构)本质上是基于文本处理架...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...能力,但只使用了一半的训练资源。之后,他们对模型的推理和编码能力进行了重大改进,最终开发出了 Grok-1,这是一款功能更为强大的 SOTA 语言模型,在 HumanEval 编码任务中达到了 63.2% 的成绩,在 MMLU 中达到了 73%。xAI 使用了...……更多
算力浪费超50%!百度AI计算部负责人拆解大模型时代的算力成本
...利用率目前,主流模型训练存在以下4个劣势。首先在线推理或计算任务当中,系统在峰值负载时的性能是平均负载时的3倍。这意味着系统在设计时预留了较多的算力以应对峰值。但AI集群的波峰和波谷其实较为明显,这也造成...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后,我们又看到了一个生命科学领域的大模型ESM3。模型开发团队来自于名为...……更多
打通算力服务“最后一公里”(科技视点)
...家超算无锡中心联合国家超算广州中心等超算中心,以及清华大学、之江实验室等应用单位开展了超算互联网技术体系和应用模式研究;山东上线超算互联网工程,以实现数据和算力的互联互通,打造“山东算网”。2023年10月,...……更多
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...需求不可避免迎来爆炸式增长,无论是前期训练还是后期推理,都是如此。在训练层面,OpenAI 曾在 2018 年做过估算,自 2012 年以来,AI 模型训练算力需求每 3.5 个月翻一番,每年所需算力增幅高达 10 倍,增速远远超出了芯片产...……更多
更多关于科技的资讯:
中国人平均智商全球第1!韩国第3 美国排名27
快科技1月6日消息,据媒体报道,国际智商登记处最新数据显示,中国国民的平均智商为107.43,位居全球首位。据了解,这一排名基于对全球近140万人的测试结果
2025-01-06 17:47:00
近几年,游戏市场飞速发展,爆款层出不穷,一些游戏凭借丰富的剧情吸引了一批忠实玩家。为了能够更好地体验游戏剧情,不少玩家夜以继日
2025-01-06 17:47:00
2024大模型年度“标王”诞生!科大讯飞中标金额超2-6名之和
快科技1月6日消息,近日,智能超参数发布了《中国大模型中标项目监测报告(2024)》,盘点了2024年全年大模型中标项目的整体情况及各厂商的表现
2025-01-06 17:47:00
销量突破20万!捷途旅行者纪念版正式上市:售19.39万元
快科技1月6日消息,捷途旅行者为庆祝销量突破20万辆,推出了限量3000台的20万纪念版车型,售价为19.39万元。这款纪念版车型在外观和内饰上均装饰有专属纪念标识
2025-01-06 17:47:00
男子意外触碰氢氟酸手指烂出黑洞:腐蚀性极强、可侵蚀人体骨骼
友情提示:本文配图或引发不适,情谨慎观看。快科技1月6日消息,使用化学物品时,一定要注意防护,不能心存侥幸,否则悔之晚矣
2025-01-06 17:47:00
仅1199元 小米发布米家净水器N1 800G:5年长效RO滤芯
快科技1月6日消息,今天小米发布了一款小米发布米家净水器N1 800G,原价1229元,新品到手价1199元。米家净水器N1 800G具备800G的大通量设计
2025-01-06 17:47:00
九测科技丨铁路安全防线再升级,闸机测酒仪严把岗前筛查关!
在繁忙的铁路系统中,每一位工作人员都肩负着保障乘客安全、维护铁路正常运行的重要职责。否则,任何一个微小的疏忽,尤其是酒后上岗这一行为
2025-01-06 17:57:00
九测科技丨地铁轻轨安全升级,应用闸机测酒仪筑起酒后上岗防火墙
在都市的脉络中,地铁与轻轨如同繁忙的血管,输送着城市的活力与希望。每天,数以万计的乘客通过这些交通工具穿梭于城市的每一个角落
2025-01-06 18:02:00
忠艺隆五金丨钣金外壳加工过程中产生划痕,该怎么办?
钣金外壳加工过程中,偶尔会产生划痕,这无疑是对产品质量的严峻挑战。毕竟,这些看似微不足道的划痕,却如同细微的瑕疵,在钣金外壳的华丽外衣上留下难以抹去的印记
2025-01-06 18:16:00
AOKZOE A1X掌机预热:锐龙AI 9 HX 370、配OCulink接口
快科技1月6日消息,掌机制造商AOKZOE现公布了一款型号为AOKZOE A1X新品,该机主打AMD锐龙AI 9 HX 370处理器
2025-01-06 18:17:00
女子买机票中奖近3万 第一反应误以为是诈骗险错过
快科技1月6日消息,据媒体报道,近日,浙江衢州的吴女士在跨年夜迎来了人生的惊喜时刻,她在飞猪平台预订机票时意外中得了免单大奖
2025-01-06 18:17:00
公司用消费券抵员工工资 负责人被约谈 律师:违反劳动法规定
1月6日消息,近日,吉林长春一公司用消费券抵工资的报道引发关注。最新消息显示,该公司负责人已被约谈,相关部门表示,如查实将第一时间责令公司改正违法行为
2025-01-06 18:17:00
雷军:小米SU7标准版是很多车型的天花板!
快科技1月6日消息,今日有博主分享了自己的小米SU7标准版用车感受。对此,雷军转发并评论道:“‘小米SU7标准版,不是低配
2025-01-06 18:17:00
全球首台!20MW级蒸发冷却半直驱永磁风力发电机下线
快科技1月6日消息,据报道,中车永济电机公司携手中国科学院赣江创新研究院,近期共同成功研发并下线了全球首台20兆瓦(MW)级别的蒸发冷却半直驱永磁风力发电机
2025-01-06 18:47:00
为什么感染甲流这么疼啊:现在打疫苗还来得及吗
近期,流感高发。据中国疾控中心最新数据,目前流感病毒阳性率持续上升,其中 99%以上为甲流。专家提醒:除了儿童、患有慢性基础疾病的人群外
2025-01-06 18:47:00