• 我的订阅
  • 头条热搜
史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造
...,推理是分 batch 运行的。每个 batch 都需要加载所有模型权重一次,并在 batch 的每个 token 中重复使用。通常来说,LLM 输入是计算密集型的,而 LLM 输出是内存密集型的。当我们将输入和输出 token 与连续 batch 结合时,工作负载变...……更多
腾讯混元助手app“腾讯元宝”5月30日发布
5月17日消息,在今日举办的腾讯云生成式AI产业应用峰会上,腾讯预告将在5月30日发布基于混元大模型的面向C端(消费者端)的助手App“腾讯元宝”。腾讯元宝是基于混元大模型及搜索引擎驱动的高效信息整合工具,同时结合...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...dent模型的可训练参数,α和β分别控制序列和词的loss项的权重。偏好优化LLM指令调优的第二阶段是使其符合用户偏好。这个阶段,使用一组期望的偏好对来改进模型的输出。优化的目标是使奖励模型最大化,同时保持产生的输出...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...模型参数量上,规模通常达到数十亿的级别(其中主要是权重)。 这些参数不仅存储成本相当高,推理阶段的计算量也很大。在推理过程中,激活值是输入和权重的乘积,因此权重数量越多,激活值也会越大。因此,我们希望...……更多
腾讯推出新一代大模型「混元Turbo」,性能大幅提升,定价低50%
鞭牛士 9月5日消息,腾讯宣布推出新一代大模型“混元Turbo”。腾讯介绍,该模型采用MoE架构,比上一代产品推理效率提升100%,推理成本降低50%,解码速度提升20%。腾讯公司副总裁、云与智慧产业事业群COO兼腾讯云总裁邱跃鹏...……更多
马斯克官宣Grok-2测试版!xAI将继续拥抱开源路线吗?
...大的开源大语言模型。即便这些参数在给定token上的激活权重仅为25%,Grok-1的激活参数数量也有860亿,这比LIama-2的70B参数还多,这意味着其在处理语言任务时具备广阔的潜在能力。Grok-1采用了混合专家系统的设计,每个token从8个...……更多
腾讯3D大模型全面开源,文本图像10秒转3D资产
...字、图像转3D的模型来了,效果还是SOTA级别。就在刚刚,腾讯宣布推出Hunyuan3D-1.0,一口气开源轻量版和标准版两个模型。最快10秒就能端到端生成。先生成6个多视角图像,再进行多视角重建,“啪”的一下360度无死角的3D资产就...……更多
大模型应用疯狂加速,洗牌却在静悄悄进行了
...公布了文心一言大模型开源。与此同时,“姗姗来迟”的腾讯混元大模型,一亮相便“秀”起了“肌肉”,科大讯飞与华为合作发布“星火一体机”,进一步把大模型端侧应用摆在了台面上。一波接一波的行业浪潮席卷而来,正...……更多
比LoRA更高效!上交大&哈佛推出新微调框架,瞄准特定任务方向
...特定任务,矩阵空间ℝx中存在一个最优矩阵对于预训练权重矩阵,其针对该任务的最佳调整为∆=-。在PEFT中,研究人员只能获得及其方向的信息。由于∆和*的方向基于各自的基,他们首先将二者投影到的全局基上。定义3:定义...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
...。具体来说,为了支持图像输入,Meta 训练了一组适应器权重(adapter weight),其可将预训练的图像编码器集成到预训练的语言模型中。该适应器由一系列交叉注意层组成,这些层的作用是将图像编码器表征馈送给语言模型。为...……更多
提质降价,国产大模型加速奔跑
...,不少企业正通过让大模型“边干边学”实现良性循环。腾讯云智能AI产品专家赵新宇介绍,大模型在不同行业落地的同时,也在推动其自身的成长。比如,“少年得到”的K12语文作文批改功能,就应用了腾讯混元大模型的多模...……更多
腾讯混元参战大模型:“幻觉率”可降低30%,多个指标超越GPT3.5
腾讯混元大模型logo。“百模大战”新增又一巨头:腾讯官宣参战。9月7日,在2023腾讯全球数字生态大会上,腾讯正式发布混元大模型,并宣布通过腾讯云对外开放。资料显示,腾讯混元大模型是腾讯自研的一款通用大模型,目...……更多
...十余款人工智能大模型全部面向公众开放服务。另外包括腾讯在内的一些公司的大模型也通过备案,将择机面向公众开放。人工智能大模型是指使用大规模数据和强大的计算能力训练出来的“大参数”模型,这些模型通常具有高...……更多
ChatGPT大流行的思考-解析篇
...个节点对应的key向量,就是知识节点和输入层每个节点的权重向量,用来匹配输入的语言需要获取什么知识;举个例子,简单通俗点来说,当Transformer的输入是“中国的首都是[Mask]”的时候,节点从输入层探测到这个知识模式,...……更多
连发两款模型“补课”,百度AI成色如何?
...并设计自适应模态感知的损失函数,动态调整不同模态的权重(降低过高模态的权重,提高过低模态的权重),从而解决不均衡问题,提升多模态融合能力。对注意力算法和MOE架构的优化已经成为业内关注的方向之一。此前,豆...……更多
AIGC落地应用:腾讯云如何助力产业智能化升级?
...何加快前沿技术落地,进而推动产业升级? 6月15日,由腾讯云TVP与CSDN联合主办的「AIGC落地的正确姿势——TechoTVP技术沙龙」活动在上海举办,本次沙龙汇聚AI领域产学研优秀代表、技术大咖,聚焦AIGC落地思考与应用实践,分享...……更多
DeepSeek,大消息
...后训练量化方面,该模型将Transformer模块内的线性算子的权重和激活量化到了FP4,适用于TensorRT-LLM推理。这一优化使每个参数的位数从8位减少到4位,从而让磁碟空间和GPU显存的需求减少了约1.6倍。 ……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...,这是迄今为止性能最好的「真正开源」的模型,不仅有权重和训练代码,而且是基于开放数据集DCLM-Baseline。相比模型性能,DCLM做出的「真正开源」的典范更加引人关注。对比大部分科技巨头只搞闭源模型,或「犹抱琵琶半遮...……更多
腾讯混元大模型助力《碧优蒂的世界》实现NPC从脚本转化“智能生命体”
...佳路径之一,《碧优蒂的世界》(以下简称“BUD”)基于腾讯混元大模型,打造游戏内具备丰富角色情感和行为逻辑的智能NPC,提升游戏的趣味性、智能化程度以及用户体验,为用户打造一个更立体真实的虚拟世界。每个智能NPC...……更多
“国家队”AI大模型正式发布,AI人工智能ETF(512930)持续获资金积极布局
...上消费主题指数(931481)前十大权重股分别为美团-W(03690)、腾讯控股(00700)、快手-W(01024)、顺丰控股(002352)、科大讯飞(002230)、昆仑万维(300418)、京东健康(06618)、世纪华通(002602)、圆通速递(600233)、哔哩哔哩-W(096……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
11月19日,2024年世界互联网大会领先科技奖在乌镇发布,腾讯Angel机器学习平台凭借其卓越的技术积累、创新的关键技术和广泛的应用场景,荣获本年度领先科技奖。腾讯Angel 机器学习平台,突破了万亿级模型分布式训练和推理...……更多
70倍极致压缩!大模型的检查点再多也不怕
...信息的稀疏性实现更高的剪枝比例;另一个是将优化器和权重联合起来进行压缩,实现整体的高压缩率。 具体方法1. 检查点残差在训练过程中,当前的参数可以看作上一个检查点存储的权重加上逐次迭代时梯度更新的总和,这...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...推理是以批次运行的。每个批次都会加载一次所有的模型权重,并在批次中的每个token上重复使用它们。通常,LLM的输入是计算密集的,而LLM的输出是内存密集的。所以,当我们将输入和输出token与连续批处理结合时,工作负载...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...个全新的模型架构。在图像输入方面,训练了一组适配器权重,将预训练的图像编码器集成到预训练的大语言模型中。具体来说,该适配器:由一系列交叉注意力层组成,负责将图像编码器的表示输入进大语言模型通过在文本-...……更多
《永劫无间》手游首次将具有18亿参数的大语言模型引入终端侧
...的移动端系统级芯片。峰会首日,高通公司宣布和智谱、腾讯混元合作,共同推动端侧AI模型部署和落地。骁龙8至尊版芯片AI性能HexagonNPU融合了包含标量(scalar)、向量(vector)和张量(tensor)等AI加速器架构,支持INT4、INT8、IN...……更多
Mistral放大招!124B多模态巨无霸登场,免费版ChatGPT震撼突袭
...ral研究许可证(MRL)下可用于研究和教育用途。模型及其权重可在Hugging Face平台上免费下载。 下载地址:https://huggingface.co/mistralai/Pixtral-Large-Instruct-2411/tree/main性能评测在评估视觉数据复杂数学推理……更多
百川智能、阿里云等进入开源大模型领域,开启商业化前奏
...千帆大模型平台2.0,将内置主流大模型数量增加至42个;腾讯云TI平台8月接入LLama2、Falcon等超20个主流模型,支持大模型直接部署调用且可全程低代码操作;阿里云魔搭社区也在积极接入主流大模型,包括baichuan2系列、InternLM-20B...……更多
单卡搞定Llama 3.1 405B,让大模型轻松瘦身!超强压缩工具包来了
...C 支持多种压缩算法,包括 16 种不同的量化方法,涵盖仅权重、权重激活和混合精度量化。这种多样性允许对不同方法进行公平比较和深入分析。当然除了量化,目前还支持各种类型的稀疏以及相关算法。△LLMC目前支持的部分...……更多
腾讯推出 Hunyuan-Large 开源大模型
IT之家11月5日消息,腾讯今日宣布推出Hunyuan-Large大模型,官方表示这是目前业界已经开源的基于Transformer的最大MoE模型,拥有3890亿总参数(389B)和520亿激活参数(52B)。腾讯今日在HuggingFace开源了Hunyuan-A52B-Pretrain、Hun……更多
首发!优刻得云平台上新DeepSeek-V3-0324模型
... 不仅将模型参数量由原版的671B提升至685B,编程、数学等推理思考能力大幅提升,性能表现可以与Claude3.5/3.7Sonnet相媲美。同时,模型的开源协议升级为更宽松的MIT许可,进一步降低了商业应用门槛。 优刻得云平台始终密切关注A...……更多
更多关于科技的资讯:
首届炒菜机器人大赛精彩回顾 添可食万星厨彰显智能烹饪科技实力
近日,一场汇聚了政、产、学、研顶尖力量“首届中国炒菜机器人大赛暨首都共享中央厨房产业峰会”在北京平谷隆重举行。本次大赛由中国食品工业协会与北京市平谷区人民政府联合主办
2025-08-27 08:54:00
山推(德州)公司:靠“智造”省出大效益!成本降30%销售额反增15%
鲁网8月26日讯(记者 赵洪斌 实习记者 李安琦)8月26日,德州市举行“产业链上的山东好品牌”系列记者见面会第四场,聚焦高端装备产业链
2025-08-27 09:02:00
欧瑞电子:全国60%超算中心都用它!三年营收增速超40%
鲁网8月26日讯(记者 吴美琳 实习记者 李安琦)8月26日,德州市举行“产业链上的山东好品牌”系列记者见面会第四场,聚焦高端装备产业链
2025-08-27 09:03:00
吉镜头|高清大图!第十五届中国—东北亚博览会展馆一一看过来
第十五届中国—东北亚博览会开幕在即A2馆内的吉林市展馆 A2馆内的延边展馆A2馆内的辽源展馆 小米汽车展馆布置完毕特斯拉赛博越野旅行车已经抵达现场 印度尼西亚展馆正在进行最
2025-08-27 09:13:00
近 日 ,DeepSeek发 布DeepSeek—V3.1,基于下一代国产芯片训练。DeepSeek—V3.1采用UE8M0FP8精度训练
2025-08-27 09:14:00
从家庭式代工坊到“厦门品牌” 厦门制造“衣”鸣惊人
独立设计师王在实位于红顶艺术社区的工作室。时装工作室的师傅在制作样衣。(设计师 供图)“金顶奖”设计师曾凤飞的时装作品
2025-08-27 09:22:00
厦门软件园:人工智能企业在这里“拔节生长”
厦门软件园已形成从基础层、技术层到应用层的人工智能全产业体系。(厦门软件园 供图)厦门软件园企业美图公司应用人工智能技术
2025-08-27 09:22:00
从普惠金融看厦门消费金融服务体系
今年5月,“中情中意 消费一夏”购在厦门消费季活动吸引超20万人次打卡,金融活水与企业让利深度融合,吸引市民游客共赴这场夏日消费盛宴
2025-08-27 09:22:00
ZWO振旺联合格林尼治天文摄影大赛,共创全球天文盛事
国内独家冠名赞助,聚焦全球星空影像2025 年 8 月,中国天文摄影领军品牌 ZWO 振旺宣布,正式成为英国格林尼治皇家天文台主办的"第 17 届格林尼治天文摄影师大赛"(Ast
2025-08-27 09:55:00
首届山东省数字工程师创新创意大赛暨国际数字工程师邀请赛奖励政策图鉴
首届山东省数字工程师创新创意大赛暨国际数字工程师邀请赛现已正式启动。本次大赛设立人工智能、智能制造、工业互联网、数字创意四大赛道
2025-08-27 10:01:00
华为官宣,新三折叠来了!9月4日发布
8月27日,华为终端微博发文称:三折叠再展非凡!9月4日14:30,华为MateXTs非凡大师及全场景新品发布会,敬请期待
2025-08-27 10:40:00
抖音发布《2025年中反诈报告》:抖音会议、巨量跳动、抖音服务等均为诈骗软件
8月26日,抖音发布《2025年中反诈报告》(下称《报告》)。《报告》显示,2025年1月至7月,抖音日均拦截涉诈信息超700万条
2025-08-27 11:13:00
天然钻石市场回暖:稀缺性、保值性与情感价值成投资新焦点
2025年8月20日,上海——在天然钻石市场回暖的大背景下,上海钻石交易所携手天然钻石协会于上海举办“天然钻石媒体沙龙分享会”
2025-08-27 11:13:00
本报记者 赵 曦 □ 黄芷凌日前,国家药监局发布数据,截至6月底,儿童普通化妆品备案28168个品种,其中国产27219个
2025-08-27 12:01:00
在2025中国照明电器行业标准质量大会上,芜湖雷士照明电子商务有限公司、广东三雄极光照明股份有限公司、宁波公牛光电科技有限公司
2025-08-27 12:02:00