• 我的订阅
  • 头条热搜
AMD发布首个AI小语言模型:6900亿token、推测解码提速3.88倍
快科技10月1日消息,AMD发布了自己的首个小语言模型(SLM),名为“AMD-135M”。相比于越来越庞大的大语言模型(LLM),它体积小巧,更加灵活,更有针对性,非常适合私密性、专业性很强的企业部署。AMD-135小模型隶属于Llama家族,...……更多
huggingface公布“smollm”小语言模型家族
7月20日消息,如今小语言模型开始升温,许多厂商开始推出适用于手机等轻量级设备的“小模型”,本周HuggingFace便公布了“SmolLM”小语言模型家族,其中包含1.35亿、3.6亿及17亿参数模型。据介绍,这些模型号称是以精心策划的...……更多
stabilityai推出小语言ai模型
...年推出的第二款模型,号称是“自家迄今以来最为强大的小语言AI模型”。从新闻稿中得知,这款AI模型支持英语、西班牙语、德语、意大利语、法语等7种语言,拥有“体积小、性能高效”特点,并号称在“安全透明的环境下训...……更多
amd公布自家首款“小语言模型”
9月29日消息,AMD在Huggingface平台公布了自家首款“小语言模型”AMD-Llama-135m,该模型具有推测解码功能,拥有6700亿个token,采用Apache2.0开源许可。据介绍,这款模型主打“推测解码”能力,其基本原理是使用小型草稿模型生成一...……更多
zyphra推出zamba2-mini1.2b模型
...宣布推出Zamba2-mini1.2B模型,共有12亿参数,声称是端侧SOTA小语言模型,在4bit量化下内存占用低于700MB。IT之家注:SOTA全称为state-of-the-art,并不是特指某个具体的模型,而是指在该项研究任务中,目前最好/最先进的模型。Zamba2-min...……更多
一毛钱写两本红楼梦,智谱AI再降价,已服务30万企业用户
...,各个大厂都有推出小模型系列产品——比如微软的SLM(小语言模型)Phi-3系列、苹果的“小模型”家族、谷歌的Gemma等等。 MaaS平台,加量但降价另外,智谱的MaaS大模型开放平台也发布了2.0版本。相比之下,今年1月智谱Dev Day...……更多
AMD举办AI PC创新峰会:150多家厂商支持
...场空间,例如AMD可以跟小型开发者一起,让RyzenAI在开源小语言模型中更加得心应手,而针对中型语言模型,AMD的Radeon同样可以一展身手。特别是如今AI发展还处于早期阶段,市场还是百花齐放,此时AMD培养和发展自己AI生态圈的...……更多
4090笔记本0.37秒直出大片!英伟达联手MIT清华祭出Sana架构,性能秒杀FLUX
...量,成为首个不使用位置嵌入的DiT。 - 基于仅解码器「小语言模型」的文本编码器这里,研究人员使用了Gemma(仅解码器LLM)作为文本编码器,以增强对提示词的理解和推理能力。尽管T2I生成模型多年来取得了显著进展,但大多...……更多
阿里巴巴“AI驱动”战略提速 夸克发布自研大模型
本文转自:新华网11月14日,阿里巴巴智能信息事业群发布全栈自研、千亿级参数的夸克大模型,将应用于通用搜索、医疗健康、教育学习、职场办公等众多场景。夸克App将借助自研大模型全面升级,加速迈向年轻人工作、学习...……更多
加速AI落地企业!微软解读Copilot技术栈,云端混合大小模型是关键
...并不是只有大模型,高效的端侧小模型同样重要。微软的小语言模型Phi-3系列,发布全新多模态模型Phi-3-vision,其具备42亿参数,可提供语言和图像处理能力,能够实现基于照片的推理,并优化对图表内容的理解能力。Phi-3小语言...……更多
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...出世,到后来的百模大战如火如荼,再到如今AI落地换挡提速,围绕算力的“全民焦虑”始终贯穿其间。供求关系紧张是产生算力焦虑的根源所在。一方面,大模型训练与推理需求呈几何级数爆发——自2022年以来,人工智能算力...……更多
本文转自:中国科学报南开大学等让人工智能模型训练提速10倍以上本报讯(通讯员高雨桐 记者陈彬)南开大学、南开国际先进研究院(深圳福田)教授程明明团队发布了一项国际联合研究成果MDT,与人工智能文字生成视频大...……更多
1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品
...华人学者,提出了大模型训练优化器Cautious Optimizers。在提速的同时,Cautious能够保证训练效果不出现损失,而且语言和视觉模型都适用。该优化器以哈密顿量和下降动力学为理论基础,在加速的同时不影响收敛特性。作者在600M...……更多
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...集群的稳定性和性能问题,大模型加速层专为大模型训推提速而设计,工具层则通过一套管理界面提供了更便捷的操作体验。百度集团执行副总裁、百度智能云事业群总裁沈抖依托四层架构,百舸 4.0 对集群算力调用的各个环节...……更多
彩云科技发布基于DCFormer架构通用大模型云锦天章
...,提出了Mixture-of-Depths(MoD)方法,使得训练后采样过程中提速50%,成为Transformer架构提速升级的又一重要事件。同样在今年,一家来自国内的人工智能企业彩云科技,在国际机器学习领域的顶级会议ICML(国际机器学习大会)上,发布...……更多
NVIDIA RTX显卡AI推理提速5倍!
...理性能可以跑到每秒319tokens,相比其他后端的每秒61tokens提速足足4.2倍。RTX4090则可以从每秒tokens加速到每秒829tokens,提升幅度达2.8倍。基于强大的硬件性能、丰富的开发生态、广阔的应用场景,NVIDIARTX正成为本地端侧AI不可或缺...……更多
大模型观察|从训练到落地金融业,大模型“升级之路”面临哪些挑战?
...、存储,形成毫无短板的“铁三角”,让大模型训练大幅提速。奇富科技对北京商报记者表示,与普通大模型相比,奇富金融大模型在训练过程中的特殊之处在于“软硬结合”的金融科技探索与实践方向。“软”在于对金融业务...……更多
人工智能的第三支柱:数据存储
...– U.2 >< 西部数据Ultrastar DC SN861企业级SSD – E1.S >AI提速内容增长,数据存储未来可期在数据中心,预计未来五年内,HDD 和企业级SSD 都有显著的 EB 级增长机会。为满足市场对大容量SSD的需求,西部数据全新的企业级SSD将容...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...展“人工智能+”行动等战略指引下,我国AI落地进程正在提速,推动更多行业迈向数字化、智能化转型升级,并带动以GPU为核心的智算中心的建设与发展。张建中坦言,GPU在整个计算服务器中的占比依然很低,不到10%,但未来这...……更多
上千项改进!.net 9正式发布:微软用5个“最”概括
...对常用模型系列的增强标记化、新增对分词算法的支持、小语言模型和大语言模型(SLM和LLM)、嵌入、矢量存储、中间件等。此外还推出了Microsoft.Extensions.AI和Microsoft.Extensions.VectorData,为与AI服务交互提供了统一的C#抽象层。微...……更多
麻省理工的科学家可以让最流行的人工智能图像生成器提速30倍
科学家们已经建立了一个框架,通过将它们浓缩到更小的模型中,在不影响质量的情况下,给像Dall·E3和Stable Diffusion这样的生成式人工智能系统带来了巨大的提振。一项新的研究表明,由于一项技术可以将整个100个阶段的过程...……更多
腾讯开源最大MoE大语言模型!3D大模型同时支持文/图生成,晒混元模型及应用全家桶
...,就能生成个性化的3D导航车标,比传统3D车标重建方案提速91%。后续,混元3D模型团队将持续探索多视图生成、3D扩散模型、自回归生成等3D生成路线,最终目标落地3D管线。三、腾讯混元这一年:升级高性能MoE模型,发布原生大...……更多
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
有CPU就能跑大模型,性能甚至超过NPU/GPU!没错,为了优化模型端侧部署,微软亚洲研究院提出了一种新技术——T-MAC。这项技术主打性价比,不仅能让端侧模型跑得更快,而且资源消耗量更少。咋做到的??在CPU上高效部署低...……更多
微软宣布Team Copilot发布,年内将推出初步预览版
...最广泛的前沿和开源模型选择,包括大语言模型(LLM)和小语言模型(SLM)。纳德拉在开发者大会现场提及,GPT-4o已经结合到AzureAI,称OpenAI上周的GPT-4o演示“非常神奇”,OpenAI是微软“最具战略意义、以及最重要的合作伙伴”...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...全采用高效的数据流架构,这从根本上限制了 GPU 推理的提速。当前的几家主流 AI 芯片 Startup,都选择了数据流架构。其中来自 SambaNova 的 RDU 展现出了独特优势,也被视为 GPU 的最有力竞争者 。与英伟达相比,Sambanova 最新 Llama 3...……更多
...模型已深入制造业“研产供销服”全流程 ——智能制造提速,行业变革迅猛来袭智能制造有多热?5月16日—17日,本报记者应邀赴深圳参加了2024华为AI+制造行业峰会,与来自汽车、机械电子、医药等制造行业的企业代表、产业...……更多
2024下半年开始 到底有谁能和英伟达继续卷下去?
...dio2Gesture,用于根据音轨生成肢体手势Nemotron-34.5B,45亿的小语言模型,为低延迟、本地端RTXAIPC推理设计。现场展示了两个NvidiaACE的DEMO,可以看以下两个视频:01:31这是由Inworld制作的一个酒店大堂的场景,其中拥有诸多的NPU与场...……更多
Soul上线自研大模型“SoulX”,AIGC+社交布局提速
近日,新型社交平台Soul正式上线自研语言大模型SoulX。作为生成式人工智能最基础、最核心的工具,SoulX将作为Soul “AIGC+社交”布局的重要基建,垂直应用于平台上多元社交互动场景,例如智能对话机器人“AI苟蛋”、AI辅助聊...……更多
大模型新趋势之MoE:现状、挑战及研究方向
2024年,全球主流企业加快推出MoE大模型,1-5月发布千亿以上大模型均采用MoE优化架构,且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势,更适合处理大规模数据和复杂任务,已成谷歌、OpenAI、...……更多
这才是真开源模型!公开后训练一切,性能超越Llama 3.1 Instruct
开源模型阵营又迎来一员猛将:Tülu 3。它来自艾伦人工智能研究所(Ai2),目前包含 8B 和 70B 两个版本(未来还会有 405B 版本),并且其性能超过了 Llama 3.1 Instruct 的相应版本!长达 73 的技术报告详细介绍了后训练的细节。在...……更多
更多关于科技的资讯:
盒马启用“电子验蟹师”,专挑肥满度超七成的报恩大闸蟹
秋分一过,大闸蟹长成,开始批量上市。近期,盒马的大闸蟹也正式上架,还做出了“不肥包退”的承诺。能够做到“不肥包退”,是因为今年盒马推出了首个大闸蟹分级企业标准
2025-09-24 20:37:00
康宝莱全球产品创新中心焕新启航 智驱未来 聚力共赢
2025年9月23日,上海 - 全球知名的健康公司康宝莱今日在上海举行“康宝莱全球产品创新中心”揭幕仪式。该中心由原“康宝莱中国产品创新中心”战略升级而成
2025-09-24 20:45:00
近日,由山东移动张店公司为区融媒体中心量身打造的“智慧研学服务平台”正式投入使用。该平台以信息化手段打通家长、教师、基地之间的信息壁垒
2025-09-24 20:48:00
2025第五届邹区国际照明博览会将于9月26日启幕
备受行业关注的2025第五届邹区国际照明博览会将于9月26日正式拉开帷幕,将集合全球照明领域的最新技术成果与产品,致力于促进产业链各环节的深度协作
2025-09-24 20:55:00
冲刺三季度 决胜下半年|华药(十堰)药业:AI“慧眼”识药 质效大幅提升
十堰广电讯(全媒体记者 翁红)华药(十堰市)药业有限公司中药饮片生产线项目是京堰对口协作重点招商项目。自今年6月试生产以来
2025-09-24 21:00:00
我武生物践行“实业报国,治病救人”,无偿助力“畅享呼吸”
由北京康盟慈善基金会与北京生命绿洲公益服务中心共同发起的“医药筹—畅享呼吸患者援助项目”,将于2025年10月1日起正式将援助范围扩展至甘肃省
2025-09-24 21:24:00
华为这一突破,意义非同寻常
(一)关注中国科技,我们必须关注华为;关注华为,我们必然就看到这一突破。我的第一感觉,这个突破,意义非凡。对华为来说是这样
2025-09-24 07:34:00
全球首发,钟楼智造闪耀第25届中国国际工业博览会!
9月23日第25届中国国际工业博览会(简称“工博会”)在上海盛大启幕这场聚焦“新质”展现大国工业硬核实力的博览会以“工业新质
2025-09-24 20:55:00
在制造业提质增效的浪潮中,那些藏在生产环节里的“细枝末节”,往往藏着撬动效益升级的关键密码。近日,太重包储分公司的散件箱优化项目传来捷报
2025-09-24 07:52:00
被3000亿资金哄抢的创新药企,上市首日暴涨110%
文|胡香赟编辑|海若镜港股迎来今年第11家上市的创新药公司。9月19日,劲方医药在港交所挂牌,首日涨幅接近110%、市值逼近150亿
2025-09-24 06:26:00
2025北京文化论坛“虚实无界:视听产业融合破圈”平行论坛举办
中国青年报客户端北京9月23日电(中青报·中青网记者 沈杰群)今天,2025北京文化论坛平行论坛——“虚实无界:视听产业融合破圈”在北京国际饭店会议中心举行
2025-09-24 00:03:00
中信银行南京分行成功举办“小天元”企业生态服务平台江苏区域发布会
9月22日下午,在百余家江苏企业代表的共同见证下,中信银行“小天元”企业生态服务平台江苏区域发布会暨“进万企 信服惠企”系列活动在南京成功举办
2025-09-23 23:15:00
聚焦京津冀协同发展|一个平台,推动黄骅模具迈向高端
北京市科学技术委员会牵头,京冀相关单位共建智能模具科技成果转化中试平台一个平台,推动黄骅模具迈向高端9月11日,智能模具科技成果转化中试平台工作人员正在操作四轴机床进行生产
2025-09-23 08:49:00
AI赋能千行百业一线故事(十二):数智化转型,让电厂越来越智慧
数智化转型,让电厂越来越智慧——AI赋能千行百业一线故事(十二)8月28日,石家庄良村热电有限公司生产技术部专业主管苏朝宏介绍智慧展厅
2025-09-23 08:53:00
“产业炬光灯”系列短视频首期聚焦中材航特
“产业炬光灯”系列短视频于厦门日报官方视频号、抖音号、快手号、B站账号、央视频账号等全媒体平台同步上线,首期节目走进中材航特
2025-09-23 08:58:00