• 我的订阅
  • 头条热搜
谷歌开源最强端侧小模型:2B参数越级跑赢GPT-3.5-Turbo
谷歌也来卷「小」模型了,一出手就是王炸,胜过了比自己参数多得多的GPT-3.5、Mixtral竞品模型。今年 6 月底,谷歌开源了 9B、27B 版 Gemma 2 模型系列,并且自亮相以来,27B 版本迅速成为了大模型竞技场 LMSYS Chatbot Arena 中排名最...……更多
小模型正在成为AI界的新宠
大模型的发展已经进入了万亿级参数时代。DeepMind 联合创始人穆斯塔法・苏莱曼(Mustafa Suleyman)预测, 仅在未来三年内,大模型规模以惊人的速度继续扩张,将增长 1000 倍。一方面,模型的参数量与其能够处理和学习的复杂性...……更多
免训练大模型知识编辑,吸收新数据更高效|EMNLP\\\'24
让大模型能快速、准确、高效地吸收新知识!被EMNLP 2024收录的一项新研究,提出了一种检索增强的连续提示学习新方法,可以提高知识终身学习的编辑和推理效率。模型编辑旨在纠正大语言模型中过时或错误的知识,同时不需...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
...策略。我们深入研究了统计学在AI算法开发、数据分析和模型优化方面的作用。通过采用统计学方法,可以提高AI系统的性能、准确性和稳定性,从而更好地满足不同应用领域的需求。此外,我们还探讨了在AI系统中应用统计学方...……更多
iPhone可跑2B小钢炮!谷歌Gemma 2来袭,最强显微镜剖解LLM大脑
【新智元导读】谷歌DeepMind的小模型核弹来了,Gemma 2 2B直接击败了参数大几个数量级的GPT-3.5和Mixtral 8x7B!而同时发布的Gemma Scope,如显微镜一般打破LLM黑箱,让我们看清Gemma 2是如何决策的。谷歌DeepMind的小模型,又上新了!就...……更多
大模型新趋势之MoE:现状、挑战及研究方向
2024年,全球主流企业加快推出MoE大模型,1-5月发布千亿以上大模型均采用MoE优化架构,且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势,更适合处理大规模数据和复杂任务,已成谷歌、OpenAI、...……更多
清华教授唐杰:Scaling Laws虽被质疑,但至今仍是提高大模型性能的重要方法
清华大学计算机系讲席教授、人工智能研究院基础模型研究中心主任唐杰出品|搜狐科技作者|郑松毅2024年已过半,大模型之争热度不减,通往AGI的路究竟该怎么走?近日,清华大学计算机系讲席教授、人工智能研究院基础模...……更多
优刻得首个「国产千卡智算集群」落地,支持智源千亿大模型训练
...算集群规模,才能一路突破围追堵截,进一步促进国产大模型产业生态繁荣。作为中立、安全的云计算服务厂商,优刻得持续发力人工智能智算领域,与国内主流AI芯片厂商深度合作,共同搭建的「国产千卡智算集群」现已上线...……更多
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
为了保持公司在AI(人工智能)开源大模型领域的地位,社交巨头Meta推出了旗下最新开源模型。当地时间4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3。目前,Llama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...研究人员,利用延迟掩蔽、MoE、分层扩展等策略,将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱?之前最便宜的方法(Wuerstchen)用了28400美元,而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
...:德宏团结报性能提升30%!中国电信进一步开源12B星辰大模型本报讯 近日,中国电信开源12B参数规模星辰语义大模型TeleChat-12B,相较1月开源7B版本,内容、性能和应用等方面整体效果提升30%,其中,多轮推理、安全问题等领域...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
【新智元导读】Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。从5月和6月...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
【新智元导读】小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场,Mistral AI、HuggingFace本周接连发布了小模型。如今,苹果也发布了70亿参数小模型DCLM,性能碾压Mistral-7B。小模型的战场,打起来了!继GPT-4o mini、Mistral Ne……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
...著的能力跟进,可见其技术发展与创新的潜力。除了Gemini模型外,Gemma这一系列轻量级的SOTA开放模型似乎与我们距离更近。它基于Gemini模型相同的研究和技术构建,旨在让每个人都拥有构建AI的工具。谷歌持续扩展Gemma家族,包...……更多
谷歌发布gemma2大语言模型,共有两种大小
...布新闻稿,面向全球研究人员和开发人员发布Gemma2大语言模型,共有90亿参数(9B)和270亿参数(27B)两种大小。Gemma2大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。谷歌在新闻稿中表示...……更多
AI大模型“国标”首批测试结果公布,人工智能成市场新焦点
12月22日,国内首个官方“大模型标准符合性评测”结果公布,百度文心一言、腾讯混元大模型、360智脑、阿里云通义千问四款国产大模型首批通过测试。测试结果称,上述四款模型符合《人工智能大规模预训练模型第2部分:评...……更多
不同量级参数模型性能同样优秀 夸克大模型再登行业评测榜首
【CNMO新闻】“大模型时代,夸克有巨大机会创造出革新性搜索产品。”11月22日,夸克大模型公布了其面向搜索、生产力工具和资产管理助手的大模型技术布局。数据显示,夸克千亿级参数大模型登顶C-Eval和CMMLU两大权威榜单,...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
近日,上海算法创新研究院大模型团队的研究员李志宇和同事提出一种情景学习新范式:SLEICL(基于强模型增强的情景学习,Strong LLM Enhanced ICL),能更好地加速小模型的学术研究和产业落地。借助这一方法可以大幅提升小模型...……更多
微软论文一张截图,曝出GPT-3.5仅有200亿参数?AI圈巨震,网友大呼太离谱!
...乎「配得上」这个体量?GPT-3.5只有200亿参数?今天,大模型圈都被微软论文中的一纸截图刷爆了,究竟是怎么回事?就在前几天,微软发表了篇论文并挂在了arXiv上,该论文提出了一个参数量只有75M的小规模扩散模型——CodeFusio...……更多
CMU&清华:让LLM自己合成数据来学习,特定任务性能同样大幅提升
...赵晨阳,卡内基梅隆大学硕士生贾雪莹。虽然大规模语言模型(LLM)在许多自然语言处理任务中表现优异,但在具体任务中的效果却不尽如人意。为了提升模型在特定自然语言任务上的表现,现有的方法主要依赖于高质量的人工...……更多
中国首个音乐SOTA模型「天工音乐大模型」今日公测
2024年4月17日,在「天工」大模型一周年之际,昆仑万维重磅宣布,「天工3.0」基座大模型与「天工SkyMusic」音乐大模型正式开启公测!一年前的今天,第一版天工大模型正式对外发布上线,一年来我们不断迭代模型,迭代应用...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来,大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算...……更多
oppo首个端侧应用70亿参数大模型findx7系列
...的首个听筒/免提双模卫星通话,首个端侧应用70亿参数大模型,首次亮相的潮汐架构等诸多前沿技术。此次宣布的全新技术组合将全面落地下一代旗舰产品FindX7系列,为2024年旗舰手机树立全新的技术标杆,并为消费者带来刷新...……更多
文生图参数量升至240亿!Playground v3发布:深度融合LLM,图形设计能力超越人类
【新智元导读】Playground Research推出了新一代文本到图像模型PGv3,具备240亿参数量,采用深度融合的大型语言模型,实现了在图形设计和遵循文本提示指令上甚至超越了人类设计师,同时支持精确的RGB颜色控制和多语言识别。自...……更多
常见电子邮件分类算法的性能分析
...值向量,进而利用监督学习的方法进行训练。通过训练,模型能够学习到从文本到类别的映射关系,从而实现对新文本的自动分类。这些算法在垃圾邮件识别、新闻分类、情感分析等领域有着广泛的应用。关键词:TF-IDF;决策树...……更多
昆仑万维:“天工大模型3.0”将于4月17日正式发布 同步开源4000亿参数MoE超级模型
...新闻网2023年4月17日,昆仑万维发布自研双千亿级大语言模型“天工1.0”。即将到来的2024年4月17日,在“天工”大模型一周年之际,昆仑万维重磅宣布,“天工3.0”正式开启公测!“天工3.0”采用4千亿级参数MoE混合专家模型,并...……更多
掰开安卓手机 满屏都是三个字:大模型
这年头,安卓厂商没个大模型,都不敢开手机发布会了。前脚OPPO刚用大模型升级了语音助手,后脚vivo就官宣自研手机AI大模型;小米发布会则直接将大模型当场塞进手机系统……其竞争激烈程度,不亚于抢芯片首发。到底是怎...……更多
Meta大模型LLaMA 3即将登场,参数量或达1400亿
在推出开源大模型LLaMA2近一年之后,Meta的新一代大模型LLaMA3即将面世。在4月9日伦敦举行的一次活动中,Meta确认计划在下个月内首次发布LLaMA3。据了解,该模型将有多个具有不同功能的版本。但Meta并没有披露LLaMA3的参数规模。...……更多
更多关于科技的资讯:
理想智驾负责人郎咸朋:李想对我发过一次火 智驾做不到头部就不用干了
快科技12月26日消息,理想汽车今日晚间举办“2024理想AI Talk”。主持人问道,听说李想对智驾团队曾发了很大的火
2024-12-26 20:37:00
帧率提升200%!AMD RX 7900 XT挑战5款FSR 3.0大作
一、前言:蓝宝石RX 7900 XT极地挑战5款FSR 3游戏今年最火的游戏当属《黑神话:悟空》无疑,它也可能是目前为止最为消耗显卡资源的3A大作
2024-12-26 20:37:00
赵孝国:立足品质,餐饮行业需要一次“重塑”
12月26日,2024山东餐饮零售业品牌影响力巡礼活动成功举办。来自餐饮界的大咖、精英对话交流,为从业者提供发展新思路
2024-12-26 20:38:00
餐饮行业如何平稳穿越行业周期?行业大咖们这样说!
12月26日,“2024山东餐饮零售业品牌影响力巡礼”表彰大会在济南舜耕山庄隆重举办。此次大会汇聚了众多餐饮零售行业的精英大咖
2024-12-26 20:41:00
贵阳第二家学习“胖东来”模式 永辉超市新世界花园店12月27日开业
多彩贵州网讯(本网记者 文彬 陈仕发) 历时31天闭店调改,永辉超市贵阳新世界花园店将于12月27日9:00重新开业。作为贵阳第二家学习 胖东来模式调改开业的门店
2024-12-26 20:47:00
小米平板7即将在印度发布 主打生产力 国行早已开售
【CNMO科技消息】近日,小米正式宣布,其最新平板——小米平板7即将登陆印度市场。根据亚马逊的预热页面显示,这款平板的印度发布会将于2025年1月10日举行
2024-12-26 20:54:00
真我14 Pro+曝光 1.5K等深四微曲屏+潜望长焦稳了
【CNMO科技消息】前不久发布的真我Neo7新品,可以说是凭借着7000mAh的泰坦电池、天玑9300+、IP69+IP68满级防水以及首销2099元起的价格杀疯了
2024-12-26 20:55:00
苹果 iOS 19兼容性曝光:最低门槛提升至A12芯片
【CNMO科技消息】根据外媒透露,苹果公司下一代操作系统更新的设备兼容性情报已提前外泄。所有当前能够运行iOS18的iPhone型号预计也将继续获得iOS19的支持
2024-12-26 20:55:00
华为Mate X6销量超越Mate70 Pro?果然强得飞起
【CNMO科技消息】现在距离华为Mate品牌盛典过去也有将近一个月时间了,包括此前上市的Mate70系列和MateX6依旧是一机难求的状态
2024-12-26 20:55:00
曝OPPO或首发新款天玑次旗舰芯片 两大子品牌Q2发力
【CNMO科技消息】今年10月24日,OPPO发布了OPPOFindX8及OPPOFindX8Pro,全球首批搭载联发科天玑9400芯片
2024-12-26 20:55:00
采访商佑安:做品牌是远程攻击,不要总想着肉搏
第一次见观速咨询商佑安老师是在11月底,是在9月底,在新加坡举办的“以品牌为中心的第二次增长”为主题的营销会上,来的嘉宾很多传统企业和新加坡快餐连锁行业的CEO
2024-12-26 20:55:00
一加Ace 5系列详细参数汇总:全面升级 或2399元起
【CNMO科技消息】一加Ace5系列将于明日(12月26日)14:30发布。12月25日,博主@数码闲聊站汇总了一加Ace5系列的详细参数
2024-12-26 20:56:00
荣耀公布MagicOS 9.0五大升级亮点
【CNMO科技消息】据CNMO了解,荣耀MagicOS9.0第二波升级已经到来,官方总结了五大升级亮点,包括YOYO智能体
2024-12-26 20:57:00
华为手环10曝光,或与华为Pura 80同台亮相
据报道称,华为手环10已经通过了印尼SDPPI认证和TUVSUD认证,同时认证显示该款设备支持IP68级别防尘防水性能
2024-12-26 20:58:00
OPPO A5 Pro支持360°抗摔:通过多项军标环境测试
2024年12月24日,OPPO推出A5Pro手机,该产品以卓越的360°抗摔性能引发了行业内外的广泛关注,其实现了全方位的防护
2024-12-26 20:58:00