• 我的订阅
  • 头条热搜
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
不必增加模型参数,计算资源相同,小模型性能超过比它大14倍的模型!谷歌DeepMind最新研究引发热议,甚至有人表示这可能就是OpenAI即将发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法,根...……更多
o1突发内幕曝光?谷歌更早揭示原理 大模型光有软件不存在护城河
发布不到1周,OpenAI最强模型o1的护城河已经没有了。有人发现,谷歌DeepMind一篇发表在8月的论文,揭示原理和o1的工作方式几乎一致。o1突发内幕曝光?谷歌更早揭示原理,大模型光有软件不存在护城河这项研究表明,增加测试...……更多
OpenAI 超强 o1 智商超 120 遥遥领先于其他模型:1 小时写出 NASA 博士 1 年代码,最新编程赛超越 99.8% 选手
...成的博士论文代码,竟被 AI 在 1 个小时之内实现了。o1 模型已经强到,能够直出博士论文代码了!来自加州大学欧文分校(UCI)的物理学博士 Kyle Kabasares,实测 o1 preview+mini 后发现:自己肝了大约 1 年的博士代码,o1 竟在 1 小时...……更多
摩尔线程GPU千卡集群完成师者AI 70亿参数教育大模型训练测试
快科技6月14日消息,摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已完成大模型训练测试。师者AI基于摩尔线程夸娥(KUAE)千卡智算集群,完成了其70亿参数大模型的高强度训练测试。整个训练过程用时一周,训练...……更多
思维链让大模型推理更准确?谷歌早于OpenAI押中o1模型核心原理
几天前 OpenAI 新模型 o1 的发布,再次引发了人们对大语言模型的高度关注和讨论。而 o1 发布之所以如此“轰动”,是因为它与此前大模型由语言驱动用于聊天或语音助手有本质的不同。其不仅进入到复杂的领域,还表现出超强...……更多
360智脑7b参数模型采用3.4万亿tokens训练
...12日消息,360公司日前在GitHub上开源了360智脑7B(70亿参数模型)。360智脑大模型采用3.4万亿Tokens的语料库训练,以中文、英文、代码为主,开放4K、32K、360K三种不同文本长度。360表示,360K(约50万字)是当前国产开源模型文本长...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
大模型领域的技术发展,今天起再次「从 1 开始」了。大语言模型还能向上突破,OpenAI 再次证明了自己的实力。北京时间 9 月 13 日午夜,OpenAI 正式公开一系列全新 AI 大模型,旨在专门解决难题。这是一个重大突破,新模型可...……更多
huggingface公布“smollm”小语言模型家族
7月20日消息,如今小语言模型开始升温,许多厂商开始推出适用于手机等轻量级设备的“小模型”,本周HuggingFace便公布了“SmolLM”小语言模型家族,其中包含1.35亿、3.6亿及17亿参数模型。据介绍,这些模型号称是以精心策划的...……更多
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
为了保持公司在AI(人工智能)开源大模型领域的地位,社交巨头Meta推出了旗下最新开源模型。当地时间4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3。目前,Llama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,...……更多
常见电子邮件分类算法的性能分析
...值向量,进而利用监督学习的方法进行训练。通过训练,模型能够学习到从文本到类别的映射关系,从而实现对新文本的自动分类。这些算法在垃圾邮件识别、新闻分类、情感分析等领域有着广泛的应用。关键词:TF-IDF;决策树...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...之心开源社区有福了。说到做到,马斯克承诺的开源版大模型 Grok 终于来了!今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当...……更多
首个o1复现开源RL框架OpenR来了,UCL、上交等高校联合团队发布
...理教授(研究)杨林易。o1 作为 OpenAI 在推理领域的最新模型,大幅度提升了 GPT-4o 在推理任务上的表现,甚至超过了平均人类水平。o1 背后的技术到底是什么?OpenAI 技术报告中所强调的强化学习和推断阶段的 Scaling Law 如何实现...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instru...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
就在刚刚,Meta 发布了其最先进开源大型语言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 8B 和 70B 的预训练和指令微调版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业...……更多
李彦宏称开源赶不上闭源?Meta发布最强开源模型,马斯克评价“还不错”
...家坚持开源的社交巨头,又默默放出了最新一代的开源大模型Llama3。美当地时间4月18日,Meta在官网上发布了两款开源大模型,参数分别达到80亿和700亿,是目前同体量下性能最好的开源模型。马斯克对此评价称“还不错”。Meta...……更多
苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析
...武静静编辑|邓咏仪放弃造车后的苹果,正在加速入局大模型战争。当地时间3月15日,苹果就披露了两个关键大模型动作。其中一个值得关注的是苹果的收购事件。彭博社报道称,苹果已经收购了一家加拿大AI初创公司DarwinAI。...……更多
免训练大模型知识编辑,吸收新数据更高效|EMNLP\\\'24
让大模型能快速、准确、高效地吸收新知识!被EMNLP 2024收录的一项新研究,提出了一种检索增强的连续提示学习新方法,可以提高知识终身学习的编辑和推理效率。模型编辑旨在纠正大语言模型中过时或错误的知识,同时不需...……更多
苹果AI震撼上线iPhone,进化版Siri却没有ChatGPT!47页技术报告揭秘自研模型
...,一大波测评刷屏全网。更惊喜的是,苹果AI背后的基础模型47页技术报告,也一并上线了。一大早,人们期待已久的「苹果AI」首个预览版,正式向开发者们推送了!iOS 18.1、iPadOS 18.1、macOS Sequoia 15.1三大系统中,全都植入了苹...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
【新智元导读】Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。从5月和6月...……更多
模型即服务,卓世科技MaaS平台 2.0 正式上线
引言:MaaS(ModelasaService,模型即服务)是一种将人工智能算法模型及其相关能力封装成服务,以降低人工智能技术使用门槛、控制应用建设成本、简化系统运维管理复杂度,并提升人工智能技术的综合应用效能的模式。 上新了...……更多
amd推出10亿参数语言模型系列amdolmo
...10月31日发布博文,宣布推出首个完全开放的10亿参数语言模型系列AMDOLMo,为开发者和研究人员提供强大的AI研究工具。AMDOLMo模型使用从零开始训练的10亿参数语言模型系列(LMs),在AMDInstinct™MI250GPU集群上训练,使用了超过1.3...……更多
一块GPU都没用,苹果自研大模型干翻GPT-4?
...,上线Apple Intelligence的首个版本,同时47页的苹果自研大模型技术报告重磅发布。Apple Intelligence首个版本上线了以下AI功能:1、Siri升级。Siri唤醒后具备屏幕边缘发光特效,能理解用户表述不通顺的指令,且能回答关于苹果产品...……更多
马斯克官宣Grok-2测试版!xAI将继续拥抱开源路线吗?
继旗下xAI公司宣布正式开源大模型Grok-1后,特斯拉CEO马斯克再次在大模型市场扔下一颗重磅炸弹。当地时间8月11日晚,马斯克在X平台上透露人工智能模型Grok-2测试版将在不久后发布。事实上,马斯克在7月份就在X平台上确认,Gr...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...研究人员,利用延迟掩蔽、MoE、分层扩展等策略,将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱?之前最便宜的方法(Wuerstchen)用了28400美元,而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
苹果开源7B模型,训练过程数据集一口气全给了,网友:很不像苹果
苹果最新杀入开源大模型战场,而且比其他公司更开放。推出7B模型,不仅效果与Llama 3 8B相当,而且一次性开源了全部训练过程和资源。要知道,不久前Nature杂志编辑Elizabeth Gibney还撰文批评:许多声称开源的AI模型,实际上在...……更多
全面开源 浪潮信息发布千亿参数基础大模型“源2.0”
...浪潮电子信息产业股份有限公司在京发布“源2.0”基础大模型,并宣布全面开源。“源2.0”包括102B(1026亿)、51B(518亿)、2B(21亿)三种参数规模的模型,在编程、推理、逻辑等方面展示出了先进的能力。基础大模型的关键能...……更多
昆仑万维发布开源13B高质量商用大模型 领先Llama2和Baichuan2
10月30日,昆仑万维宣布开源百亿级大语言模型「天工」Skywork-13B系列,并配套开源了600GB、150B Tokens的超大高质量开源中文数据集。昆仑万维「天工」Skywork-13B系列目前包括130亿参数的两大模型:Skywork-13B-Base模型、Skywork-13B-Mat……更多
反击OpenAI,谷歌放出最强悍大模型Gemini
...斯·哈萨比斯在谷歌官网联名发文,官宣了最新多模态大模型Gemini 1.0(双子星)版本正式上线。这个上线时间早于外界猜测的明年1月,保密程度很高,仅有少数媒体提前猜出。Gemini 1.0是谷歌筹备了一年之久的GPT4真正竞品,也是...……更多
AI探索宇宙结构新突破!超精准场级模拟,半秒完成冷暗物质仿真
...进行编码的样式参数。研究人员在六维N-body相空间上训练模型,将粒子速度预测为模型位移输出的时间导数,显著提高了训练效率和模型准确性。最终,模拟器在测试数据(训练期间未见过的各种宇宙学和红移)上实现了良好的...……更多
更多关于科技的资讯:
日立与中国太保、三井住友海上(中国) 达成以社会创新业务为中心的战略合作
通过开展协创,为创造人们的幸福生活做出贡献2024年11月7日,日立(中国)有限公司(以下简称“日立(中国)”)与中国太平洋保险(集团)股份有限公司(以下简称“中国太保”)以及三
2024-11-12 14:57:00
中华老字号技术创新-全新设计大明精验6度镜片正式发布
大明眼镜精准个性化验光的落地解决方案-全新设计的大明精验镜片已在北京大明眼镜各连锁店开启预售,并将于11月14日召开的"薪火赓续
2024-11-12 14:57:00
对话·临沂|“两元店”火爆出圈,揭秘临沂小商品的海外生意经
安徽人,在临沂,将小商品生意做向全球。一句话,道出耿延周近20年的创业故事。在意气风发的年纪,耿延周选择一座陌生的城市
2024-11-12 15:20:00
作业帮学习机“双11”销量同比增263% 领先优势持续扩大
2024年,“双11”步入第16年,随着85后、90后成为主力消费客群,消费市场也在变得更加多元,教育智能硬件成为购物节期间火爆行业之一
2024-11-12 15:21:00
近期随着华为宣布全新HarmonyOSNEXT蓄势待发,越来越多的企业加速旗下产品推进鸿蒙“纯血版本”计划。以A股文化传媒板块名列前茅的上市公司世纪华通为例
2024-11-12 15:21:00
最高补贴600元!日照市电动自行车以旧换新补贴上线啦!
一、活动时间自2024年11月11日上午9:00,日照市电动自行车以旧换新服务平台上线之日起,最晚至2024年12月31日止或补贴资金使用完毕即止
2024-11-12 15:21:00
科技疆场的精彩何以抵达?高精尖、黑科技、硬核……带给人“见所未见”的惊喜,带给人“未来已来”的感叹。刚刚闭幕的第十二届中国(绵阳)科技城国际科技博览会
2024-11-12 15:26:00
聚焦客户,立足未来----伊顿宇航亮相第十五届中国航展
智能动力管理公司伊顿旗下宇航集团携手伊顿上飞(上海)航空管路制造有限公司(简称伊飞公司)于11月12日正式亮相第十五届中国国际航空航天博览会(简称"中国航展")
2024-11-12 15:27:00
一箭15星!国内民商火箭“力箭一号”正式进入国际商业市场
本文转自:人民网-北京频道人民网北京11月12日电 (记者池梦蕊)“一箭15星,五战五捷!”11月11日12时03分,中科宇航力箭一号遥五运载火箭·央视频号在东风商业航天创新试验区发射
2024-11-12 15:42:00
中芯微实业亮相国际全触展受国内外客户热捧
2024年11月,备受瞩目的深圳国际全触与显示展在深圳国际会展中心盛大启幕!作为一年一度的显示触控行业风向标盛会,本届展会共吸引了海内外近3500家品牌厂商携最新的技术方案和产品参展
2024-11-12 15:45:00
平阳贝壳口腔门诊部推出“N + 1”全新口腔家庭医生团队服务模式
平阳贝壳口腔门诊部作为一所现代化口腔专科门诊,汇聚了预防保健、口腔医疗、美学修复、数字化种植等多元功能于一体。它积极引进并融合国内外先进的口腔医学管理经验
2024-11-12 15:54:00
【宅男财经|专家面对面】近日,一名女子以11元拍下山东威海乳山一套海景房的消息引发关注。据阿里资产平台信息,此次拍卖不到4分钟便结束了
2024-11-12 15:55:00
打造文明和谐的宠物消费氛围 共绘宠物经济新篇章
小宠物撬动大市场,“它经济”全链条开花!近日,山海悦宠节暨第三届中国国际宠物文化嘉年华系列活动在中建乐荟天地拉开帷幕。据介绍
2024-11-12 16:03:00
每日一图|国际商贸城人气旺
本文转自:人民网-浙江频道孙鹏
2024-11-12 16:18:00
年初以来,江苏灌云农商银行紧紧围绕服务客户、服务实体经济、服务发展大局,高效能开展金融工作,上线展业平台,进一步突破金融服务空间障碍
2024-11-12 16:21:00