• 我的订阅
  • 头条热搜
16384块NVIDIA H100训练Meta Llama3 4050亿参数大模型:3小时报错一次
快科技7月29日消息,如今的AI大模型规模越来越庞大,动辄成百上千亿参数,训练过程不仅需要数万甚至十几万块GPU加速卡,出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。Meta在报告中披露,为了训练自己的Llama ...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...开的彻彻底底。这不,Meta一连放出三篇技术文章,从大模型适配方法出发,介绍了:如何使用特定领域数据微调LLM,如何确定微调适配自己的用例,以及如何管理良好训练数据集的经验法则。接下来,直接进入正题。适配大模...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
就在刚刚,Meta 发布了其最先进开源大型语言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 8B 和 70B 的预训练和指令微调版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业...……更多
AI与人争资源怎么破解
...办法缓解AI发展与算力消耗海量资源之间的矛盾?《环球时报》记者就此采访了业内专家。训练AI为何会消耗海量资源随着OpenAI公司发布的聊天机器人ChatGPT的爆红,各国都加快了AI大模型的训练,需要的算力也急速增加。马斯克...……更多
常见电子邮件分类算法的性能分析
...值向量,进而利用监督学习的方法进行训练。通过训练,模型能够学习到从文本到类别的映射关系,从而实现对新文本的自动分类。这些算法在垃圾邮件识别、新闻分类、情感分析等领域有着广泛的应用。关键词:TF-IDF;决策树...……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
不必增加模型参数,计算资源相同,小模型性能超过比它大14倍的模型!谷歌DeepMind最新研究引发热议,甚至有人表示这可能就是OpenAI即将发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法,根...……更多
ChatGPT走红背后:苦熬五年,三次AI路线迭代|行业观察
...研究显示,参数量爆发的GPT-2,生成的文本几乎与《纽约时报》的真实文章一样令人信服。这也让更多人意识到无监督学习下,大模型的价值所在。伴随着每年一更新的频率,2020年,GPT-3如约而至。这次的GPT-3,在模型参数上达...……更多
AI探索宇宙结构新突破!超精准场级模拟,半秒完成冷暗物质仿真
...进行编码的样式参数。研究人员在六维N-body相空间上训练模型,将粒子速度预测为模型位移输出的时间导数,显著提高了训练效率和模型准确性。最终,模拟器在测试数据(训练期间未见过的各种宇宙学和红移)上实现了良好的...……更多
模型即服务,卓世科技MaaS平台 2.0 正式上线
引言:MaaS(ModelasaService,模型即服务)是一种将人工智能算法模型及其相关能力封装成服务,以降低人工智能技术使用门槛、控制应用建设成本、简化系统运维管理复杂度,并提升人工智能技术的综合应用效能的模式。 上新了...……更多
Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的
...为什么不使用MoE架构?后训练与RLHF流程是如何进行的?模型评估是如何进行的?我们什么时候可以见到Llama 4?Meta是否会发展agent?恰逢Llama 3.1刚刚发布,Meta科学家就现身播客节目Latent Space,秉持着开源分享的精神,对以上问题...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...列长度为8,192个数据单元,以处理更长的上下文信息纽约时报点评道,开源Gork背后的原始代码,是这个世界上最富有的人控制AI未来战斗的升级。Meta CEO扎克伯格刚刚也对Grok做出了评价:“并没有给人留下真正深刻的印象,3140亿...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...一新兴的前沿领域还鲜少有人涉足,但绝对值得深耕!AI模型再扩展1000倍的秘密可能就藏在这里。随着Scaling Law越来越成功,LLM的电力和算力消耗也逐渐达到了惊人程度。我们越来越难以想象,当前的模型规模如何能再扩大10倍...……更多
一键解锁ChatGPT原理与应用
在这段时间,有关大语言模型的消息频频传出,许多人也逐渐了解、甚至开始应用起相关的AI软件。那么,你了解GPT模型的原理是什么吗?大模型和传统AI的区别在于哪里?其应用可以体现于哪些方面?一起来看看作者的分析和...……更多
美AI巨头被控秘密“侵吞”数据
...被问及训练数据的来源时,她表示不会透露细节。《纽约时报》称,与OpenAI一样,谷歌也转录了YouTube视频,为其AI模型收集文本,这可能侵犯了视频创作者的版权。去年,谷歌还更改了其服务条款。此番动机意图明显,即允许AI...……更多
生成式AI的抄袭输出问题值得关注(附图片)
...字逐句照搬训练时“见过”的大段文本。前不久,《纽约时报》向美国曼哈顿联邦法院提起诉讼,指控OpenAI涉嫌违规使用其内容用于人工智能开发的事件引起了社区极大的关注与讨论。《纽约时报》称其“非法使用”“数百万篇...……更多
苹果AI震撼上线iPhone,进化版Siri却没有ChatGPT!47页技术报告揭秘自研模型
...,一大波测评刷屏全网。更惊喜的是,苹果AI背后的基础模型47页技术报告,也一并上线了。一大早,人们期待已久的「苹果AI」首个预览版,正式向开发者们推送了!iOS 18.1、iPadOS 18.1、macOS Sequoia 15.1三大系统中,全都植入了苹...……更多
证券时报记者 叶玲珍过去一年多,以ChatGPT为代表的生成式AI(人工智能)技术狂飙突进,各路科技巨头争相入局,试图在技术演进、应用落地风口抢占更多话语权,“百模大战”已然打响。本期“中国智造面对面”走进科大讯...……更多
ibm开源“最先进”和高性能的granite代码模型
...BM现已开源其“最先进”和高性能的Granite(花岗岩)代码模型。IT之家附开源链接如下:GitHub:点此进入HuggingFace:点此进入Granite代码模型的参数范围从3B到34B,并且有基础模型和指令跟随模型两种变体,适用于复杂应用现代化...……更多
本文转自:北京日报崔文佳去年年末,美国《纽约时报》起诉微软和OpenAI侵犯其版权。半个多月来,这一消息不仅为“吃瓜群众”津津乐道,也引发相关行业人士的关注。这场争端显示出传媒业与AI技术的复杂关系,值得全社会...……更多
OpenAI发布最新技术研究,AI“黑盒”不再是难题!
...随着ChatGPT在法律、金融、营销等领域的广泛使用,确保模型的安全、准确输出同时被很好理解变得非常重要。但由于神经网络的复杂和多变性,我们根本无法验证其生成内容的准确性,这也就会出现输出“黑盒”的情况。为了...……更多
德国OpenAI加入开源大战!发布欧洲纯血版模型,曾获博世和惠普投资
...VentureBeat报道,德国AI创企Aleph Alpha今日发布了两个大语言模型(LLM)。这两个模型各拥有70亿个参数,可以在多种欧洲语言中提供简洁、长度可控的响应,并已开源。该公司宣称,其模型的性能可以与其他在70亿到80亿参数量级的...……更多
摩尔线程GPU千卡集群完成师者AI 70亿参数教育大模型训练测试
快科技6月14日消息,摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已完成大模型训练测试。师者AI基于摩尔线程夸娥(KUAE)千卡智算集群,完成了其70亿参数大模型的高强度训练测试。整个训练过程用时一周,训练...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
百度文心一言发布会详细纪要
...过去的十几年当中,一直在AI的研发上坚持投入。文心大模型第一个版本2019年就发布了,此后每年都要发布一个新版本。所以从这个意义上说,文心一言的发布只是我们过去多年努力的自然延续。但毕竟今天的文心一言,是要对...……更多
chatgpt低成本复现流程开源
首个开源的ChatGPT低成本复现流程来了!预训练、奖励模型训练、强化学习训练,一次性打通。最小demo训练流程仅需1.62GB显存,随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。相比原生PyTorch,单机训练速度最高...……更多
最强AI程序员砸饭碗:84秒跑通代码 像人一样思考
...了30.07%问题的成绩夺得榜首。(SWE-Bench是一个用来评估大模型解决现实中软件问题的基准。)而这个成绩可谓是遥遥领先第二名19.27%,解锁了提升SOTA的最大增幅——57%!至于Genie的实际效果,用团队的话来说就是:它可以做到像...……更多
ICML2024演讲爆火!Meta朱泽园揭秘大模型内心世界:不同于人类推理
...稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com大语言模型 (LLM) 是如何解数学题的?是通过模板记忆,还是真的学会了推理思维?模型的心算过程是怎样的?能学会怎样的推理技能?与人类相同,还是超越了人类?只学一种类...……更多
chatgpt低成本复现流程来了
首个开源的ChatGPT低成本复现流程来了!预训练、奖励模型训练、强化学习训练,一次性打通。最小demo训练流程仅需 1.62GB 显存,随便一张消费级显卡都能满足了。单卡模型容量最多提升 10.3倍。相比原生PyTorch,单机训练速度最...……更多
高文院士:鹏城实验室已训练3个大模型,今年底将拥有两万多块卡
...城实验室主任高文发表演讲,分享了鹏城实验室在打造大模型平台上的进展。他表示,大模型训练首先需要一个平台。“现在要想训练一个大模型,需要有几千块卡,甚至上万块卡。”他介绍到,鹏城实验室在2020年就搭建了这...……更多
紫东.太初再进化,揭秘全模态大模型的想象力
...内部分享中,奇绩创坛创始人陆奇直言:他已经跟不上大模型时代的“狂飙”速度了。在ChatGPT引发的现象级讨论下,千亿级大模型的军备竞赛愈演愈烈,不少企业赶趟儿式的交出了自家的大模型答卷。尽管大模型的质量参差不...……更多
更多关于科技的资讯:
高通供货!iPhone 16 Pro Max基带揭晓
快科技9月22日消息,测试机构techinsights对iPhone 16 Pro Max进行了拆解,发现这款新机使用的是高通骁龙5G基带SDX71M
2024-09-22 00:25:00
冰火两重天!一边黄牛拒收苹果16 Pro 一边加价3万+收不到华为三折
快科技9月22日消息,一边是iPhone 16首卖,另外一边是华为Mate XT的上市,两款重磅新机对决也是备受大家的关注
2024-09-22 00:25:00
三星预计将在本月推出至少三款新产品
据外媒报道,三星似乎无意间透露了GalaxyS24FE的发布日期。三星预计将在本月晚些时候推出至少三款新产品,包括一款GalaxyS24FE智能手机和两款高端平板电脑
2024-09-22 01:10:00
百万网红博主拆解华为三折叠手机
近日,拥有百万粉丝的网红博主@杨长顺维修家对华为最新推出的三折叠手机进行了一次详细的拆解。在拆解过程中,博主边拆边惊叹
2024-09-22 01:11:00
优派lx700-4kultra投影机,家庭娱乐的绝佳选择
马上国庆假就要到了,作为一年一度的长假,很多人选择宅在家。而优派LX700-4KUltra三色激光投影机,作为家庭娱乐的梦幻选择
2024-09-22 01:19:00
metaquest3s头显上架韩国电商,约2336元人民币
9月20日消息,科技媒体MixedNews昨日(9月19日)发布博文,报道称Meta的Quest3S头显上架韩国电商平台
2024-09-22 01:45:00
深蓝l07正式上市,共推出6个版本
9月20日,定位“科技智享中型轿车”的深蓝L07正式上市,共推出6个版本,售价区间为15.19-17.39万元,不仅提供增程和纯电两种动力选择
2024-09-22 02:04:00
海信激光电视亮相青岛
9月19日,2024激光显示技术与产业发展大会在青岛海滨召开。据CNMO了解,海信视像科技总裁李炜在会上发表了题为《十年砺光
2024-09-22 02:06:00
华为watchgt5系列国内开启预售,提供两种尺寸
9月20日,华为官方宣布,华为WATCHGT5系列正式在国内开启预售。此次预售提供了41mm和46mm两种尺寸供消费者选择
2024-09-22 02:12:00
千元档手机vivoy300pro外观设计相当出色
最近vivo全新发布的vivoY300Pro,想必很多人都有所了解,这款手机在续航方面堪称同档位手机无敌手,还有着旗舰同款屏幕
2024-09-22 02:27:00
低电量焦虑患者的福音,vivoy300pro开售
如今,对于许多年轻人来讲,手机已然成为他们生活中不可或缺的亲密伙伴,也正因如此,不少年轻人都有低电量焦虑症,一旦手机电量告急
2024-09-22 02:28:00
德国经济部长:希望帮助大众度过成本削减期
9月21日消息,据路透社报道,德国经济部长罗伯特・哈贝克当地时间周五表示,希望帮助大众汽车度过成本削减期,最终免于作出关闭工厂的决定
2024-09-22 02:31:00
iphone16开卖,首批货源开售即秒罄
9月20日消息,今天iPhone16开卖,而首批收到新机的用户依然花落天猫,果然还是官方更快。有首批用户在晒新机的帖子写道
2024-09-22 02:53:00
ff第二品牌fx正式发布,将涉足增程式混动领域
9月20日消息,今日早间,FaradayFuture(法拉第未来)第二品牌正式发布,品牌定名为FaradayX(简称为FX)
2024-09-22 02:54:00
vivooriginos5将于10月10日正式发布
9月20日消息,今天,vivo宣布将于10月10日在深圳举行2024vivo开发者大会,正式发布OriginOS5和自研蓝河操作系统2
2024-09-22 02:56:00