• 我的订阅
  • 头条热搜
小模型正在成为AI界的新宠
...的能力和效用。”风向在转变,小模型正在成为 AI 界的新宠。尽管参数规模较小,却在成本、性能和实用性方面具备优势 —— 占内存小、反应速度快、可以本地化运行。不久前,微软研究院推出了新一代小型语言模型系列 Phi-3...……更多
苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析
...武静静编辑|邓咏仪放弃造车后的苹果,正在加速入局大模型战争。当地时间3月15日,苹果就披露了两个关键大模型动作。其中一个值得关注的是苹果的收购事件。彭博社报道称,苹果已经收购了一家加拿大AI初创公司DarwinAI。...……更多
微软被曝正自研AI大模型:5000亿个参数,与谷歌和OpenAI竞争
...巨头微软或正在研发参数达5000亿的全新AI(人工智能)大模型,将正面叫板谷歌和OpenAI。当地时间5月6日,据外媒报道,微软正在研发一款名为MAI-1的最新AI大模型,其规模远超出微软此前推出的一些开源模型,在性能上或能与谷...……更多
高文院士:鹏城实验室已训练3个大模型,今年底将拥有两万多块卡
...城实验室主任高文发表演讲,分享了鹏城实验室在打造大模型平台上的进展。他表示,大模型训练首先需要一个平台。“现在要想训练一个大模型,需要有几千块卡,甚至上万块卡。”他介绍到,鹏城实验室在2020年就搭建了这...……更多
人均年薪100万,手机厂商数百亿开卷大模型
端侧大模型正在成为手机行业创新的新增量。文|《中国企业家》记者 赵东山编辑|李薇头图来源|视觉中国人均年薪100万,什么样的行业具备如此优渥的待遇?答案是AI大模型。这是vivo副总裁周围接受《中国企业家》等媒体...……更多
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...球科技公司Yandex推出了YaFSDP,这是一种用于训练大型语言模型(LLM)的开源方法。据介绍,YaFSDP是目前在大型语言模型训练中增强图形处理器(GPU)通信并减少内存使用量的公开可用的最有效工具,与FSDP相比,根据架构和参数数量...……更多
chatgpt低成本复现流程开源
首个开源的ChatGPT低成本复现流程来了!预训练、奖励模型训练、强化学习训练,一次性打通。最小demo训练流程仅需1.62GB显存,随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。相比原生PyTorch,单机训练速度最高...……更多
贾扬清:大模型尺寸正重走CNN的老路;马斯克:在特斯拉也是这样
Transformer大模型尺寸变化,正在重走CNN的老路!看到大家都被LLaMA 3.1吸引了注意力,贾扬清发出如此感慨。拿大模型尺寸的发展,和CNN的发展作对比,就能发现一个明显的趋势和现象:在ImageNet时代,研究人员和技术从业者见证...……更多
chatgpt低成本复现流程来了
首个开源的ChatGPT低成本复现流程来了!预训练、奖励模型训练、强化学习训练,一次性打通。最小demo训练流程仅需 1.62GB 显存,随便一张消费级显卡都能满足了。单卡模型容量最多提升 10.3倍。相比原生PyTorch,单机训练速度最...……更多
大模型观察|从训练到落地金融业,大模型“升级之路”面临哪些挑战?
迎着技术风口,2024年将是AI大模型应用的浪潮年。业界认为,大模型将对金融业产生长远的、深刻的影响。1月28日,针对大模型在各业务场景的应用成效、对大模型算力的开发和提升,多机构向北京商报记者透露了自研大模型...……更多
Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的
...为什么不使用MoE架构?后训练与RLHF流程是如何进行的?模型评估是如何进行的?我们什么时候可以见到Llama 4?Meta是否会发展agent?恰逢Llama 3.1刚刚发布,Meta科学家就现身播客节目Latent Space,秉持着开源分享的精神,对以上问题...……更多
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
为了保持公司在AI(人工智能)开源大模型领域的地位,社交巨头Meta推出了旗下最新开源模型。当地时间4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3。目前,Llama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,...……更多
李彦宏称开源赶不上闭源?Meta发布最强开源模型,马斯克评价“还不错”
...家坚持开源的社交巨头,又默默放出了最新一代的开源大模型Llama3。美当地时间4月18日,Meta在官网上发布了两款开源大模型,参数分别达到80亿和700亿,是目前同体量下性能最好的开源模型。马斯克对此评价称“还不错”。Meta...……更多
...略合作关系,华为云以及昇腾算力产品线同样能为公司大模型的研发提供算力支持,公司目前正在积极与华为对接,展开大模型产品与应用的软硬件解决方案的研发。公司大模型相关产品的研发从规划之初一直采用自主可控的路...……更多
大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机
...算力需求大爆发的转折之年,如今随着国内两批超20个大模型获得审批、种类多样的大模型相关应用显现,企业对私有化部署的需求也水涨船高。面向这一行业趋势,2023年世界互联网大会乌镇峰会上,国内云端RISC-V大芯片创企希...……更多
优刻得首个「国产千卡智算集群」落地,支持智源千亿大模型训练
...算集群规模,才能一路突破围追堵截,进一步促进国产大模型产业生态繁荣。作为中立、安全的云计算服务厂商,优刻得持续发力人工智能智算领域,与国内主流AI芯片厂商深度合作,共同搭建的「国产千卡智算集群」现已上线...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
【新智元导读】小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场,Mistral AI、HuggingFace本周接连发布了小模型。如今,苹果也发布了70亿参数小模型DCLM,性能碾压Mistral-7B。小模型的战场,打起来了!继GPT-4o mini、Mistral Ne……更多
摩尔线程GPU千卡集群完成师者AI 70亿参数教育大模型训练测试
快科技6月14日消息,摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已完成大模型训练测试。师者AI基于摩尔线程夸娥(KUAE)千卡智算集群,完成了其70亿参数大模型的高强度训练测试。整个训练过程用时一周,训练...……更多
36氪首发|「Tiamat」完成近千万美元A轮融资,想将AI生成图像的可控性做到极致
...独家财务顾问。本轮融资额将用于继续打磨产品和自研大模型,拓展商业化能力等。数月前,「Tiamat」已经获得由DCM独家领投的数百万美元天使轮融资。36氪曾报道过的「Tiamat」是一家国内AI图像生成技术服务商,成立于2021年。...……更多
清华郑纬民院士:AI for Science的出现,让高性能计算与AI的融合成为刚需|MEET2023
...准设计四大目标以及如何通过并行方法加速大规模预训练模型。为了完整体现郑纬民院士的分享及思考,在不改变原意的基础上,量子位对他的演讲内容进行了编辑整理。关于MEET 智能未来大会:MEET大会是由量子位主办的智能科...……更多
CPU,正在被AI时代抛弃?
...对话可以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
就在刚刚,Meta 发布了其最先进开源大型语言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 8B 和 70B 的预训练和指令微调版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业...……更多
AI大模型“国标”首批测试结果公布,人工智能成市场新焦点
12月22日,国内首个官方“大模型标准符合性评测”结果公布,百度文心一言、腾讯混元大模型、360智脑、阿里云通义千问四款国产大模型首批通过测试。测试结果称,上述四款模型符合《人工智能大规模预训练模型第2部分:评...……更多
GPT-4震惊四座,中国创业者激战“小模型” | Future
...【Future】。发布ChatGPT仅三个多月后,OpenAI亲手为这场大模型热潮再添了把柴火。北京时间3月15日凌晨,OpenAI在官网上宣告了多模态大模型GPT4的诞生。优化了模型可支持的输入模态、文本长度等性能之外,OpenAI在GPT-4的基础上升...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也得在1个月内训练完。假设训练一个5000亿参数模型,有15TB数据,如果只有1000P算力,3年都训不完;如果将时间锁到两...……更多
没有这些,别妄谈做 ChatGPT 了
...在用行动来表明战斗力,比如前些天复旦大学推出的 MOSS 模型,一经开放试用,便冲上热搜。一时间眼花缭乱,让人生疑。有钱就能训出模型?以美团大佬带资入组为代表,很多创业者和投资人盯上了 ChatGPT,作为一个 NLPer,我...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...研究人员,利用延迟掩蔽、MoE、分层扩展等策略,将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱?之前最便宜的方法(Wuerstchen)用了28400美元,而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
“最强开源AI模型”,4050亿参数版Meta Llama 3被曝7月23日发布
...援引内部员工曝料称 Meta 公司计划 7 月 23 日发布开源 AI 模型 Llama 3-405B,在现有 80 亿和 700 亿参数两个版本之外,推出 4050 亿参数版本,号称是最强大的开源大语言模型。Meta 公司今年 4 月发布 Llama 3 AI 模型时,扎克伯格就在采...……更多
360智脑7b参数模型采用3.4万亿tokens训练
...12日消息,360公司日前在GitHub上开源了360智脑7B(70亿参数模型)。360智脑大模型采用3.4万亿Tokens的语料库训练,以中文、英文、代码为主,开放4K、32K、360K三种不同文本长度。360表示,360K(约50万字)是当前国产开源模型文本长...……更多
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...转自:中国新闻网6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE...……更多
更多关于科技的资讯:
瑞幸教科书式签代言人,错题本式开发新品
本文经授权转载自剁椒Spicy(ID:ylwanjia)原标题 |瑞幸教科书式签约代言人,但这次新品翻车了?作者|Mia刚推出了新品轻乳茶
2024-08-18 09:27:00
格力经销商爆料:王自如得罪不少人 就是董明珠渠道改革的一柄剑
快科技8月18日消息,据国内媒体报道称,5天前仍现身格力活动,现在传出王自如离职,这确实很突然,不过在内部人士看来这并不意外
2024-08-18 06:50:00
2024暑期档电影票房破100亿:沈腾《抓娃娃》第一 独占31亿
快科技8月18日消息,据灯塔专业版数据,截至8月17日23时25分,2024年暑期档(6月-8月)档期总票房(含预售)突破100亿元
2024-08-18 06:50:00
雷军吐鲁番直播突发炸麦 小米李肖爽致歉:会系统性总结复盘
快科技8月18日消息,日前,小米CEO雷军和小米集团总裁卢伟冰在小米吐鲁番夏测基地开启直播。在直播中,不时出现一些瑕疵
2024-08-18 07:20:00
问界M7新车开到海滩结果被淹 车主:保险公司拒赔
快科技8月18日消息,有博主分享了一段问界M7被海水涨潮淹没的事故视频。视频中,一辆未上牌的问界新M7被开到了海滩上游玩
2024-08-18 07:50:00
哪吒CEO张勇:准备找一台全网公里数最高的电动轿车 给车主换台哪吒S猎装
快科技8月18日消息,日前,哪吒CEO张勇发文称,有猎装车,还买什么轿车啊?全网找一台里程最长的轿车(燃油车可能有调表风险
2024-08-18 07:50:00
首批《黑神话:悟空》实体版发货!820元起 超百万人疯抢
快科技8月18日消息,根据购买《黑神话:悟空》实体版的玩家反馈,首批实体版已于今天凌晨陆续开始发货,部分玩家可在8月20日游戏解锁前收到货
2024-08-18 07:50:00
一年4万人死于车祸!美国力推车联网技术 以降低交通事故率
快科技8月18日消息,据报道,美国交通部发布了一项全国道路安全计划,旨在通过广泛部署车联网(V2X)技术,实现零道路死亡的目标
2024-08-18 08:20:00
小米MIX Flip发布澎湃OS 1.0.11.0升级:优化外屏微信、抖音适配效果
快科技8月18日消息,日前,小米MIX Flip发布澎湃OS 1.0.11.0 UNICNXM系统升级,更新包大小约625MB
2024-08-18 08:20:00
打1400公里顺风车逃单2800元车费后续 乘客转钱后已被行拘
快科技8月18日消息,近日,“男子打1400公里顺风车到地逃单2800元车费跑路”的话题引起网友热议。据报道,蔡某通过手机在“哈啰”平台下单搭乘刘先生的哈啰顺风车从北京市大兴区至慈利县
2024-08-18 08:20:00
99元30W快充!京东京造10000mAh自带线充电宝上市:支持华为、苹果
快科技8月18日消息,日前,京东京造10000mAh自带线充电宝上市,预售价99元。ID设计上,充电宝提供银河灰、海盐白两款配色
2024-08-18 08:50:00
天津大学营造优质生态促进科技成果转化:创新创业,校友何以唱出一台大戏? 扫码阅读手机版
高质量发展调研行天津大学科技园举办的创业沙龙。 照片由天津大学提供天津北方网讯:这个暑假,天津大学化工学院2022级学生周楷晋要发射一枚20公里射程
2024-08-18 08:54:00
宁河区麒麟桥桥梁主体建成 10月1日正式通车 扫码阅读手机版
目前,位于宁河区的麒麟桥桥梁主体已经建成,正在进行桥梁附属设施作业及道路施工,预计9月底全部完成,10月1日正式通车。据了解
2024-08-18 08:54:00
大湾区共同家园公益爱心引领,盈利项目精准对接先锋
大湾区共同家园线上平台将集中专注金融发展,智能合约等领域,形成自主研发及区块链行业的技术沉淀,实现传统金融,数字生态,AI
2024-08-18 08:59:00
□南京日报/紫金山新闻记者曹丽珍近一段时间,某无人驾驶App在北京、重庆、武汉等城市开展无人自动驾驶出行服务测试相关话题
2024-08-18 09:38:00