• 我的订阅
  • 科技

苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析

类别:科技 发布时间:2024-03-16 18:14:00 来源:36氪

文|武静静

编辑|邓咏仪

放弃造车后的苹果,正在加速入局大模型战争。

当地时间3月15日,苹果就披露了两个关键大模型动作。

其中一个值得关注的是苹果的收购事件。彭博社报道称,苹果已经收购了一家加拿大AI初创公司DarwinAI。

苹果的AI团队一下子扩充了几十个技术人员——作为收购交易的一部分,DarwinAI的几十名员工都被纳入苹果麾下,DarwinAI联合创始人、加拿大滑铁卢大学系统设计工程系教授Alexander Wong加盟苹果,担任AI团队的主管。

此前,DarwinAI的技术主要在视觉模型方向,他们此前主要给制造业提供零部件视觉检测的AI技术,致力于把AI系统打造得更小型和更快速。这符合此前苹果一直对外说的要打造更小的端侧大模型方向。

“买买买”是苹果布局AI的思路之一,此前苹果已经陆续收购了Voysis、Curious AI、 AI Music、WaveOne等初创AI公司,来不断扩充自身的AI实力。

践行收购战略的同时,苹果也在不断加大自研技术的力度。被披露收购DarwinAI的同一时间,苹果低调的在arxiv.org网站上发布论文,官宣了在多模态大模型领域的最新成果。

在论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》(MM1: 多模式LLM预训练的方法、分析和见解)中可以看到,MM1是一个图文的多模态大模型,参数规模有30亿、70亿、300亿三种大小,有图像识别和自然语言推理能力。

其中,参与该论文的作者有30人,一半以上都是华人。

MM1测试效果不如Gemini和GPT4V

和市面上其他大模型相比,MM1亮点并不在惊艳的效果上,也没有提出特别的技术路线,而是通过控制各种变量,做实验,找出影响模型效果中关键因素。

在测试中,MM1-30B-Chat在TextVQA、SEED和MMMU上的表现优于Emu2-Chat37B和CogVLM-30B,但是表现不如谷歌的Gemini和OpenAI的GPT4V。

苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析

MM1测试效果

苹果做了各种变量实验,通过修改数据源、修改图像分辨率等,来看各种因素对模型效果的影响。

苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析

△摘自苹果发布的论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》

目前,苹果发现让多模态大模型变得更聪明、效果更好的主要因素有:图像分辨率和图像标记数量对模型性能影响较大,比如更高清的图像,标注的细节越多,模型的效果就更好。视觉语言连接器对模型的影响较小,视觉语言连接器指的是可以将图像和文本结合起来,进行信息融合的一种技术。论文中也提到,虽然影响不大,但仍然需要选择合适的视觉语言连接器。不同类型的预训练数据对模型的性能有不同的影响。交错的图像文本数据和文本数据对于提高模型的少样本(few-shot)和零样本(zero-shot)性能至关重要,类似在训练时,需要使用“多样化的教材”可以帮助大模型更好地适应不同类型的问题。模型的架构和训练过程,包括模型大小和训练超参数的选择,对于模型性能很重要,可以理解为在“建造大模型大楼”的过程中,需要选择“合适的建筑材料”和“施工方法”。

模型架构上,使用了混合专家(Mixture of Experts, MoE)架构是MM1的亮点之一,苹果探索发现,在模型的前馈网络层中使用MoE架构,可以有效地扩展模型的容量而不牺牲推理速度。

我们可以将MoE架构理解为一个大型的客服中心,其中有许多专门处理不同问题的专家——有的专家专门处理技术问题,有的专家处理账单查询,还有的专家负责解答产品使用问题。在大模型训练过程中,当数据进入模型中后,大模型会像“客服中心”一样,根据问题的性质被分配给最合适的专家来解决。

在实验过程中,苹果采用了一种名为Top-2 Gating的方法,来做“调度员”,根据图像的内容和文本语义等数据特点,来决定输入数据应该被送往哪些专家处理。在处理数据过程中,苹果还采用了一种叫“稀疏激活”的方式,只选择一部分“专家”进行计算,其余处于“休眠”状态,来提高模型训练的效率。

此外,在训练大模型过程中,苹果还在3B参数的MoE模型中使用了64个专家,在7B参数的MoE模型中使用了32个专家。这些专家被分布在模型的不同层中,来提高模型处理多模态数据的能力。

为什么苹果要发布这样一篇实验性的技术论文?

目前,语言模型主要有闭源和开源两种路线,闭源模型中,人们对数据、模型架构、训练细节知之甚少。开源模型虽然会发布数据、模型、训练的细节,但是也不会发布任何模型算法设计以及工程化的细节信息。

苹果想打破这种局面,提出让大模型构建的过程变得“更透明”的路线,这是苹果为什么将各种模型训练的细节公开,发布这篇论文的原因。

苹果的大模型步调:更谨慎,落后于竞争对手

宣布停止造车后,接下来,苹果的重心都在加速大模型进程上,来追赶谷歌、微软、亚马逊。

目前,整体大模型进展,苹果对外的信息较少,看上去已经落后其竞争对手一大截。

在年初的苹果季度财报电话会议上,蒂姆·库克表示,苹果正在投入大量时间和精力将人工智能集成到其软件平台中。这些功能将在2024年晚些时候向客户提供。

库克对于透露苹果大模型细节非常谨慎,他觉得苹果工作模式是先做再说,“我认为苹果在生成式人工智能和人工智能方面存在着巨大的机会,而无需透露更多细节或超出自己的范围。”

据The Information2023年9月的一次报道,苹果每天在人工智能上投资数百万美元,正在多个团队开发多种人工智能模型。苹果构建对话式人工智能的部门被称为“基础模型”,有大约16名成员,由Apple人工智能主管John Giannandrea掌舵。

对于大众期待的大模型与苹果手机结合的业务进展,目前公开的信息也非常有限。去年8月,苹果在加州、西雅图、巴黎、北京等部门已经释放了数十个岗位,招聘大模型技术人才,其中尤其是端侧大型模型是重点。招聘信息显示,苹果希望将大型机型压缩到终端中,以便未来iPhone/iPad等核心产品可以直接运行在AIGC技术上。

The Information报道称,苹果的大语言模型内部代号是Ajax GPT,其参数规模超过2000亿,在2023年9月时,已经比OpenAI的GPT-3.5更强大。

苹果也正在试验Siri增强功能、生成视频和图像的软件,以及处理图像、视频和文本的多模式人工智能技术。此前,由于苹果一直比竞争对手更加谨慎,将隐私置于功能之上,导致Siri落后于Alexa、Google Assistan。接下来,苹果希望通过大语言模型让Siri自动执行多步骤任务。

目前,苹果正在与其AppleCare支持员工一起测试ChatGPT式的生成式AI工具“Ask”,旨在生成对技术问题的答复。此外,苹果内部也有“Apple GPT”是苹果内部的聊天机器人,但该产品仅供苹果员工使用,不会在消费产品中使用。

The Information和海通证券分析师Jeff Pu均表示,苹果将在2024年末左右在iPhone和iPad上提供某种生成式AI功能。也有人预测时间会提前,彭博社报道称,苹果将在今年6月的全球开发者大会上发布iOS 18更新。

这是一份有挑战的试卷,眼下,苹果必须加大马力,驶入这场大模型战局中。

欢迎来聊~

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-03-16 20:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

十多年来最重要的一次!库克会暗掷“王炸”吗?
...oid手机有竞争。”上个月,OpenAI发布其人工智能最新版大模型ChatGPT-4o的语音模式。在一个简短的演示中
2024-06-11 09:00:00
焦点分析丨iPhone 15系列发布,苹果终于正视起与安卓的差距
...何落地到用户的实际使用场景中。 相比于大多数基础大模型厂商,手机厂商更多选择在端侧进行模型计算。在 A17pro芯片和S9芯片上,苹果都专门开辟了一个神经网络引擎区域,大大
2023-09-13 16:05:00
苹果发布mm1.5-ui模型
...13日消息,近日,苹果公司推出了300亿参数的多模态AI大模型MM1.5,该版本是在前代MM1的架构基础上发展而来的。该模型继续遵循数据驱动的训练原则,着重探究在不同训练周期
2024-10-13 10:57:00
苹果被大模型打得措手不及
...士多德提问,并且可以得到回答”。乔布斯几乎预见了大模型技术的崛起,并坚信人工智能将为苹果公司带来远大前景。Siri是由乔布斯主导,苹果公司对人工智能最早的探索,但在库克时代,
2024-03-26 10:25:00
华为、小米抢滩登陆,AI大模型掀起手机江湖「新战事」 | 钛媒体焦点
图片来源@视觉中国今年上半年,一个接一个的大模型发布,企业之间上演了一场“百模大战”。到了下半年,大模型有些“退潮”,取而代之的是应用端的落地,让更多的用户对大模型有了深切的感知
2023-08-14 10:00:00
作者 | 袁斯来编辑 | 苏建勋大公司蜂拥入大语言模型,华为显得有些格格不入。7月7日,华为发布AI大模型盘古3.0版本。对于普通用户,这场发布会有些枯燥。政务大模型虽然有AI应
2023-07-10 12:56:00
AI大模型“国标”首批测试结果公布,人工智能成市场新焦点
12月22日,国内首个官方“大模型标准符合性评测”结果公布,百度文心一言、腾讯混元大模型、360智脑、阿里云通义千问四款国产大模型首批通过测试。测试结果称,上述四款模型符合《人工
2023-12-26 14:16:00
库克现身上海首次谈及AI话题,苹果真急了
人工智能(AI)巨头OpenAI的自研芯片和下一代大模型GPT-5又有了新进展。当地时间3月19日,据The Business Insider援引匿名知情人士的消息
2024-03-21 11:37:00
高通打响围攻英特尔的第一枪
...升 25%,目前骁龙 8Gen 3 已支持运行 100 亿参数的生成式 AI 模型。如果使用搭载 8Gen 3 平台的智能手机运行 Stable Diffusion
2023-10-26 18:02:00
更多关于科技的资讯:
大河网讯 9月6日,细雨蒙蒙,湿润的空气中带着淡淡的江水气息,山城重庆显得格外宁静。可在重庆国际博览中心内却是另一番景象——2025世界智能产业博览会正在这里举办
2025-09-06 22:20:00
2025智博会“四链”融合对接暨“渝链通”发布活动成功举办 助力科创企业融资破局
大河网讯 9月6日,2025世界智能产业博览会“四链”融合对接活动——智能产业股权融资专题对接暨“渝链通”服务方案发布会在重庆国际博览中心圆满举行
2025-09-06 22:20:00
从茶叶到瓶装茶,小罐茶高香无糖茶加速传统茶企转型
健康消费升级持续推动市场扩容,无糖茶赛道正迎来众多品牌加码布局。尽管消费场景细分和产品升级带动无糖茶市场与受众不断扩大
2025-09-06 15:51:00
大河网讯 人工智能是新一轮科技革命和产业变革的重要驱动力量,对全球经济社会发展和人类文明进步产生了深远影响。9月5日,2025世界智能产业博览会在长江之畔重庆开幕
2025-09-06 13:08:00
国家级5G工厂,钟经开+1!
近日,工业和信息化部公示了《2025年5G工厂名录》钟楼经济开发区企业江苏电力装备有限公司成功入选成为继江苏精研科技股份有限公司后钟楼区第二家国家级5G工厂5G工厂是充分利用以5G为代表的新一代信息通信技术
2025-09-06 06:08:00
从玻璃到微纳新材料 从企业更名看龙口一家民企的转型跃迁
大众网记者 林晓冬 烟台报道说起玻璃大家都不陌生,餐桌玻璃、门窗玻璃都与我们的日常生活息息相关,但在烟台龙口有一家企业多年来持续在玻璃上“钻研”
2025-09-05 09:08:00
科创泉城 智启未来| “硬科创”需要“软传播”,网络达人共话“出圈”新思路
9月4日下午,在济南市委网信办联合山东省互联网传媒集团举办的“科创泉城 智启未来”知名网络达人济南采风活动的对话沙龙上
2025-09-05 09:51:00
本报讯(记者雷嘉)围绕国产车规级芯片搭载应用,北京市科委、中关村管委会会同北京市智慧城市基础设施与智能网联汽车协同发展办公室
2025-09-05 11:08:00
河北新闻网讯(王丽英)“后厨不只是生产中心,更是服务体验的心脏。”“服务不仅仅是完成交易的过程,更是以关怀为主利他主义精神的体现
2025-09-05 11:08:00
海信冰箱五款产品通过中国家用电器研究院自动制冰性能认证
日前,经中国家用电器研究院严格检测与评估,海信冰箱旗下五款产品成功通过“电冰箱自动制冰性能认证”,并获颁认证证书。此次获证不仅是对海信冰箱自动制冰技术性能的肯定
2025-09-05 11:57:00
京东全球80+高校招聘 清华、剑桥等80校专场 现场面试拿offer!
9月5日,京东招聘公众号发文:全球80+高校!京东2026校园招聘进校行程发布。文中称:将在全球20+城市,80+院校
2025-09-05 12:10:00
花一万元植入DeepSeek,一场没有终点的流量游戏
文|邓咏仪编辑|苏建勋让你的产品在DeepSeek的答案里有一席之地,需要多少钱?答案是:数千甚至上万元。人在哪,流量就在哪
2025-09-05 14:56:00
爱尔眼科开启老视多学科诊疗新时代
9月4日,2025年屈光性白内障手术国际论坛(IRCS)暨第一届老视矫正MDT管理国际高峰论坛在杭州举办我国超八成60岁以上老年人正面临老视(老花眼)与白内障的“双重眼病困扰”
2025-09-05 15:18:00
获SIAL创新奖:诺啦格兰诺拉脆片让生活更美好  
消费日报网讯 9月1日,在2025 SIAL西雅国际食品展(深圳)举办同期,第24届SIAL创新大赛获奖榜单正式发布。吉丽莎(广州)贸易有限公司选送的产品诺啦格兰诺拉脆片跻身TOP10
2025-09-05 15:18:00
桃李面包广告语引争议“五仁不好吃是你还年轻”官方账号发文:领导拍的板,这个锅只能他来背
近日,桃李面包一则电梯广告文案引发争议。社交平台上流传的图片显示,桃李蛋月烧产品的广告语写道:“有人说五仁不好吃,我们认为
2025-09-05 15:29:00