• 我的订阅
  • 科技

一块GPU都没用,苹果自研大模型干翻GPT-4?

类别:科技 发布时间:2024-07-31 09:37:00 来源:智东西

智东西7月30日报道,当地时间7月29日,苹果发布iOS 18.1开发者测试版,上线Apple Intelligence的首个版本,同时47页的苹果自研大模型技术报告重磅发布。

Apple Intelligence首个版本上线了以下AI功能:

1、Siri升级。Siri唤醒后具备屏幕边缘发光特效,能理解用户表述不通顺的指令,且能回答关于苹果产品故障解决的相关问题。

2、写作工具升级。新版iOS提供苹果的文本生成服务;同时支持AI生成邮件、信息,语音转录摘要等功能。

3、视图工具升级。该版本提供更智能的图片搜索及电影回忆制作功能。仍有不少苹果在6月发布的AI功能未出现在iOS 18.1开发者测试版(《苹果AI一夜颠覆所有!Siri史诗级进化,内挂ChatGPT-4o,奥特曼来了,马斯克怒了》),苹果称计划在明年推出,包括:

1、Siri的其他改进,包括个人信息分析,联动外部应用执行任务等。

2、图像视觉生成功能,包括表情符号的生成,以及自动清理照片等视图相关能力等。

3、OpenAI旗下ChatGPT的集成等。

iPadOS 18.1、macOS Sequoia 15.1也植入了相关Apple Intelligence新功能,不过它们目前都仅向每年支付99美元的注册苹果开发者开放。

在今天发布的论文中,苹果透露了其两款苹果基础模型(Apple Foundation Model,简称“AFM”)。

一块GPU都没用,苹果自研大模型干翻GPT-4?

论文链接:https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf

一个是30亿参数的端侧模型AFM-on-device,经优化可在iPhone和其他设备上高效运行;另一个是云端模型AFM-server,尚未公布模型参数。

报告首次对AFM的模型架构、训练数据、训练过程、推理优化及评估结果进行了解读,并提到背后模型的训练采用的是累计10240颗谷歌TPU,而未提及英伟达GPU。

一块GPU都没用,苹果自研大模型干翻GPT-4?

根据论文描述,苹果自研大模型在指令遵循、文本总结方面测试超GPT-4。

一、苹果AI上机首秀:Siri“变身换脑”,写作一键润色

本次,苹果iOS 18.1开发者测试版上线的Apple Intelligence功能,主要覆盖Siri、写作工具、邮件提要、照片自然语言搜索等方面。

1、整个屏幕闪起光环,Siri变身

Siri的变化首先是新外观,此前屏幕上出现的圆形光斑,被环绕屏幕的发光灯取代,以表示助手处于活动状态。

当开发者不想大声对Siri说话时,开发者可以从语音命令切换到键入:双击iPhone或iPad屏幕底部即可调出键盘,用于输入Siri查询和命令。

Siri已经能够理解多个指令上下文。例如,开发者可以要求Siri创建日程,然后要求创建提醒,而无需重复前面说的话。

2、写作工具上线,润色语句、邮件提要

写作工具是Apple Intelligence的一大卖点,支持开发者就语气和措辞提出建议,校对文本并总结要点。

录音转录功能也已经可以体验,在iOS 18.1开发者测试版,语音备忘录应用程序以及Notes应用已经内置了录音转录功能。

写作功能既适用于苹果设备的内置应用程序,也可用于使用标准输入文本系统的第三方应用程序。

邮件应用现在会智能识别优先邮件,并将在收件箱顶部出现提醒浮窗,以提醒开发者特定的截止日期,或避免忘记一些重要行动事项。

此外,新版本还支持专注模式,称为“减少干扰(Reduce Interruptions)”,该模式将使用AI识别过滤重要的通知。

3、自然语言交互搜索照片,AI生成短片

开发者已经能够使用自然语言查找视频和照片。比如查询“我女儿吃芝士汉堡的照片”,苹果将提供对应的搜索结果。它应该可以更轻松地在视频中找到特定图像或确切时刻,而无需使用更通用的关键字。

新的电影回忆(Movie memories)功能可让开发者输入特定提示,使用照片应用中存储的照片和视频制作电影。

一块GPU都没用,苹果自研大模型干翻GPT-4?

开发者可以输入自己的提示或使用Apple Intelligence建议的提示词,获得智能生成的电影,影片具有明确的章节和主题。

Apple Intelligence这些已上线的功能仍有一些使用限制。

目前,Apple Intelligence仅向每年支付99美元的注册苹果开发者开放,包括面向iOS、iPad和Mac的三个版本。开发者需要将设备区域设置为美国,语言设置为美国英语。

一块GPU都没用,苹果自研大模型干翻GPT-4?

此外,此前6月报道曾提到,Apple Intelligence要求设备达到iPhone 15 Pro、iPhone 15 Pro Max或配备M1的iPad和Mac及以上配置。

二、47页论文解读苹果大模型,文本总结等测试超GPT-4

相比于当下各家的AI手机,苹果自研模型的一大特点,是推出在设备上运行的端侧模型。

根据苹果今日最新发布的论文,该端侧模型名为AFM-on-device,包含约30亿参数,远小于OpenAI和Meta等公司模型的千亿参数级别。

一块GPU都没用,苹果自研大模型干翻GPT-4?

为了执行更复杂的任务,苹果也开发了云端模型AFM-server。虽然具体大小尚未透露,但它旨在使用名为“私有云计算(Private Cloud Compute)”的系统在苹果的云基础设施中运行,以保护用户数据。

如下图所示,AFM-on-device在人类测试中超越了Phi-3-mini、Mistral-7B、Gemma-2B等开源模型,接近Llama-3-8B的水平。

AFM-server在人类测试中超越Llama-3-70B、Mixtral-8x22B、GPT-3.5等闭源模型,接近GPT-4的能力。

一块GPU都没用,苹果自研大模型干翻GPT-4?

同时,在指令遵循方面,AFM-server测试超GPT-4,AFM-on-device则超越了Llama-3-8B、Phi-3-mini等开源模型。

在文本总结方面,AFM两个版本也实现领先。

一块GPU都没用,苹果自研大模型干翻GPT-4?

在架构方面,这两个基础模型包括一个基于AFM语言模型的编码模型,用于将智能融入Xcode,以及一个扩散模型,以帮助用户生成一些视觉内容。

其中,AFM基础模型是仅解码器的密集模型,它们建立在Transformer架构之上,并做了一些设计优化,包括分组查询注意力(GQA)、SwiGLU激活函数等。

研究人员在论文中解释道,Apple Intelligence由多个高性能生成模型组成,这些模型快速、高效、专门用于用户的日常任务,并且可以根据用户操作进行动态调整。

苹果展示了其模型开发的流程,强调从数据收集到模型部署的每个阶段,其都遵循负责任的AI原则。

在模型训练方面,苹果云端大模型采用了8192颗TPUv4芯片,端侧采用了2048颗TPUv5p芯片,并未用到英伟达GPU。

一块GPU都没用,苹果自研大模型干翻GPT-4?

模型训练后工作包括一系列数据收集和生成、指令调优和对齐创新,涉及监督微调(SFT)和基于人类反馈的强化学习(RLHF)两个阶段,提高模型遵循指令、推理和写作方面的能力。

据称,这些模型是在多样化的数据集上进行训练的,包括网页、来自出版商的授权内容、代码存储库以及专门的数学和科学数据。苹果称其未使用私人数据训练模型。

结语:苹果AI首登iPhone,秀自研模型“肌肉”

时隔一个月,苹果终于上线了首批Apple Intelligence能力,在Siri、写作工具、视图检索等方面首先更新;与此同时,苹果两款自研模型曝出,让我们对Apple Intelligence的核心模型有了深入了解,并不是有媒体传的“ChatGPT套壳”,展现出有别于其他手机玩家的差异化打法。

不过,当下Apple Intelligence能力仅部分开发者可以用到。据外媒报道,苹果仍在修复许多新功能的漏洞,因此用户将不得不等待才能测试这些功能。苹果将会带来什么样的AI手机体验?我们拭目以待。

来源:苹果、X平台、CNBC、TechCrunch

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-07-31 11:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

消息称苹果大力改造Siri,基于大语言模型开发
...工作,并计划在WWDC2024上发布首款产品。WWDC是苹果公司的开发者大会,每年都会举办一次,是苹果公司向全球开发者展示最新产品和技术的重要平台。Sirius的开发团队由一
2023-11-12 13:33:00
字节扣子模型广场,给AI大模型搭了一座擂台
6月11日凌晨,在苹果开发者大会WWDC 2024上,苹果发布iOS 18,同时首次公布了苹果智能(Apple Intelligence
2024-06-14 11:40:00
“苹果智能”仅面向付费开发者,三大新模块炸裂出圈
...布了苹果智能的首个iPhoneAI版本。新软件目前只在iOS18.1的开发者测试版中发布,仅面向支付了99美元/年费用的注册开发者
2024-07-31 23:28:00
媒体:苹果与阿里合作开发面向中国iPhone用户的AI功能
...审批。知情人士透露,苹果自2023年起开始测试来自中国开发者的不同AI模型,并且一度选择了百度作为主要合作伙伴。然而
2025-02-12 06:49:00
苹果被曝正悄悄开发大模型 创建聊天机器人“Apple GPT”
...台一个向消费者提供人工智能的清晰战略。在今年6月的开发者大会上,苹果公司没有提到人工智能,而是以机器学习等技术语言替代,但在其推出的多项更新中,却处处隐藏着AI功能,比如自动
2023-07-20 19:00:00
苹果的人工智能为何与众不同?高管这样说
6月12日消息,在今年的全球开发者大会上,苹果高管详细阐述了其全新人工智能软件套件“苹果智能”(Apple Intelligence)的功能及其背后设计理念,这标志着该公司全面拥
2024-06-13 09:27:00
十多年来最重要的一次!库克会暗掷“王炸”吗?
当地时间6月10日,苹果最重要的一次全球开发者大会(WWDC)即将召开。今年大会照例吸引了大量的开发者涌入苹果公司的库比蒂诺总部,他们期待苹果会抛出与人工智能相关的更多细节。苹果
2024-06-11 09:00:00
“苹果GPT”秘密开发中?
...人工智能技术是苹果公司正在“密切关注的”。在6月的开发者大会WWDC上,苹果虽然对“人工智能”只字未提,只是简单地提及了7次“机器学习”
2023-07-20 16:00:00
苹果牌 AI 相关设置和文生图工具 Image Playground 截图曝光
IT之家 7 月 11 日消息,开发者亚伦・佩里斯(Aaron Perris)和马修・罗达梅尔(Matthew Rodarmel)昨日(7 月 10 日)发布推文
2024-07-11 09:35:00
更多关于科技的资讯: