• 我的订阅
  • 科技

苹果或通过新的闪存利用技术,让iPhone等设备运行LLM

类别:科技 发布时间:2023-12-22 17:26:00 来源:卓越科技

人工智能(AI)是今年业界的热门话题,以ChatGPT为首的各类人工智能支持的应用受到了不少用户的欢迎,背后需要大型语言模型(LLM)提供支持。虽然苹果在人工智能方面暂时还没有带来重量级的功能,不过近期公布的论文显示,苹果在人工智能研究上已经下了不少功夫。

苹果或通过新的闪存利用技术,让iPhone等设备运行LLM

据TechPowerup报道,苹果的研究人员通过新的闪存利用技术,使用闪存芯片存储人工智能模型的数据,让内存有限的设备运行大型语言模型,比如iPhone。要知道大型语言模型需要大量的计算,十分消耗硬件资源,同时加速器和大容量内存也是必不可少,而苹果的新方法旨在解决这些难题。

根据苹果研究人员的介绍,通过将人工智能模型数据存储在闪存上,必要时才会转移到内存,其中涉及到两项关键技术:一是Windowing,人工智能模型不会每次加载新数据,而是重复使用部分已经处理过的数据,从而减少读取内存的次数,让处理过程变得高效;二是Row-ColumnBundling,通过更高效地分组数据,使其能更快地从闪存中读取,最终加快了处理的速度。

苹果称在新技术的加持下,能让iPhone运行人工智能模型的规模达到可用内存容量的两倍,M1Max的CPU运行大型语言模型的推理速度可以提高4到5倍,而GPU可以20到25倍,能极大地扩展适用性和可访问性。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-12-22 22:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

苹果取得技术突破:可在 iPhone 上运行大型语言模型
12月21日消息,苹果的人工智能研究人员表示,他们已取得一项重大突破,通过一种创新的闪存利用技术,成功地在内存有限的iPhone和其他苹果设备上部署了大型语言模型(LLM)。这一
2023-12-21 22:47:00
苹果可能会将iPhone 16的基本存储空间增加到256GB
...是针对价格更高的iPhone15Pro和iPhone15ProMax的。然而,随着人工智能竞赛的升温,科技巨头们正在努力将设备上的大型语言模型(LLM)纳入其产品中
2024-03-25 01:48:00
苹果大模型,不藏了
...像是被“卡脖子”了,硅谷All in大模型之时,苹果官方对人工智能这一年度热词始终闭口不谈。公司CEO库克曾解释道,苹果有计划在更多产品中加入AI,但要“深思熟虑”。现如今,
2024-01-06 09:10:00
苹果黑科技将彻底改变iPhone 已有重大进展
...实现,就可以让智能手机真正部署大语言模式,届时手机人工智能助手的体验,将会出现质的的提升。
2023-12-24 19:50:00
生成式AI:手机厂商高端梦最后的希望
... is coming”这句话。抢占AI手机的市场先机2023年11月,三星人工智能论坛2023上,三星官方正式公布了其自研的生成式AI产品Gauss(高斯)
2024-01-10 09:58:00
...芯科科技专有的矩阵矢量AI/ML硬件加速器,能够实现边缘人工智能(Edge AI)应用。该专用内核针对机器学习进行了优化,处理机器学习操作的速度提升了8倍,功耗为传统嵌入式C
2024-06-04 10:12:00
iPhone 16最大的卖点,竟是苹果花钱买来的?!
...团队人才的扩充。据The Information报道,现在苹果的对话式人工智能团队由Ruoming Pang领导,他此前在谷歌工作了15年
2024-03-28 09:19:00
苹果正研发设备端大型语言模型,赋能 AI 功能
...备端的大型语言模型(LLM),旨在提升即将发布的生成式人工智能(AI)功能的响应速度和隐私保护能力。这个LLM将成为苹果未来生成式AI功能的基础,与目前大多数云端人工智能服务
2024-04-24 18:51:00
SK 海力士宣布开发新一代移动端 NAND 闪存解决方案“ZUFS 4.0”
...0”。IT之家注:端侧(On-Device)AI 即指在设备本地运行的人工智能服务,而非依赖于云端服务器进行计算,由智能手机或 PC 等终端设备自行收集信息并进行运算
2024-05-09 09:10:00
更多关于科技的资讯: