• 我的订阅
  • 科技

王炸级3nm安卓AI芯片发布,生成视频不用联网

类别:科技 发布时间:2024-10-18 09:49:00 来源:量子位

安卓首款3nm、PC级Arm V9架构、第八代NPU——天玑9400,成为了移动AI芯片的最新最强成果!

相比上一代生成式AI芯片天玑9300,其AI能力更上一层楼,荣登苏黎世ETHZ移动SoC AI性能榜单之首。

王炸级3nm安卓AI芯片发布,生成视频不用联网

天玑9400首次实现了端侧DiT架构支持,无需联网就能在手机上体验Sora同款架构视频生成。

【视频请移步公众号】

还有业界首发的端侧LoRA训练,可以高效离线训练专属于自己的LoRA生图模型,同时保证隐私不泄露。

王炸级3nm安卓AI芯片发布,生成视频不用联网

大模型方面,天玑9400能够运行的模型窗口文本长度提升到了32K,是天玑9300的8倍。

王炸级3nm安卓AI芯片发布,生成视频不用联网

同时还支持端侧运行多模态大模型,并以50 Tokens每秒的超高速度超越了前SOTA。

王炸级3nm安卓AI芯片发布,生成视频不用联网

综合AI性能方面,天玑9400以6773分的成绩领跑了苏黎世ETHZ移动SoC榜单,是天玑9300的1.4倍。

王炸级3nm安卓AI芯片发布,生成视频不用联网

而从整体上看,天玑9400采用台积电第二代3nm制程,相较上一代单核性能提升35%,多核性能提升28%,同性能功耗降低40%……

此外,联发科这次不仅把端侧AI能力用在了模型运行上,更是集成了天玑AI智能体化引擎(Dimensity Agentic AI Engine)。可以根据你的需求实现跨应用操作,而且会记忆你的各种习惯,让手机越用越聪明、越用越好用。

天玑9400,让AI手机越用越聪明

先来看看联发科通过天玑9400为我们带来的一系列端侧AI新功能。

首先,联发科与小红书合作,首发了端侧SDXL生图功能。

不仅各种风格都能驾驭,关键是整体速度比云端生成还要快两倍。

王炸级3nm安卓AI芯片发布,生成视频不用联网

而且在Diffusion模型端侧化这条路上,联发科还迈出了更大一步,将视频生成模型也带到了端侧。

这项技术同样是业界首发,实现了从静态图像到视频的大跨越。

实际体验下来,只用不到一分半,一段视频就生成完成,如果放到云端……恐怕是连队都还没排到。

【视频请移步公众号】

相比之下,端侧的算力虽不如云,但胜在专属于用户个人,不需要和海量用户争抢。

另一个优势便是,所有数据都在本地储存和处理,隐私安全更有保障。

说到这里,就要隆重介绍下天玑9400首发的端侧LoRA训练功能——只要有照片,就能训练出专属于自己的本地LoRA模型。

利用训练出的模型,可以生成任意姿态、任意背景的个人写真,足不出户拍遍全世界。

【视频请移步公众号】

还有联合虹软推出的端侧AI智能修图功能,通过在端侧学习到的用户人脸信息,可以对模糊的照片智能修复。

相比于传统的智能超分等处理方式,不仅更清晰,而且能够保留面部细节,处理出的照片更加自然。

除了一系列重磅功能的首发,天玑9400也打破了多项业界纪录,比如它的端侧多模态模型运算速度达到了50Tokens每秒。

利用面壁智能推出的小钢炮模型,可以快速识别二元一次方程组图像并做出解答。

同时还能理解图片中文字的对应关系,秒速读懂外文菜单,推荐菜品并直接算好价格。

【视频请移步公众号】

当然整体AI性能也经得起检验,在权威的苏黎世ETHZ AI Benchmark 6.0榜单中以6773分的总成绩排名第一。

该榜单涵盖了不同类型的34款模型,同时包括int8、int16、fp16等多种,涉及速度和准确性等多种指标,是对AI能力的全面评估。

兼容适配上,联发科也已经与国内外的9家大模型厂商达成合作,支持了一系列的主流大模型。

王炸级3nm安卓AI芯片发布,生成视频不用联网

在强大的端侧AI算力支持下,联发科提出了“智能体AI手机”的新概念,让移动终端变得更智慧。

天玑9400中内置的AI智能体化引擎(Dimensity Agentic AI Engine ),能够将AI模型和应用变成一个个智能体,让手机变成一个强大的“后援军团”。

王炸级3nm安卓AI芯片发布,生成视频不用联网

以点外卖这个场景为例,普通的AI助手最多不过是能够帮助我们打开外卖软件,但智能体化之后,可以全程通过语音交流,完成从选择餐点到完成支付的整个过程。

请看VCR:

【视频请移步公众号】

基于通义千问大模型驱动的智能体,现已经支持了多款智能体化应用。

而且随着使用过程的深入,智能体会记住你的习惯偏好,变得越来越聪明、越来越懂你、越来越好用。

比如根据你的喜好推荐电影,然后根据之前的购票习惯,不用多做解释就能帮你选好习惯的位置。

当然要实现这样的效果,除了联发科自身提供的算力,也离不开生态的支持,从芯片到终端,从模型到应用都必须全面发力。

为此,联发科联合vivo、OPPO等多家厂商共同发起了AI智能体化引擎先锋计划,一同让智能体应用生态变得更完整丰富。

另一方面,联发科也在积极与开发者合作,为AI智能体、第三方应用程序和大模型之间提供统一的标准接口,实现AI跨应用串联。

这不仅能够缩短AI产品的开发周期,更有利于加速构建应用更丰富、体验更出色的AI生态。

王炸级3nm安卓AI芯片发布,生成视频不用联网

伴随着算力专属、隐私保障、无网络运行等需求,发展端侧AI已逐渐成为新的共识。

其中,AI手机是端侧AI的终极载体,无论是设备保有量还是使用时长,均多于PC产品。

从手机AI科技树的角度,联发科是当之无愧的强者,今天的天玑9400将加速手机的智能体化,借助先进的AI技术和生态,丰富和提升人们的生活。

王炸级3nm安卓AI芯片发布,生成视频不用联网

在这背后,必然离不开强大技术的支撑。

软硬件技术协同发力

在技术上,联发科在软硬件两方面同时进行研发,让软硬件共同配合,实现了端侧AI的新跨越。

例如,庞大的内存占用是AI模型端侧化的一个重要瓶颈,为此,联发科采取了低位宽KV缓存技术,同时结合分组查询注意力(GQA)极致 ,降低了50%的内存需求。

此外,天玑9400不仅搭载了联发科第八代AI处理器——NPU 890,还将模型的运算工作全部放入NPU中,用更适合AI运算特点的NPU来加速运算,具体来说有一系列举措:

将专家路由等模块全部转移至NPU,实现了端侧混合专家(MoE)模型的纯NPU运算; 对于DiT(类Sora)模型,针对4D、5D的张量,利用NPU硬件独特的时域神经元硬件指令进行加速; 对于端侧LoRA训练,采用了新的反向传播算子指令集,将过去C/GPU上的指令,融入到了NPU能够支持的加速指令中……

联发科技,作前沿科技的推动者

所以归结起来,联发科技的新技术和新产品,究竟在带来什么呢?

这个问题可以从多个层面来回答。

首先对于终端用户,是更低门槛的AI普惠。

越来越多的AI能力被带进端侧,意味着手机用户不用在浩如烟海的云服务中挑的眼花缭乱,直接在本地就能体验到丰富多彩的AI应用。

另一方面,联发科天玑9400主导的智能体化应用方式铺展开来,AI应用的使用也将进一步下沉。

同时还会带动智能手机的使用门槛进一步降低,让因种种原因不会操纵手机的老年人等群体,在电子信息时代避免“掉队”。

第二,是给方兴未艾的大模型继续灌注强心剂。

大模型的前期投入耗资巨大,而开发者想要收回成本,用户规模是一大必然要素。

而联发科技凭借终端保有量的优势,加上模型使用的便捷化,无疑为大模型带来了更多的应用场景。

当然,对于终端厂商以及联发科自身,新的功能也是获得用户关于端侧AI反馈的重要途径。

随着越来越多AI概念的产品化、落地化,用户对AI产品的期望,以及对其不足的认识,都变得更加具体,能够更有针对性地反馈出改进意见。

总之,这一系列举措将有望串联起更完整、更宏大的端侧生成式AI生态,让芯片厂商、终端厂商、应用开发者和用户共同从中汲取收益,通过相互促进实现产业的共同繁荣。

去年,联发科技首款端侧生成式AI芯片天玑9300正式亮相,已让更多的人感受到端侧特别是手机上的AI开始变得触手可及。

半年后,天玑9300的升级版9300+又与人们见面,端侧AI的战场变得更加热闹,模型和应用侧也有越来越多的从业者开始关注终端市场。

天玑开发者大会上,联发科在芯片、模型及应用等层面与开发者、合作伙伴共同探索端侧技术路线,进一步筑起了端侧的生态基建。

如今的天玑9400又成为了新的王者级5G智能体AI芯片,并将端侧智能从基础的大模型嵌入,带到了智能体化这一新的高度,在“智能”与“智慧”之间,画出了一道新的分水岭。

PS:首批采用天玑9400芯片的智能手机即将上市,届时可以通过这些设备体验到天玑9400更强大的端侧AI能力。

AI终端,终端AI,AI即将触手可及,无处不在。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-10-18 12:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

最强安卓SoC!联发科天玑9300正式发布
11月6日消息,今晚联发科发布天玑9300旗舰5G生成式AI移动芯片。天玑9300采用台积电第三代4nm制程打造,率先支持LPDDR5T9600Mbps最快移动内存
2023-11-06 20:34:00
“五行缺AI”,成了苹果A系列芯片的死结?
...,性能一直是历代iPhone的传统优势项目,往往能领先同期安卓旗舰一个身位。但iPhone 15 Pro上市后,它的实际性能表现还是让人大跌眼镜
2024-02-03 13:00:00
全新一代天玑9300全大核架构,到底有何玄机?
...掉,接下来军队就回去休息。”第三点,全大核架构下,安卓平台底层App性能资源的调用机制也发生了改变,因此想要真正降低功耗,更重要的工作,其实是引领整个生态去做适配。而对于这一
2023-11-07 19:59:00
联发科和谷歌合作对天玑芯片进行优化
...歌宣布将BardAI聊天机器人更名为Gemini,并推出专门的Gemini安卓应用程序。同时,谷歌还推出了功能更强大的GeminiUltra1
2024-02-24 11:42:00
联发科旗舰芯片组天玑9300再次引起科技界轰动
...理能力,提升了整体图像和视频质量。天玑9300还将迎接安卓14引入的新UltraHDR格式,为下一代智能手机带来显著突破
2023-11-09 00:51:00
天玑9300 苏黎世AI跑分超2000,AI性能第一
...力,为用户带来更多的创作灵感。多方位全面升级,打造安卓旗舰最强芯天玑9300集成了MediaTekMiraVision990移动显示处理器
2023-11-07 20:43:00
天玑上限看OPPO!Find X8系列定档
...从已经公布的消息来看,这代OPPOFindX8系列很可能将刷新安卓手机性能天花板,手游党们总算是等到了。具体来看,天玑9400是联发科第二款全大核设计的旗舰芯片,前代天玑93
2024-10-15 14:07:00
安卓手机12月性能榜出炉:天玑9300第二,天玑8300第一!
...一年迭代一次,然后一次使用一年的时间。只不过如今的安卓手机市场竞争非常激烈,所以每次迭代的时候,都会带来非常强劲的市场表现。这次也是没有例外,如今安卓旗舰手机12月性能榜出炉
2024-01-03 09:07:00
安兔兔 2024 年 1 月安卓手机性能榜:天玑 9300/8300 豪取双冠
今天安兔兔公布了 2024 年 1 月的安卓手机性能榜,其中,在旗舰手机性能排行榜中,搭载天玑 9300 的 OPPO Find X7强势取下第一名的成绩
2024-02-02 11:40:00
更多关于科技的资讯: