让AI无处不在 高通全面开启终端侧生成式AI大门

高通在夏威夷举行了今年的骁龙峰会。而本届骁龙峰会的主题早已确定——“让AI触手可及”。在2023骁龙峰会上，高通全面展示了AI技术对于骁龙本、手机和音频体验的增益，“让AI触手可及”这一愿景正在从蓝图变为现实。

AI正在渗透进广大消费者生活中的各个角落，其带来的影响正在显现，在可以预见的未来，AI将极大改用户的工作习惯乃至生活方式。从全球AI的发展趋势来说，以高通主导的端侧AI、混合式AI正在成为众多OEM厂商的共识，具备十分光明的前景。

正如在本届骁龙峰会上高通公司CEO安蒙所说的那样，“终端侧生成式AI对于打造强大、快速、个性化、高效、安全和高度优化的体验至关重要。”而“骁龙在助力塑造和把握终端侧生成式AI机遇方面独具优势，未来骁龙赋能的生成式AI体验将无处不在。”

高通亮出端侧生成式AI新平台

在高通看来，AI将重塑消费者对用户体验的感知，骁龙将成为所有AI模型在终端侧运行的首选平台。基于这样的价值考量，在今年骁龙峰会上，高通推出了两款全新平台，二者无不强调了终端侧生成式AI体验的需求，从底层为用户提供贴近生成式AI的技术支持。

首先智能手机平台，骁龙8系旗舰移动平台迎来了第三代大版本更新。第三代骁龙8致力于推动终端侧AI规模化扩展，这也是高通首个专为生成式AI打造的移动平台。高通技术公司高级副总裁兼手机、计算和XR业务总经理阿力克斯·卡图赞(Alex Katouzian)表示，第三代骁龙8是高通推出的拥有最强终端侧AI的移动平台。

在生成式AI方面，第三代骁龙8支持终端侧运行100亿参数的模型，面向70亿参数大预言模型每秒生成高达20个token;用时不到一秒就可以在终端侧通过Stable Diffusion生成图片。 

全新异构架构的高通AI引擎是第三代骁龙8的AI性能卓越原因之一。Hexagon NPU升级了全新的微架构，性能提升了98%，能效提升了40%。Hexagon NPU集成了硬件加速单元、微型区块推理单元、性能加强的张量/标量/矢量单元，同时所有单元共享2倍带宽的大容量共享内存。 

这意味着用户在搭载第三代骁龙8的设备上可以按照自己的需要自由生成类似于文本、图片、音频等内容，在不方便用手打字的情况下，端侧AI能帮用户自动生成内容、或是将想象中的元素具象化，提升用户在智能手机设备上的创造性和生产力。

高通公司高级副总裁兼手机业务总经理Chris Patrick表示，第三代骁龙8平台将开启生成式AI的新时代——赋能用户创作独特内容、帮助生产力提升，并实现其他突破性的用例。

高通始终致力于将AI带到端侧，除了智能手机上的骁龙芯片，此次骁龙峰会的主角——全新一代骁龙X Elite被高通寄予厚望，它同时也是高通发力PC平台的关键的一步棋。

骁龙X Elite同样专为AI打造。作为一款高度集成的SoC芯片，骁龙X Elite内置了新一代Hexagon NPU，算力达到45TOPS，是第三代骁龙8cx的三倍，运行70亿参数大模型时，每秒可以生成30个tokens。它还支持终端侧运行超过130亿参数的生成式AI模型，AI处理速度是竞品4.5倍，面向Windows 11 PC的终端侧聊天助手可实现每秒处理30个token。同时骁龙X Elite整合NPU、CPU和GPU的能力，异构AI引擎使其算力达到了75TOPS。

不仅是算力升级，骁龙X Elite还集成了高通传感器中枢(Sensing Hub)，集成Micro NPU、始终感知ISP。值得一提的是，骁龙X Elite也是首个集成适中感知ISP的PC处理器。据高通介绍，高通传感器中枢带来了2倍的AI性能以及50%的内存扩容，可以进一步提升AI辅助降噪、AI助理等智能体验。未来在PC端，端侧AI将直接从本地提升用户的具体使用体验，即便是没有网络连接，AI也始终在用户身边。

端侧AI更具应用优势

说到底，高通为什么要大力发展混合AI、强调端侧AI的重要性？

高通此前发布的《混合AI是AI的未来》白皮书给到了我们答案。为了更好地应对数十亿、上百亿参数的模型，仅靠云端是完全不够的。受制于成本、设备、功耗、运行等方面，终端侧势必要在未来的生成式AI应用中占据关键性的位置。

高成本是阻碍生成式AI落地的一大绊脚石。从AI模型的发展规律来看，AI 模型对计算基础设施的要求极高，这也将AI限制在了云端部署。需要注意的是，AI推理的规模远高于AI训练。需要消耗大量资源的模型训练频率低，但这些模型的推理成本将随着日活用户数量及其使用频率的增加而增加。而在云端进行推理的成本极高，这将导致规模化扩展难以持续。将一些处理从云端转移到终端可以减轻云基础设施的压力并减少开支。而正是基于此，现已部署的、具备AI能力的数十亿边缘终端能够得以利用，成为降低生成式AI规模化成本的基础。

而能耗则是另一关键要素。与云端相比，运行在端侧的高效AI处理器能够提供领先的能效表现。边缘终端能够以很低的能耗运行生成式AI模型，同时能帮助云服务提供商降低数据中心的能耗。高通公司全球副总裁侯明娟曾指出，高通AI研发最关注的领域是“如何在低功耗环境下让AI更高效地运行”，高通将致力于通过提供高效的硬件、算法和软件工具，并持续推动终端侧AI性能功耗比提升。

由于查询和个人信息完全保留在终端，终端侧AI可以从根本上保护用户隐私。这不仅有助于解决保护公司保密信息的难题，对于消费者使用而言，混合AI架构中的“隐私模式”让用户能够充分利用终端侧AI向聊天机器人输入敏感提示。此外，相信不少用户在使用生成式AI的过程中等饱受“等待”之苦，这也是云端AI服务的弊端。当生成式AI查询对于云的需求达到高峰期时，就会产生大量排队等待和高时延，甚至可能出现拒绝服务的情况。低时延和无网络稳定使用也成为了终端侧AI的固有优势。

合作共赢 高通发力AI历史悠久

高通在AI方面的研发已经超过15年。就移动端来说，早在2007年高通就进入了人工智能领域，开始探索面向计算机视觉和运动控制应用的机器学习脉冲神经方法，并在骁龙平台上推出了首个Hexagon处理器。

2009年到2013年，高通投资初创公司Brain Corp并且进行了联合研究。如今，Brain Corp已经是全球领先的机器人AI 软件供应商。2015年的骁龙820处理器则集成了首个专门面向移动平台的高通AI引擎Hexagon 680 DSP，支持图像、音频和传感器的运算。

2016年，高通骁龙神经处理引擎工具包(Snapdragon Neural Processing Engine SDK)正式发布。这款SDK允许OEM厂商在智能手机、安全摄像头、汽车和无人机等骁龙820设备上运行自己的神经网络模型，所有这些都无需连接到云端。从此，下游厂商可以定制化开发场景检测、文本识别、对象跟踪和回避、手势、人脸识别和自然语言处理等功能。此后，骁龙855还集成了张量加速器(Tensor Accelerator)，专门处理运行过程中的AI运算任务。

目前，高通已经具备了在终端侧运行超过100亿参数模型的实力，这将进一步提升AI在终端侧运算能力的上限，也意味着可以用于更加复杂的AI运算，帮助用户解决更多实际问题。

高通为应用、神经网络模型、算法、软件和硬件进行全栈AI研究和优化。高通AI软件栈旨在帮助开发者实现一次开发，即可跨高通所有硬件运行AI负载。高通AI 软件栈全面支持主流AI 框架，同时它还集成了推理软件开发包(SDK)，包括面向 Android、Linux 和Windows 的不同版本。高通开发者库和服务支持最新编程语言、虚拟平台和编译器。在更底层，高通的系统软件集成了基础的实时操作系统(RTOS)、系统接口和驱动程序。我们还支持广泛的操作系统(包括Android、Windows、Linux和QNX)，以及用于部署和监控的基础设施。

高通AI软件栈还集成了Qualcomm® AI Studio，支持从模型设计到优化、部署和分析的完整工作流。这一工具相当于为开发者搭建了一个官方的“工具箱”，在这个工具箱界面内，开发者可以自由选择需要的工具，极大地降低开发难度，有助于缩短开发时间、提高开发效率，同时还支持开发者实时查看模型开发进度。

在推进混合AI发展的路上，高通部署的边缘侧终端规模十分庞大，具备其他方案提供商所不具备的规模优势。骁龙平台在移动平台AI基准测试中处于领先地位，高通的AI能力已经赋能包括手机、汽车、XR、PC和物联网等一系列广泛产品，搭载骁龙和高通平台的已上市用户终端数量已达到数十亿台。其AI加速解决方案以及各类关键IP创新和技术能能够进行稳定迭代，并且支持跨细分领域快速普及相关功能并下沉到主流和入门级产品。

写在最后

生成式AI已经展现出了前所未有的潜力，在行业层面，生成式AI提升了创新的效率和质量，并且加速了各行业的数字化和智能化转型进程;在消费端，以智能手机这一消费者使用最广泛的移动终端为例，生成式AI已经展现出强大的力量，正逐渐接管智能生活的核心。

高通凭借深厚的技术积累、广泛的合作伙伴与完备的生态为端侧AI的发展搭建了舞台，可以期待混合AI在高通的引导下规模化的光明前景。在高通的助力下，众多厂商正在融合自身创新，不断提升科技创新水平，将更多的AI大模型带到消费级领域，让最广大用户享受到生成式AI带来的高效便利。而高通的端侧AI在成本、能耗、性能、隐私、安全和个性化等多方面都具备明显优势。可以预测，广大用户能够在这样的AI生态圈层中依托强大、高效且高度优化的AI能力实现更多“不可能完成的任务”，改变我们的工作与生活。