高通在waic大会上展示了什么？

7月4日—6日，2024世界人工智能大会暨人工智能全球治理高级别会议在上海举办。本届大会以“以共商促共享，以善治促善智”为主题，共商人工智能领域前沿技术、产业动向和向善治理。高通公司中国区董事长孟樸发表主题演讲，表示高通将通过创新与合作将AI技术成果转化为极具实用性的应用和体验。他还分享了高通在人工智能领域取得的创新成果以及对于人工智能产业发展的新思考，并分享了高通携手广泛生态伙伴以终端侧AI赋能产业合作创新的努力和成功实践。

全新用例展示领先技术

高通公司中国区董事长孟樸在大会首日产业发展主论坛上表示：“终端侧AI将成为推动生成式AI规模化扩展的关键所在。高通长期致力于推动终端侧AI的创新，并与行业生态建立了广泛合作，共同将创新成果转化为极具实用性的应用和体验。”而在大会现场，高通还为广大参会者带来了三项端侧AI用例。

时隔一年，高通又一次带来了首个在安卓智能手机上运行的大语言和视觉助理大模型(LLaVA)。这是一个超过70亿参数的大型多模态语言模型(LMM)，我们在与之对话的时候可以输入文本或者图像，或者其他多种类型的数据，可以就已经输入的图像与AI助手进行多轮对话。

这款LMM能够在终端侧分析理解用户提供图片素材的要素，并以实时响应的速度生成token。端侧运行保证用户的隐私数据不被上传，同时也节省了应用成本。具有语言理解和视觉理解能力的LMM具备极为广阔的应用场景，比如应用在视障人群的生活中，只需要拍下面前的事物，AI助理就能够帮助他们介绍当前的场景，并且基于此进行对话的延伸扩展，帮助他们更便利地生活。

除了用于展示的LLaVA用例，提供AI算力的第三代骁龙8已经广泛应用于数十款旗舰机型，成为众多OEM和广大用户的一致选择。在异构计算和Hexagon NPU的加持下，这些机型都可以调用NPU算力，在自家或者第三方模型的助力下一道实现混合AI的体验。智能手机个人助理、系统文件归纳整理查询、人像拍摄优化、图片编辑……众多AI功能已经来到用户身边，改变着我们使用手机的习惯乃至生活习惯。

值得一提的是在2023年的WAIC上，高通就展示了搭载第二代骁龙8平台的安卓手机直接运行参数规模超过10亿的Stable Diffusion，只需要15秒左右就可以生成图片。此外参数规模超过15亿的ControlNet也成功在手机终端上实现了本地化运行。高通的端侧AI仍在稳步推进，每年能都看到实打实的技术进步。

前面介绍的是应用于智能手机设备端的AI应用。在PC领域，高通同样有着厚积薄发之态。在6月18日，首批搭载骁龙X Elite平台的AI PC正式上市，标志着高通正式补完PC领域的一块关键拼图，继苹果M系列芯片之后，X86架构再次迎来了一个劲敌。

在WAIC 2024上，高通基于联想YOGA Air 14s骁龙AI元启版展示了剪映AI视频编辑功能。搭载骁龙X Elite平台的联想YOGA新品能够调用其NPU的专门算力，优化剪映客户端的端侧AI能力，通过骁龙NPU加速，剪映的智能抠像功能更快、更精确，能够极大提升用户在处理素材时的效率。关键的一点在于，此前运算抠像功能往往需要占用大量CPU算力，处理效率低且功耗较高;而调用NPU算力实现的AI智能抠像在两分钟时长视频抠像智能测试中耗时降低超过90%，消耗电量低85%，展现出突出的效率优势和能效优势，尤其是对于轻薄本产品来说，能效比的提升对于电池续航具有十分重要的意义。

得益于出色的性能、极为优秀的能效表现，将会有越来越多的用户选择全新的骁龙PC，在高通和众多ISV的努力下，更多软件将原生兼容骁龙平台，这意味着Windows on ARM生态也将在高通的支持下进一步完善。

从共创到普惠 高通不遗余力构建AI生态

会上，高通公司中国区董事长孟樸提出高通将通过创新与合作将AI技术成果转化为极具实用性的应用和体验，而谈到高通在AI领域的“科技树”，混合AI是必须坚持的方向。

不同于会上一些技术大佬的发言，孟樸对端云AI的发展表达了不同的观点，他表示，如果将20%的生成式AI转移到终端侧，到2028年将节省160亿美元的算力资源。随着小型生成式AI的进步，能够在终端运行与云端一样好甚至更好的生成式AI模型——正如今年来高通在WAIC上带来的展示，端侧AI算力日益增长、模型规模不断增大，应用场景不断增多也证明了这一点。

实际上，经过了十几年的软硬件技术积淀之后，从去年到今年，高通迎来了在AI领域的厚积薄发。2023年，高通以《混合AI是AI的未来》白皮书为节点，正式阐明以云端和端侧相结合的混合AI论断。高通指出，在生成式AI应用中需要大量的计算资源和数据支持，而混合AI结合了云端和边缘侧的AI处理能力，可以实现更高效、更智能的数据处理和分析，从而更好地支持生成式AI的发展。

而在今年，高通又发布了《通过NPU和异构计算开启终端侧生成式AI》白皮书，进一步阐释了以高通Hexagon NPU为核心的异构计算技术，并探讨了在生成式AI需求激增的背景下，如何利用这些技术为终端侧带来丰富多样的生成式AI应用场景。终端侧AI无疑是发展混合AI的关键，而高通在这方面有着巨大优势。2023年骁龙峰会上，高通公司主题演讲中表示，全球搭载骁龙处理器的设备数量已经超过30亿台，未来这个数字只会更多。一个30亿设备的生态在AI的加持下能够爆发出怎样惊人的力量，难以估量。

高通致力于通过端云结合、异构计算实现在未来数十亿设备上的AI普及，而这一切都离不开行业合作伙伴与ISV的共同努力。为了加快开发者的开发与适配进度，高通还设计了独有的量化工具和软件开发工具包(SDK)，在Hexagon NPU提供的人工智能硬件以及用于模型优化和部署的高通AI Stack提供统一的人工智能软件解决方案帮助下，高通AI Hub赋予了开发者在多个产品类别上使用单个模型部署人工智能框架的能力，这也吸引了成千上万的开发者、ISV投入到高通生态软件开发中来。

眼下，混合AI架构已经走在“万物AI互联”的路上，云端正在与手机、PC、XR头显、汽车这些终端设备紧密联系起来，与这些设备本身所具备的端侧AI算力一同实现AI赋能、端云并济的AI生态。