推动终端侧AI发展 MWC2024高通带来多项全球首发

今年AI相关的话题持续火爆，在刚刚开幕的MWC2024中，AI同样也称为展会的一大主角。在2023年10月的骁龙峰会期间，高通推出了第三代骁龙8移动平台以及面向PC的骁龙XElite平台，正式掀起了端侧AI普及的序幕，此次MWC2024期间，高通也带来了多项AI相关的全新技术。

终端侧AI的发展，离不开广大开发者的支持，为了能够帮助开发者更好的打造AI相关的应用程序，高通推出了全新的高通AIHUB，这是为开发者打造的获取开发资源的中心，开发者可以基于骁龙或者高通平台打造AI应用。

高通AIHub为开发者提供全面优化的AI模型库，包括传统AI模型和生成式AI模型，能够支持在骁龙和高通平台上进行部署。

在使用高通AIHub时，开发者可以选择所需的大模型，例如Baichuan-7B，然后可以选择开发应用所使用的框架，例如例如Pytorch、Tensorflow。下一步开发者可以选择对应的目标平台，可以时某一款手机，也可以是特定型号的高通平台。确定以上信息后，高通AIHub就可以为开发者提供面向其指定应用、指定平台进行优化的模型。开发者只需要几行代码就可以获取模型，并将模型集成进应用程序。

高通AIHub将支持超过75个AI模型，包括传统AI模型和生成式AI模型。通过对这些模型进行优化，开发者运行AI推理的速度将提升高达4倍。不仅是速度提升，优化后的模型占用的内存带宽和存储空间也将减少，从而实现更高的能效和更持久的电池续航。

这些优化模型将在高通AIHub、以及HuggingFace和GitHub上提供，让开发者能够将AI模型便捷地集成到工作流中。

除此之外，在MWC2024期间，高通也展示了全球首个在搭载第三代骁龙8的Android手机上运行的多模态大模型（LMM）。多模态指AI模型不仅能够接受文本输入，还可以接受图像、音频等其它输入数据类型。在这一演示中展示了一个超过70亿参数的LMM，其支持文本、语音和图像输入，并能够基于输入的内容进行多轮对话。

例如，用户可以拍一张食材的照片，向AI助手提问：这些食材都是什么？根据这些食材能够做什么菜？每道菜的热量是多少？AI助手就能够基于视觉内容提供丰富的信息，所有的功能完全在终端侧运行，能够以非常及时的响应速度生成token，并且更好地保护隐私。

同时，高通也展示了首个在Android手机上运行的LoRA模型。LoRA能够在不改变底层模型的前提之下，调整或定制模型的生成内容。通过使用很小的适配器（大小仅为模型的2%，便于下载），就能够个性化定制整个生成式AI模型的行为。

LoRA是面向终端侧生成式AI的关键技术，它能够提升效率，可扩展性以及定制化能力。这一技术不仅能够运用于图像生成，也可以应用于大语言模型等多种生成式AI模型，是实现个性化生成式AI的高效方式。

在PC方面，高通也在搭载全新骁龙XElite平台的WindowsPC上，带来另一个多模态AI的演示，也是全球首个在WindowsPC上运行的音频推理多模态大模型，它能理解鸟鸣、音乐或家中的不同声音，并且能够基于这些信息进行对话，为用户提供帮助。

例如，多模态大语言模型能够理解用户输入的音乐类型和风格，为用户提供音乐的历史以及相似的音乐推荐，或通过对话的方式为用户调节周围的音乐。以上模型经过优化，能够实现出色的性能和能效，并完全在终端侧运行，以充分发挥骁龙XElite的强大能力，增强隐私性、可靠性、个性化以及成本优势。

骁龙XElite相较于常见的X86芯片在AI方面有着更大的优势，例如将基于骁龙XElite的PC与X86芯片的PC同时运行集成StableDiffusion插件的GIMP图像编辑器，进行AI图像生成，骁龙XElite只需7.25秒就能生成一张图像，速度是X86竞品（22.26秒）的3倍。骁龙XElite的NPU运算能力高达45TOPS，大幅领先于竞品。

高通认为，终端侧AI的商用进程已经开始，在高通的推动下，终端侧AI能力将会在智能手机以及AIPC上得以广泛的应用。