《永劫无间》手游首次将具有18亿参数的大语言模型引入终端侧

家10月22日消息，高通公司在今天举办的骁龙峰会上，推出了骁龙8至尊版移动平台，这是迄今为止高通最强大且全球速度最快的移动端系统级芯片。峰会首日，高通公司宣布和智谱、腾讯混元合作，共同推动端侧AI模型部署和落地。

骁龙8至尊版芯片AI性能

HexagonNPU融合了包含标量（scalar）、向量（vector）和张量（tensor）等AI加速器架构，支持INT4、INT8、INT16和FP16精度，能够利用大型语言模型（LLMs）和大型动作模型（LAMs），以支持全球最大的生成AI生态系统。

更多AI方面的细节，可以参考IT之家此前文章《骁龙8至尊版芯片开启端侧AI新时代：HexagonNPU性能最高提升12倍，全面增强拍照、连接等》。

腾讯混元

骁龙8至尊版通过支持基于硬件的INT4量化技术，实现腾讯混元大模型7B和3B版本的终端侧部署，可以大幅提升腾讯混元大模型在终端侧的运行效率，端侧推理实现首个token生成时延达到150ms，解码速率达到超过 30tokens/秒。

腾讯混元大模型已为腾讯内部超过700个业务场景和C端应用提供底层技术支持，在骁龙8至尊版芯片上部署后，能更好地满足广泛的终端侧业务需求。

例如腾讯手机管家短信智能识别功能通过海量数据结合深度神经网络与预训练，能够更准确地理解短信意图，让短信召回率大幅提高将近200%，识别准确率提升20%。

智谱

高通与智谱合作，为骁龙8至尊版适配优化 GLM-4V端侧视觉大模型，支持丰富的多模态交互方式。

GLM-4V端侧视觉大模型能够实现令人惊叹的处理能力，以超过 70tokens/秒的速度在终端侧高速运行。

此外通过与骁龙8至尊版进行深度适配和推理优化，终端侧多模态应用ChatGLM能够支持三种终端侧交互方式：使用相机进行实时语音对话、上传照片进行对话、上传视频进行对话。

丰富的多模态输入输出方式赋能智能助手ChatGLM实现了跨家庭、出行、工作和教育等多个场景的应用，例如：

通过手机摄像头获取穿搭建议

利用视觉信息实现智能导航

通过车内摄像头识别遗留物品

拍摄画作进行风格解析

网易

网易公司和高通合作，基于高通骁龙8至尊版芯片，采用一系列SnapdragonEliteGaming特性，并在终端侧带来全新升级的AI队友功能，打造创新的《永劫无间》手游体验。

高通技术公司和网易还针对线程调度进行联合调优，并应用骁龙遮挡剔除（SnapdragonOcclusionCulling）等SnapdragonEliteGaming特性，从而打造更加稳定的游戏体验。

在《永劫无间》手游极致画质下，与前代平台相比，骁龙8至尊版的平均帧数提升22帧，帧率稳定性提升43%，助力实现更加流畅、稳定的复杂多人竞技场景。

基于骁龙8至尊版强大的高通Hexagon™NPU，《永劫无间》手游首次将具有18亿参数的大语言模型引入终端侧，利用包括软件和工具在内的高通AIStack的全栈优化，打造全新升级的端到端AI队友功能。

该功能可以让AI队友不仅听懂玩家的语音对战指令并执行，还能够通过语音指导新手游玩；不仅如此，玩家还能够与AI队友进行自然的语音交流，获得优质队友的情绪价值。在终端侧推理可以显著降低网络传输带来的时延，使得首词时延控制在300毫秒以内

用户数据无需上传云端，这将大大提升用户的隐私的安全性

将AI推理从云端迁移到终端侧，可以充分利用骁龙8至尊版强大的终端侧AI推理能力，从而降低云端运行成本并降低能耗