英特尔aigc在pc上的应用

ChatGPT的火热出圈，让AIGC成为目前人工智能领域最重要的发展方向，同时也在深刻影响我们使用智能终端的体验。

比如在智能手机上，AI技术很早就被应用在影像、语音助手、游戏等方面，而随着生成式AI火热，手机芯片厂商们也在积极将AIGC解决方案嵌入到移动芯片平台中，并且在手机上玩AIGC，也正成为很多手机品牌在新产品上主打的卖点。

不过，当我们谈到AIGC的变革意义，其实主要还是集中在以大模型为核心的“变革内容生产方式”与“变革人机交互方式”两个方面，一言以蔽之，就是AIGC对于我们生产力的解放。

而说到生产力，其实至少现阶段，对于大部分用户来说核心的生产力工具还是PC，而手机、平板等移动终端的生产力还相当有限。因此，在PC上部署AIGC，其实才是更有优势、也更有意义的事。

至于AIGC在PC上的落地和应用，这里就不得不提到一个重要的推动者：英特尔。

早在2018年，英特尔就曾判断PC会是未来AI的主战场，并推出了“AIonPCDeveloperProgram”的AIPC开发者计划。在此之后，英特尔持续将AI能力融入到旗下酷睿处理器产品中，包括在架构层面提升AI的性能，SoC中内置IntelGNA以加速低功耗AI在PC上的应用等等。

而面向AIGC的浪潮，英特尔也在软硬件层面都做好了准备。硬件层面，以第12代、第13代英特尔酷睿处理器和英特尔锐炫A系列显卡为代表的英特尔多款客户端芯片均能提供强劲性能，以满足生成式AI对于高算力的需求。

在软件层面，英特尔则通过软件生态的构建和模型优化，进一步推动新兴的生成式AI场景在个人电脑的落地，广泛覆盖轻薄本、全能本、游戏本等。目前，英特尔正与PC产业众多合作伙伴通力合作，致力于让广大用户在日常生活和工作中，通过AI的辅助来提高效率，进而带来给革新性的PC体验。

英特尔通过模型优化，降低了模型对硬件资源的需求，进而提升了模型的推理速度，让社区开源模型能够很好地运行在个人电脑上。

以大语言模型为例，英特尔通过第13代英特尔酷睿处理器XPU的加速、low-bit量化以及其它软件层面的优化，让最高达160亿参数的大语言模型，通过BigDL-LLM框架运行在16GB及以上内存容量的个人电脑上。

目前，包括LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen等在内的模型都可以运行，同时英特尔还提供了易用的API接口（Transformers、LangChain），并支持Windows、Linux的操作系统。

说到这，IT之家不妨做一下实测。小编选择了一台通过英特尔Evo平台认证的轻薄本：华硕破晓Air，这款轻薄本搭载英特尔13代酷睿i7-1355U处理器，16GBLPDDR5内存。

接着，小编在华硕破晓Air上装好英特尔推出的大语言模型Demo。这个Demo集成了三个大语言模型，包括ChatGLM2、LLaMA2和StarCoder。

这三个模型均通过英特尔的语料库进行了优化，主要的优化方式是对这些大语言模型进行量化操作，以减轻他们对本地硬件资源的需求。

测试时，小编首先在聊天助手功能下问它“朋友向我借了1000元，一直没有归还，我该如何索要的同时不伤感情？”这款大模型的回答有条有理，列出了四种方法，而且回答这么长的一段话响应速度也很快，firstlatency只用了1208.51ms。

接着小编切换到情感分析功能，让大模型Demo分析一段散文文案所表达的思想感情，在华硕破晓Air上离线运行的大模型很快就给出了答案，而且对文案内容的分析还是比较到位的，并没有停留在文字的表面意思，而是理解到文字背后隐喻的情感。学生朋友们可以用这个能力来辅助语文阅读理解的学习。

接着小编使用翻译功能做了测试，英特尔大语言模型的表现同样能够让人满意，整个语段翻译得很通顺，而且响应速度也很快。大家平时查阅一些外文资料、文献，就可以直接在电脑上用AI大模型进行翻译，省去了在网上找各种翻译应用的过程。

接下来再测试一下英特尔大语言模型的文案创作能力。小编切换到“故事创作”功能，但不是让他创作故事，而是让它写一则招聘文案。从结果上看，大模型Demo把小编提出的要求都考虑到了，而且文案整体也比较流畅，属于拿过来稍微改改就能用的水平。这样，如果你是文案工作者，这个能力相信会对你非常实用，大大加快你的文案创作效率。

在英特尔大语言模型写文案的时候，小编看了一下华硕破晓Air性能资源的调度情况，英特尔13代酷睿i7-1355U处理器占用率达到了100%，内存占用达到了9.0GB（58%），Xe核显占用也达到了33%。看来这个运算过程确实是在本地进行的。在英特尔不断的优化和13代酷睿处理器算力的提升下，确实能够在轻薄本上实现AIGC的落地。

接着再考验一下它的信息提取能力，小编在IT之家复制了一篇新闻，让它提取其中的核心信息。由于问题信息量比较大，这次英特尔大语言模型Demo生成的时间比其他问题稍长了一些，但也可以接受，关键是它提炼的摘要确实是符合新闻本来要传达的信息。

最后，小编在“美食指南”功能里让大模型Demo推荐一下去西安游玩值得尝试的美食，对于这个问题，大模型Demo很迅速地给出了一份攻略，除了中间地“羊肉泡馍”推荐了两遍，其他的结果都没什么问题，确实是西安的特色美食。

总体来说，使用华硕破晓Air这款英特尔Evo轻薄本在本地运行、使用大语言模型Demo，实际给到的体验的确让人惊艳。在此之前，小编确实没有想到一款轻薄本也能如此流畅、顺利地运行有超高算力需求的AI大模型，这进一步打开了小编对轻薄本性能以及AIGC应用场景的认知。

当AIGC能够在轻薄本这样的移动计算终端侧顺利运行，意味着我们就可以摆脱网络、时间和空间的限制，随时随地通过AIGC来加速我们的内容创作力和生产力。文字工作者可以用它来辅助编写文案、文笔润色，上班族们可以用它辅助解决工作中遇到的实际问题，学生、研究人员可以用它轻松查阅资料、整理信息、翻译文献等等，它让PC的生产力属性得以重新定义，这也是在手机、平板等终端设备上运行AIGC所无法获得的高效体验。

最后值得一提的是，在英特尔下一代酷睿处理器MeteorLake中，CPU和GPU的性能都会得到大幅度的提升，更关键在于英特尔还在MeteorLake中加入了集成式NPU单元，实现更高效能的AI计算，它包含了2个神经计算引擎，能够更好地支持包括生成式AI、计算机视觉、图像增强和协作AI方面的内容。而且，MeteorLake中的NPU不是单一孤岛式的架构，除了NPU，CPU和GPU也都可以进行AI运算，不同场景下会用不同的AI单元去应对，彼此协调，如此一来，其整体能耗比相比前代最多可以提升8倍之多。

总之，未来搭载MeteorLake处理器的轻薄本在本地AIGC创作方面的表现会更加令人期待。相信随着英特尔后续产品的进一步扩展，规模和数量的大幅增长将让数亿人轻松享受AI加速体验，并实现更优的智能协作、更快的处理速度和更强的功能特性，一场前所未有的生产力变革正在加快到来。