酷睿轻薄本也能运行大语言模型，英特尔推动pc生成式ai落地

2023年8月18日上午，英特尔在大湾区举办了一场技术分享会，主题是英特尔在AIGC（人工智能生成式计算）领域的最新进展。会上，英特尔的技术专家向与会者展示了他们在AIGC上的技术方向，并进行了多个应用的演示。

首先，英特尔介绍了他们在大语言模型方面的优化和支持。在我们传统的认知里，运行类似ChatGPT这种大语言模型必须要有大显存的显卡支持。但这场交流会却颠覆了我们的认知。英特尔为了让12、13代酷睿平台也能够顺利运行各种大语言模型并提供流畅的使用体验，构建了BigDL-LLM库。通过这个库，可以对各种大语言模型进行优化和支持，包括一些开源的、可以在本地运行的大语言模型。这个库甚至可以在一台搭载16GB内存的英特尔轻薄本的机器上运行参数量高达16B的大语言模型。此外还支持LLaMA/LLaMA2、ChatGLM/ChatGLM2等多个大语言模型。

接下来，英特尔展示了他们在大语言模型应用方面的表现。通过集成了ChatGLM2、LLaMA2和StarCoder这三个大语言模型的Demo，他们演示了这些模型在中文和英文应用上的表现。通过优化和量化操作，这些大语言模型在生成回答时能够以非常快的速度生成，并且不影响阅读体验。英特尔已经发布了这套Demo，任何搭载12、13代酷睿的电脑都可以直接安装并体验。

我们这里选择了一台通过英特尔Evo平台认证的轻薄本：华为MateBook16s来进行测试。处理器为酷睿i9-13900H+32G内存，看看在核显轻薄本上究竟能不能跑AIGC。

英特尔大语言模型的Demo安装过程非常傻瓜，英特尔已经打包成了EXE文件，安装并导入.Bin格式的大语言模型就可以运行了。打开界面我们可以看到左侧可以选择聊天内容、调整模型参数和查看运算延迟，右侧则是聊天框。

笔者先尝试问了他一些人情世故方面的问题，没想到回答非常出色，响应速度也很快。这样一个问题只花了658.87ms就完成了响应。

在运算过程中我们可以看到，i9-13900H占用率达到了100%，内存占用达到了16G，Xe核显也有一定占用。看来这个运算过程确实是在本地进行的。经过英特尔不断的优化和13代酷睿处理器算力的提升，我们真的在轻薄本上实现了AIGC的落地。

在情感分析功能中，我们让大语言模型分析了一段经典散文。可以看到虽然分析的角度比较浅显，但没有逻辑错误，还是可以自洽的。

而在这个中文翻译功能中，英特尔大语言，模型的表现就更加令我意外了，它的翻译质量相当高，速度也很快。哪怕是有如此多专有名词的稿件，也能准确无误地翻译。

在故事创作方面，这套大语言模型也展现出了令我惊讶的逻辑能力和创造能力。我这边让它写一篇关羽大战林黛玉，最后林黛玉取胜的故事。但AI居然认识到了这两人根本不是一个时代的，最后写了一个穿越时空的戏码，虽然漏洞百出，但大体上没有问题。

生成大纲功能则是一个非常有用的功能，我们只要输入想要撰写的稿件，就能帮我们列出一套逻辑清晰的稿件大纲了。这对于经常需要写文章的群体来说能起到很好的辅助作用。

信息提取功能对于经常需要阅读报告的群体来说很有帮助。可以快速从长篇文章中提取核心信息。我这边尝试让AI从英文文章中提取中文信息，效果却依然非常好。

最后，笔者让AI给出一份青岛美食建议和青岛旅游建议。由于这个大语言模型是完全离线运行的，所以给到的信息也会比较陈旧，但单从撰写水平来看还是不错的。

除了大语言模型应用外，英特尔还展示了在AI文生图算法StableDiffusion上的支持。他们启用了OpenVINO的加速，开发了一套AI框架，通过一行代码的安装，就可以加速PyTorch模型的运行。通过StableDiffusion的WebUI，可以在集成显卡和Arc独立显卡上运行StableDiffusionAutomatic1111。通过演示，可以看到在Evo轻薄本和搭载i7-13700H处理器的机器上，StableDiffusion在集成显卡上的表现效果。96EU版本的英特尔锐炬Xe显卡强大的算力，可以支持StableDiffusion软件上运行FP16精度的模型，快速生成高质量图片。

同时，他们还展示了在搭载i7-13700KCPU+ArcA770独显的机器上运行StableDiffusion的效果，速度非常快。

此外，英特尔还展示了基于Arc显卡的人物动作的三维数字重建技术。通过Arc强大的算力和OpenVINO框架对AI算法的优化推理，可以实时探测和重建人物动作，并进行后期渲染。这项技术不需要智能穿戴设备，只需连接家用摄像头，即可实现实时探测和重建人物动作，并通过数字人的形象进行动画渲染。通过实时的骨骼点信息和3D重建，数字人可以展现出灵活多样的肢体动作，实现真实的三维动效。同时，根据用户的需求，可以自定义渲染器的画风，快速打造各种元宇宙应用。

在最后的涡轮卡展示环节，英特尔展示了他们新的涡轮GPU卡，ArcA77016G。这张卡具有双槽全长全高的设计，适应各种边缘侧服务器机箱或设备机箱。它采用涡轮风扇设计，减少对机箱内流场的干扰，更适合多卡混合计算的服务器、炼丹炉场景。

从本次分享会看来，英特尔一直着力于发展AI技术，特别是当下火热的AIGC领域，英特尔也没有缺席。凭借13代酷睿强劲的算力和不断的算法优化，现在即便是轻薄本也可支持大语言模型的本地运行。而在Arc显卡的加持下，StableDiffusion文生图的支持也在不断开展。同时，英特尔也在探索AI的下一代应用场景，并为企业级用户提供算力更强的解决方案。

通过这些技术的展示，英特尔向大家展示了他们在AIGC领域的领先地位和不断创新的能力。他们致力于为用户提供更智能、高效的计算体验，推动人工智能技术的发展和应用。随着技术的不断进步和完善，我们可以期待在未来看到更多来自英特尔的AIGC应用和解决方案。