13代酷睿支持160亿参数大模型、Arc显卡提速54％

生成式AI(AIGC)无疑是当下最热门的话题和应用，各家软硬件厂商都在全力投入。

作为拥有强大硬件、广泛生态的行业领袖，Intel也正在大力推动PCAIGC应用的落地，从硬件到软件提供全方位支持。

目前在PC平台上，Intel已发布的12/13代酷睿、ArcA系列显卡，以及即将发布的下一代酷睿，都能满足AIGC对于高算力的需求。

再加上软件生态的构建和模型的优化，AIGC场景在台式机、轻薄本、全能本、游戏本等设备上都能落地应用，从而大大提高热门的日常生活、工作效率。

其中，基于OpenVINOPyTorch后端的方案，通过PytorchAPI，可以让社区开源模型很好地运行在Intel客户端处理器、集成显卡、独立显卡和专用AI引擎之上。

比如说， StableDiffusion的实现Automatic1111WebUI，已经能够通过上述方式，在Intel处理器、显卡上运行FP16浮点精度的模型，支持文生图、图生图、局部修复等功能。

更进一步地，Intel通过模型优化，降低了模型对硬件资源的需求，进而提升了模型的推理速度，让社区开源模型能够很好地运行在PC上。

眼下，Intel13代酷睿通过XPU加速、low-bit量化，以及其它软件层面的优化，可以让最高达160亿参数的大语言模型，通过BigDL-LLM框架运行在16GB及以上内存容量的个人电脑上。

已经验证过的模型包括但不限于：LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper等，并通过Transformers、LangChainAPI接口支持Windows、Linux的操作系统。

即将发布的代号MeteorLake的酷睿Ultra系列，更会成为PCAI历史上的重要里程碑。

酷睿Ultra它将通过分离式模块架构，集成名为“VPU”的独立AI加速单元，为PC用户提供AI驱动的新功能、新应用，比如AdobePremierePro中的自动重新构图、场景编辑检测等等，还有更高效的机器学习加速。

目前，Intel正与PC产业伙伴合作，加速AI加速应用的落地和普及，未来后续基带产品也会进一步扩展AI能力。

另一方面，IntelArc锐炫显卡通过驱动和补丁更新，已经可以较好地支持StableDiffusion，性能提升效果相当显著。

Tom'sHardware就分别测试了ArcA77016GB、ArcA750，使用了Automatic1111WebUIOpenVINO。

在此之前，ArcA77016GB、ArcA450的性能相比RTX4060落后在20％左右，如今分别大幅提升了54％、40％，对比RTX4060能分别领先25％、6％。

要知道，它俩的游戏性能其实远不如RTX4060，但如今AI效率却更高，足可见Intel的硬件性能和软件优化相当给力。

再看看AMD显卡的表现，就更加凸显Intel的进步了，RX6000系列的效率依然低得令人发指，RX6800都只有ArcA750的一半多一点点。