我们正处于一个信息大暴发的时代,每天都能产生数以百万计的新闻资讯!
虽然有大数据推荐,但面对海量数据,通过我们的调研发现,在一个小时的时间里,您通常无法真正有效地获取您感兴趣的资讯!
头条新闻资讯订阅,旨在帮助您收集感兴趣的资讯内容,并且在第一时间通知到您。可以有效节约您获取资讯的时间,避免错过一些关键信息。
一、前言:本地部署大模型 不依靠显卡其实也可以
Deepseek大模型横空出世以来,以其高效和开源的特性迅速火爆出圈,是现在当之无愧最为知名的AI大模型。
Deepseek-R1不但直接开源了其671B参数规模的满血模型,还同步开源了六个不同规模大小的蒸馏模型,分别是DeepSeek-R1-Distill-Qwen-1.5B/7B/8B/14B/32B,以及DeepSeek-R1-Distill-Llama-70B,这就非常方便用户根据自己设备的配置情况,选择合适规模的模型进行本地部署。

在各大厂商纷纷上线AI服务的今天,我们为什么还要在本地部署一个AI大模型呢?
其实原因也很简单,首先是避免云服务不稳定,Deepseek上线初期的网络故障都已经成一个梗了;其次是一些数据不允许公开或者上云,这就必须要在本地完成处理,确保数据和隐私安全。
最后就是玩家的心态了:“我花了这么多钱,买的新硬件有这么高的算力,不充分利用多浪费?”
再加上新硬件也确实可以支撑AI大模型的本地部署运行,所以也就顺理成章的要在本地部署一个AI大模型了。
另一方面,本地部署大模型其实现在也已经没有什么困难,网上很容易就能找到大量的部署教程和方案,甚至已经有人制作了傻瓜式部署的一键包,只需要下载之后解压运行就可以获得一个本地运行的AI大模型,真的让人人都可以轻松上手。
但这些教程方案中,都会提到本地算力的要求,通常都需要一块比较强的显卡,才能比较好的在本地运行AI大模型。
选择模型规模时,往往是要求一定的显存容量,这就对没有独立显卡的轻薄笔记本不太友好,可能会有使用轻薄本的用户直接就放弃了本地部署的计划。

没有大显存显卡真的就不能拥有自己的AI大模型了吗?当然不是。
我们这次就找来一台使用Intel酷睿Ultra 9 285H处理器的轻薄笔记本,来尝试在本地部署大模型并应用,看看不依靠独立显卡,充分发挥CPU、iGPU核显以及NPU的算力资源,能不能真正应用上本地AI大模型。
责任编辑:万俟雨休
文章内容举报
以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。
快照生成时间:2025-04-03 11:45:07
本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。
信息原文地址: