• 我的订阅
  • 科技

手把手教你本地部署DeepSeek:享受AI带来的便利

类别:科技 发布时间:2025-02-11 15:18:00 来源:浅语科技

国内的大语言模型DeepSeek近日迅速出圈,凭借其在自然语言处理、代码生成和多轮对话等任务中的出色表现,吸引了众多开发者和研究者的关注,甚至登上了不少地区的app榜单。

不过在使用时经常会遇到服务器繁忙的困扰,解决办法也很简单,就是将其部署到本地,无需依赖云端服务即可享受AI带来的便利。

要在本地部署DeepSeek,需要借助运行大语言模型的工具,这里我们建议使用LM Studio,这是一款专为本地运行大语言模型设计的客户端工具。

它支持多种开源模型,并提供了简单易用的界面,使得用户无需编写复杂的代码即可加载和运行模型。LM Studio的最大优势在于其“本地化”特性,确保数据的隐私和安全。

除了数据安全和避免服务器繁忙之外,在本地部署DeepSeek还可以做到灵活定制,我们可以根据硬件性能调整模型参数,优化运行效率,获得更加定制化的体验。

手把手教你本地部署DeepSeek:享受AI带来的便利

在开始部署之前,先确保设备满足以下硬件要求:显卡GTX 1060(6GB)及以上,推荐RTX3060及以上;内存容量8GB,推荐16GB及更高;存储空间C盘剩余20GB,推荐使用NVMe固态硬盘。

首先是安装LMStudio客户端,在官网lmstudio.ai下载对应操作系统的安装包即可,随后双击运行并按照提示完成安装。安装完成后启动LM Studio,就来到了用户界面。

手把手教你本地部署DeepSeek:享受AI带来的便利

进入LM Studio之后先点击右下角的设置图标(小齿轮)将语言改为简体中文,然后就可以加载模型了。这里有两种情况,如果能自己找到各种不同版本的模型,那就下载到本地,然后点击左上方文件夹的图标,选择模型目录导入即可,优点是可以选择自定义的模型,而且下载速度有保障。

手把手教你本地部署DeepSeek:享受AI带来的便利

不会自己找模型的话就在LMStudio的设置里,常规部分选中Use LM Studio's Hugging Face的复选框,然后点击左上方的搜索图标(放大镜),搜索deepseek即可找到各种不同版本的模型,优点是使用简单,但是下载非常不稳定。

这里简单介绍一下选择模型时不同参数规模的区别,参数规模以B(Billion,十亿)表示,数值越高,意味着模型就越复杂,理解和生成能力就越强,但是对系统的性能要求就越高,生成内容的速度也就越慢。

手把手教你本地部署DeepSeek:享受AI带来的便利

具体来说,1.5B适合体验/尝鲜的场景,只有大约3GB的文件,不做推荐。7B适合普通内容创作及开发测试场景,文件提升至8GB,推荐16GB内存+8GB显存,毕竟适合大多数用户。8B在7B的基础上更精细一些,适合对内容要求更高更精的场景,同样适合大多数用户。14B则提升至16GB,建议12核CPU+32GB内存+16GB显存,适合专业及深度内容创作场景。更高的参数规模需要的硬件太高,而且生成速度会更慢,所以不做推荐。

DeepSeek的生成速度和显卡性能有很大关系,作为参考,8B模型在移动端RTX 3060上的生成速度约为5字/秒,在桌面端RTX 3060平台的生成速度约为8字/秒,14B模型在桌面端RTX 3060平台的生成速度约为2字/秒,其他模型和配置可以近似估算,大家可以根据自己的配置和需求选择参数规模。

手把手教你本地部署DeepSeek:享受AI带来的便利

部署完成之后,点击LMStudio左上方的对话框,然后在顶部选择要加载的模型即可。开始前可以先在顶部的模型这里设置上下文长度和GPU负载等等,模型加载完成之后就可以开始使用了。

对于有更高要求的用户,LMStudio中支持创建多个文件夹,分类存放不同用途的模型,方便快速切换,LM Studio支持通过本地API接口与其他应用程序集成,实现更复杂的AI应用,本文因为篇幅原因不做深入介绍了。

手把手教你本地部署DeepSeek:享受AI带来的便利

最后再介绍一下常见问题与解决方案。下载速度慢:可以通过修改LM Studio的配置文件,将默认的Hugging Face镜像替换为国内镜像。

模型加载失败:确保模型文件的扩展名为`.gguf`,并检查LM Studio是否为最新版本。运行速度慢/GPU未调用:确认已安装最新的CUDA驱动,并重启LM Studio。

手把手教你本地部署DeepSeek:享受AI带来的便利

责任编辑:振亭

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2025-02-11 17:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快
...视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型(LLM)。这台主频350MHz电脑成功启动进入Windows 98系统
2024-12-30 11:10:00
开源狂潮让巨头惨败,谷歌内部文件曝光
...的LLMs:在Pixel6上,以每秒5个token的速度,就能运行基础模型。可扩展的个人AI:只要一个晚上,就能在笔记本电脑上微调出一个个性化AI。负责任的发布:这一点倒是没
2023-05-07 20:36:00
用过GPT-4 Turbo以后,我们再也回不去了
...,OpenAI CEO 山姆・奥特曼向我们介绍了迄今为止最强的大模型,和基于它的一系列应用,一切似乎就像当初 ChatGPT 一样令人震撼
2023-11-08 18:08:00
酷睿轻薄本也能运行大语言模型,英特尔推动pc生成式ai落地
...行了多个应用的演示。首先,英特尔介绍了他们在大语言模型方面的优化和支持。在我们传统的认知里,运行类似ChatGPT这种大语言模型必须要有大显存的显卡支持。但这场交流会却颠覆了
2023-08-24 22:38:00
rtxai助手的进化
...或文字输入内容,游戏窗口的上下文信息,并通过AI视觉模型处理数据。这些模型增强了与游戏知识数据库相连的大语言模型(LLM)的上下文感知和对特定游戏及应用的理解,然后生成定制的
2024-06-07 04:47:00
还在人工炼丹?自动提示工程指南来了,还带从头实现
...APE)是指自动生成和优化 LLM 提示词的技术,目标是提升模型在特定任务上的性能。其基于提示词工程的思路,即编写多个不同的提示词并对其进行测试,只不过是让整个过程自动化。后
2024-09-10 13:39:00
AI PC是噱头还是更快的马车?
...以生成一个多步骤的、跨软件的操作。这也体现了大语言模型的优势:可以接受较长的输入并理解、分拆。譬如,我们完全可以对AIPC说:帮我将电脑静音,然后打开上次阅读的文档,并把它发
2024-03-28 13:00:00
三星990 EVO AI应用体验
...并不难理解。无论是需要处理十几GB甚至几十GB的大语言模型,还是运行需要调用多个模型的AI绘画任务,都会产生巨大的数据传输需求。在启动、运行和调试这些AI应用时,对硬盘的顺序
2024-10-27 22:03:00
机械革命耀世15 Pro的AIGC狂欢背后,数据的支撑离不开高性能的固态硬盘
...le Diffusion为代表的文生图、再到后来的OpenAI首个视频生成模型Sora,除了对于算力的要求越来越高以外
2024-04-17 15:00:00
更多关于科技的资讯:
海工核心装备自主化取得新突破全国首台(套)船用SCV模块化装置成功交付南报网讯(通讯员张正平记者张希)近日,由江宁高新区企业中圣科技集团旗下中圣高科公司自主研发的全国首台(套)应
2025-11-05 08:17:00
□南京日报/紫金山新闻记者余梦娇通讯员彭蓉10月31日,在“向栖霞·享未来”2025年栖霞区秋季引才校园行南京财经大学站专场招聘会上
2025-11-05 09:56:00
智艺共生:AI赋能传播设计研究生作品展开幕
展览开幕历经三十余载积淀与发展,中国传媒大学广告与品牌学院以教学、科研与创意实践的融合创新,持续引领设计教育的前沿进程
2025-11-05 10:56:00
大皖新闻讯 11月5日,威马汽车在其官方微信号发布消息称,“我们很高兴地宣布,小威随行APP于2025年11月5日重新上线iOS和Android平台
2025-11-05 11:00:00
钉钉AI表格支持千万热行,超复杂实时计算真实可用
11月5日,钉钉AI表格宣布成为业内首个单表容量支持1000万热行的智能表格,目前已率先应用于“老字号”餐饮德香苑烤鸭等多家连锁零售
2025-11-05 11:23:00
沂南农商银行:助力科技企业打造新领域标杆
鲁网11月5日讯一根摩丝仅比头发丝略粗一点,但中间却是空的,这款膜组件直径36毫米,里面装了2000多根摩丝,直径最大的膜组件超过600毫米
2025-11-05 11:44:00
科技为骨,情感为魂:米连科技如何用温度重塑品牌连接
在竞争激烈的市场中,技术和服务是骨架,而品牌情感则是血肉。米连科技的过人之处,在于它成功地将“帮助用户获得爱与归属感”这一企业使命
2025-11-05 13:58:00
2025留学机构推荐:高口碑中介综合评测
在当前全球教育交流日益频繁的趋势下,越来越多的学生选择出国深造,出国留学中介机构因此承担起连接国内外教育资源的重要角色
2025-11-05 11:09:00
在线许愿,“听劝”的Leader统帅成了年轻人最想@的家电品牌
一条评论区里的留言,一次产品论坛里的建议,甚至是一段短视频下的“许愿”……这些散落在互联网角落的零散声音,正被统帅仔细收集起来
2025-11-05 11:07:00
即将开幕!首届WCE世界营地博览会,一篇理清所有重点!
想对话全球营地大佬?想抄浙江标杆营地的实战作业?想一站式对接国际资源与供应链?2025年11月7-9日,首届WCE世界营地博览会将在“两山理论”发源地浙江安吉重磅启幕
2025-11-05 08:25:00
近日,太重集团自主研制的国内最大1100吨直臂架门座式起重机,历经海上运输的平稳旅程,顺利抵达用户现场,设备总装工作正式拉开帷幕
2025-11-05 08:30:00
科赴与美团医药健康升级战略合作 为消费者构建更加多元化、便捷的健康解决方案
2025年11月4日,上海 – 今日,在美团北京总部,科赴中国与美团医药健康宣布升级战略合作,双方将在多年合作的基础上
2025-11-05 08:55:00
绘喵教育八周年庆典圆满落幕:以热爱为笔,绘就艺术教育新蓝图
近日,绘喵教育以“无限热爱・无限可能”为主题的八周年庆典活动圆满举行。活动通过“线上直播+线下盛典”双线联动的形式,共同回顾八年深耕插画教育的成长足迹
2025-11-05 10:26:00
“AI+医疗”活力迸发!温州全力打造医学人工智能高地
温州居民李阿姨通过AI助手解读的体检报告;医院放射科利用“AI+云影像”,五分钟就能初筛CT片;糖尿病患者张大伯通过可穿戴设备传输数据
2025-11-05 10:46:00
校宝App荣获“2025榜样教育产品奖”,以持续创新引领教育服务数字化进程
2025年10月21日,2025校长邦T教育创新大会暨“中关村·智聚”教育创新论坛在北京隆重开幕。在大会的焦点环节“第十届榜样教育年度盛典”中
2025-11-05 08:25:00