字越少,货越多。
我参考了多个本地化部署方案,结合我自己的体验,分享我认为目前最简单的实操方案。
非常简单,只需照做,几乎有手就行。
过程非常简单,只需照做,10分钟搞定,有手就行。
已经把身边所有高配、低配的电脑部署了本地DeepSeek-R1大模型。
不久前企鹅厂的腾讯元宝的用户协议涉及“霸王条款”。你用腾讯元宝生成的内容,知识产权永久归属腾讯。
虽然该条款在网络被踢爆后,大厂立刻修改了协议,但大厂依然保留了对生成内容的使用权。
想要避开大厂基操,在开源大背景下,本地化部署是最根本的解决方案。
你受够了官方APP服务器经常无响应?
想要保护个人隐私,不想自己的数据被大公司拿去分析?
不想生成的内容所有权还有其它组织的一份?
希望生成的内容不被过滤?
不希望其他机构知道你的XP和恋爱情况?还有正致光谱?
受不了AI吐词吐到一半,突然全部清空?
不想让大厂知道你有好几个AI女仆?
就算以上一个都没中。
反正本地部署是免费的,就当装了个软件,利用一下闲置的PC硬件资源有何不可?
什么?占用硬盘?
Steam里下载的游戏也不见你经常打开啊。
前几年我印象很深的一篇文章标题叫:
我建议砖家找点正事做,没事少建议。
我自己部署的AI,脱没脱缰我自己说了算,脱不脱缰的我也不在乎。
况且有没有可能,这缰就是我亲自脱的?有缰绳的还不屑用呢。
这里以DeepSeek-R1为例,目前有1.5b / 7b / 8b / 14b / 32b / 70b / 671b几种,对应不同的算力。
顶配家用电脑(RTX4090 24GB显存+32GB内存)可以尝试70b(亲测吐字不快)。
中高端配置可以安装32b(RTX5080 16GB显存+32GB内存亲测丝滑)。
更低一些配置可以测试8b和14b。
如果配置不符合要求,硬上高版本,会出现半天吐不出一个字的情况,内存占满体验奇差,还不如降低版本。
等吐词的过程就像这哥们儿欲和C罗合影,发现手机卡住了,急得冒火。
DeepSeek-R1主要吃显卡显存大小,显存不够会借内存容量。
现在很多二手显卡被回收走,魔改成大显存版本来跑。
譬如回收RTX4090改成48GB显存版本来直接跑70b模型,导致这卡的回收价格来到了19000元一张,还不挑品牌,没坏就行。
还有回收RTX2080Ti 11GB显卡,改成22GB显存。配合超微7048GR/7049GP这类服务器,加上如双路E5-2680和大内存4张魔改卡一起插,可以直接跑70b。
2.1 进入Ollama官网
题外话:Ollama框架下可以安装多种大模型,DeepSeek-R1只是他支持的其中一种
2.2 下载Ollma框架
下载客户端,Windows操作系统下,仅支持Windows10及以后的版本
▼ 目前Ollama框架的文件大小为0.98GB,如果你打不开GitHub,我也提供了下载了地址,打开迅雷的新建任务,粘贴进去即可。
点此即可
3.1 打开安装包进行安装
版本越高,容量越大,注意硬盘剩余空间
3.2安装好后,按下键盘的Win键+R,跳出运行界面
在界面中输入CMD,按回车键
3.3 看到这个界面,输入ollma,按回车键
▼ 出现以下界面
4.1 回到ollma官网
通过ollma官网搜索,或者在“Models”下找到DeepSeek-R1
4.2选择适合自己的版本
我是RTX5080+32GB,可以丝滑跑32b。
版本越高,对主机性能的要求就越高,文件体积也越大。
4.3 获得下载地址
在官网选择适合的版本后,点击右侧的复制
这里以32b为例
4.4 下载DeepSeek-R1
将复制的内容粘贴到CMD运行里,(或直接输入ollama run deepseek-r1:32b),按回车
随即开始下载32b,整个文件大小为19GB
▼ 安装成功会提示Success。
如果你的显存+内存不足,Success的下一排会告诉你还缺少多少显存/内存容量。
以上安装的DeepSeek-R1只支持本地思考。
如果你想知道本地部署的大模型是否支持联网搜索,你就问他本地明天的天气预报即可,不联网的话它是回答不出来的。
这时候就需要加入网络搜索功能。
这里我选择的是火狐浏览器+Page Assist插件。
5.1 安装火狐浏览器
5.2 打开插件商店
在火狐浏览器的右上角点击扩展,往下看到管理扩展
5.3 安装Page Assist插件
在插件搜索里找到Page Assist插件,他自带Web UI,界面更加清爽。
▼ Chrome浏览器上也有这款插件。
不过因为众所众知的原因,很多用户下载不了Chrome更打不开插件商店,需要一些特殊的科学技巧。
▼ 因此火狐是可替换的选择,而且火狐的口碑还不错。
▼ 进入Page Assist页面,点击添加到FireFox
▼ 回到右上角,并添加插件,并固定到工具栏(方便打开)
依旧是在火狐/Chrome浏览器
6.1 工具栏右上角点开Page Assist ,进入界面。
6.2 点击界面右上角齿轮,进入设置界面,并找到Language,下拉切换到简体中文。
插件界面切换到中文后设置语音识别为普通话
6.3 设置Page Assist
Page Assist可以作为多款大模型的Web UI并为它们提供网络搜索功能。
根据自己的喜好进行一般设置,也可以什么都不开。
6.4 设置网络搜索
管理网络搜索选项里,你可以选择AI搜索的来源。
有Google、百度、搜狗等,不同的信息来源会影响到生成结果。
往下还需要设置搜索结果数,如果你选择搜索网站它的广告非常多,那么你就要增加搜索结果数来减少广告的干扰(你一定懂)。
设置好后记得点保存。
▼ RAG设置里选择DeepSeek-R1:
至此设置完成。
▼Page Assist会检测你的本地框架(ollama)是否开启。
▼ 联网搜索开关在聊天输入框左下角。
在联网关闭状态下,询问明天的天气,它答不上来。
而本地库里(我还外地詹姆斯呢)的内容已经过时(只到2024年),所以对于多数个人AI而言,无法联网的AI是残缺的。
但直接调用官网的API,会有个人信息泄露的风险。
以各种APP为例,99%需要注册账号和实名。
就算不需要注册账号,也会有设备码,设备码又和一堆东西绑定,没准你的XP和政治光谱一览无余。
▼ 打开联网按钮后就可以正常分析天气。
至此,你可以按照你自己的想法来培养你自己的大模型/AI助手。
至于你是用来续写小说、还是用作赛博牛马,还是设计成个性化AI助手(类似于钢铁侠的贾维斯,有一定的情感表达),完全取决于你自己的意愿。
就实我的际体验来说,本地部署32b+ 联网搜索的效果已经很棒。
超简易教程,完结撒花。除去下载的过程,10分钟足够。
按惯例放上链接:
小编注:本文作者@破晓前最亮的光 是什么值得买生活家,他的个人自媒体信息为:
微信:RayTTK
扶持推广个人品牌是生活家新增福利,更多详细内容请了解生活家页面(https://zhiyou.smzdm.com/author/)。欢迎大家踊跃申请生活家,生活家中表现优异的用户还将有机会成为『首席生活家』,欢迎有着特别生活经验的值友们踊跃加入生活家大家庭!