百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

超详细!用Ollama在本地部署DeepSeek教程

nanshan 2025-05-08 20:16 21 浏览 0 评论

前期准备

一、确认系统和硬件:

1、操作系统:Windows用户需Windows 10及以上系统;macOS用户要求系统为macOS 11.0及以上;Linux用户建议使用Ubuntu 20.04及以上版本。

2、CPU:多核心处理器,像英特尔酷睿i5或AMD锐龙5及以上系列为佳,核心数越多,模型运行时多任务处理能力越强。

3、内存:至少16GB,推荐32GB及以上。运行模型时,充足的内存能保障数据快速读取与处理,避免因内存不足导致运行缓慢甚至报错。

4、硬盘:准备至少50GB可用空间,用于存放Ollama程序、DeepSeek模型文件及相关缓存。

5、GPU:若有NVIDIA显卡,如RTX 2080 Ti及以上,可显著加速模型运行。不同规模的DeepSeek模型对GPU显存要求不同,如运行1.5B规模模型,1GB显存即可;7B、8B规模模型建议8GB显存;14B规模模型需12GB或16GB显存;32B规模模型需24GB显存;70B规模模型则需40GB以上显存 。

二、安装Docker

1、Windows和macOS:Ollama依赖Docker运行,先从Docker官网下载对应系统的Docker Desktop安装包,下载完成后,双击安装包,按提示一步步完成安装。安装完成后,启动Docker Desktop,确保其在后台正常运行。

2、Linux:不同Linux发行版安装Docker方式略有不同。以Ubuntu为例,在终端输入以下命令安装:

安装完成后,输入 sudo systemctl start docker 启动Docker服务,再输入 sudo systemctl enable docker 设置开机自启。

三、下载并安装Ollama

1、下载Ollama:打开浏览器,访问Ollama官网,在首页找到“Download”按钮,根据自己的操作系统,选择对应的安装包下载。比如Windows系统,点击“Download for Windows”下载 .exe 文件;macOS系统,点击“Download for macOS”下载.dmg文件;Linux系统,点击“Download for Linux”下载.deb(Debian、Ubuntu等)或 .rpm (CentOS、Fedora等)文件。

2、安装Ollama

Windows:下载完成后,找到下载的 .exe 文件,双击运行,在安装向导界面,一直点击“Next”,按默认设置完成安装。

macOS:打开下载的 .dmg 文件,将Ollama图标拖到“Applications”文件夹,完成安装。

Linux

Debian、Ubuntu:在终端中,切换到下载文件所在目录,输入 sudo dpkg -i ollama_xxx.deb (xxx为下载的实际文件名)进行安装,安装过程中若提示缺少依赖,按提示安装相应依赖包。

CentOS、Fedora:在终端中,切换到下载文件所在目录,输入 sudo rpm -ivh ollama_xxx.rpm (xxx为下载的实际文件名)进行安装,同样,若提示缺少依赖,按提示安装。

3、验证Ollama安装

1、打开命令行工具:

Windows:按下“Win+R”组合键,在弹出的运行框中输入“cmd”,回车打开命令提示符;或者在开始菜单中搜索“PowerShell”,打开PowerShell。

macOS:打开“应用程序” - “实用工具” - “终端”。

Linux:直接打开终端。

2、验证安装:

在命令行中输入 ollama version ,若安装成功,会显示Ollama的版本号,如“ollama version 0.5.7” 。

四、下载DeepSeek模型

1、了解模型版本:DeepSeek有不同参数规模的模型版本,如 deepseek-r1:1.5b 、 deepseek-r1:7b 、 deepseek-r1:14b 等 ,“b”代表十亿参数,参数越多,模型能力通常越强,但对硬件要求也越高。

2、选择合适模型:根据自己电脑的硬件配置选择模型。如果电脑配置一般,显卡和硬盘都较普通,可选择 deepseek-r1:1.5b ,它消耗显存仅1GB;有8GB显存的显卡,可考虑 deepseek-r1:7b deepseek-r1:8b ;12GB或16GB显存,deepseek-r1:14b ;24GB显存,deepseek-r1:32b ;40GB以上显存,deepseek-r1:70b 。

3、下载模型:在命令行中输入下载命令,格式为 ollama run deepseek-r1:xxx (xxx为所选模型版本,如1.5b、7b等)。例如,要下载 deepseek-r1:7b 模型,输入 ollama run deepseek-r1:7b ,回车后,Ollama会自动从远程仓库下载模型,下载过程中会显示下载进度,耐心等待下载完成。

五、与DeepSeek模型交互

1、直接命令行交互:模型下载完成后,在命令行中,直接输入问题或任务,如“介绍一下春节的传统习俗”,然后回车,DeepSeek模型会处理输入并在命令行中返回回答。结束交互时,输入 /bye ,回车即可退出。

2、使用可视化界面(可选):如果觉得命令行交互不够直观,可使用可视化界面,如Chatbox。

六、配置环境变量:

1、Windows:按下“Win+X”组合键,选择“系统”,在弹出的窗口中点击“高级系统设置”,在新窗口中点击“环境变量”。在“用户变量”区域,点击“新建”,变量名输入“OLLAMA_HOST”,变量值输入“0.0.0.0”,点击“确定”;再点击“新建”,变量名输入“OLLAMA_ORIGINS”,变量值输入“*” ,点击“确定”。

2、macOS和Linux:在终端中输入 export OLLAMA_HOST=0.0.0.0export OLLAMA_ORIGINS=* 两条命令设置环境变量。

3、重启Ollama:关闭正在运行的Ollama进程(若有),重新启动Ollama。

4、设置Chatbox:打开浏览器,访问Chatbox官网 ,进入页面后,先将语言切换为简体中文。点击页面右上角的设置图标,在设置页面中,选择“Ollama”作为模型提供商,在“Ollama API URL”处输入“
http://0.0.0.0:11434/api/generate
”,点击“保存”。设置完成后,就可以在Chatbox界面与DeepSeek模型进行对话了 。

七、常见问题及解决方法

1、安装Ollama失败:

问题表现:安装过程中报错,如提示缺少依赖、安装程序无法启动等。

解决方法:检查系统是否满足Ollama的安装要求,如Windows系统是否为支持版本;对于缺少依赖的问题,按提示安装相应依赖包;若安装程序无法启动,尝试以管理员身份运行安装程序。

2、下载模型失败:

问题表现:下载过程中报错,如网络连接错误、下载中断等。

解决方法:检查网络连接是否正常,可尝试重启路由器、更换网络;若网络正常,可能是Ollama仓库服务器问题,稍后再试;也可在命令行中使用代理命令下载,如ollama run --proxy=http://your_proxy_ip:port deepseek-r1:xxx (将 your_proxy_ip:port 替换为实际代理IP和端口)。

3、模型运行缓慢:

- 问题表现:输入问题后,模型响应时间长,处理速度慢。

- 解决方法:确认是否使用了GPU加速,在命令行输入 nvidia - smi 查看GPU状态,若未正确使用GPU,检查显卡驱动是否为最新版本,以及Ollama是否正确配置使用GPU(一般Ollama会自动检测并使用GPU,若未自动使用,查阅Ollama官方文档进行配置);关闭其他占用大量系统资源的程序,释放系统资源。

相关推荐

基于 Linux 快速搭建企业级 DNS 服务器(Bind9 ...

一、引言在大型企业网络或自建系统中,搭建一套高可用、自控的DNS解析服务器至关重要。本文将带你基于Linux环境,从零搭建企业级DNS服务平台,采用Bind9实战配置,确保解析稳定、安...

Linux无法解析域名的解决办法(linux无法解析域名的解决办法有哪些)

如果由于误操作,删除了系统原有的dhcp相关设置就无法正常解析域名。  此时,需要手动修改配置文件:  /etc/resolv.conf  将域名解析服务器手动添加到配置文件中  该文件是DNS域名解...

在centos7 创建基于域名的虚拟主机nginx服务器

直接用ip地址访问首先是不安全,其次不太容易记住,如果你的服务器上的项目有很多个,你创建多个基于Ip的虚拟主机,很容易导致公网ip冲突或乱用的情况。这时候我们就可以选择基于域名的虚拟主机。第一步、安装...

Linux之DNS服务(linux dnsserver)

一、学习路线如下二、DNS介绍1.域名的概念域名由特定的格式组成,用来表示互联网中某一台计算机或者计算机组的名称,能够使人更方便的访问互联网,而不用记住能够被机器直接读取的IP地址。2.DNS(dom...

Linux环境下DNS服务器配置图文详细教程

测试环境为vmware虚拟机下,linux系统为RedHatEnterpriseLinuxServer6.0(Santiago),内核版本Linux2.6.32-71.el6.i686...

构建基于 Linux 的高性能 DNS 服务器

在现代网络架构中,DNS(域名解析)是访问互联网的关键环节。搭建一个高性能、低延迟、可缓存加速的私有DNS服务器,不仅可以提升访问速度,还能增强网络隐私和安全性。本文将基于Linux系统,详细...

从运维的角度带你初识neo4j图形数据库的安装及配置

前言随着公司业务架构的改变,以前我部署环境的时候,一般只是部署Mysql,jdk,tomcat即可,现在还要部署一些nosql,如redis,neo4j,在之前从来没了解过,随着学习的深入而做了一些笔...

[超全整理] Java 程序员必备的 100 条 Linux 命令大全

一、基础操作(10条)#1.ls-查看目录内容ls-l#长格式显示文件和目录ls-a#显示隐藏文件ls-lh#带单位显示文件大小#2.cd-切换目录...

软件测试|一文教你轻松搭建docker环境

前言Docker提供轻量的虚拟化,你能够从Docker获得一个额外抽象层,你能够在单台机器上运行多个Docker微容器,而每个微容器里都有一个微服务或独立应用,例如你可以将Tomcat运行在一个Do...

docker基础知识/尚硅谷docker学习笔记

最近看了好多docker的资料,找了一些尚硅谷docker的教学视频,大概总结了一下前前后后的学习笔记。分享给大家。安装Docker的基本组成镜像Docker镜像(Image)就是一个只读的模板。镜...

前端_react项目从windows部署到centos

前言:从工程角度来讲,本地开发完就要把项目部署到生产环境,此过程的快慢也直接影响着整体的效率。所以也有很多人做持续集成的工作,例如:CI/CD/一键部署。但对于个人开发者而言,如果能有工具支撑是最好的...

Springboot项目使用docker部署(docker中运行springboot项目)

环境:SpringBoot2.2.10.RELEASE+Docker+Centos7+JDK8安装配置Dockeryum包更新到最新yumupdate卸载旧版本dockeryumre...

Spring Boot 3.x + Redis 7.x,轻松掌握Redisson分布式锁实战技巧

大家好,我是袁庭新。在分布式环境中,确保数据的一致性和正确性是至关重要的。对于需要高性能、高并发和分布式数据存储的应用程序来说,Redisson是一个很好的选择。同时,Redisson提供的分布式锁功...

Docker篇(二):Docker实战,命令解析

大家好,我是杰哥上周我们通过几个问题,让大家对于Docker有了一个全局的认识。然而,说跟练往往是两个概念。从学习的角度来说,理论知识的学习,往往只是第一步,只有经过实战,才能真正掌握一门技术所以,本...

新手快速入门Docker,轻松掌握Docker安装与使用

安装使用官方安装脚本自动安装curl-fsSLhttps://get.docker.com|bash-sdocker--mirrorAliyun手动安装CentOS7(使用yum进...

取消回复欢迎 发表评论: