手机上也可以快速部署大模型,创建本地AI助理,实现无网络AI聊天
nanshan 2025-04-26 19:49 11 浏览 0 评论
前言:本文教你在电脑和手机上安装ollama,通过ollama部署搭建本地大模型,完成本地AI Agent助理的搭建。
一、前言介绍
7月16日- H2O.AI最近开源了两个可以在智能手机设备上运行的大模型(LLM):h2o-danube3-4b-base和h2o-danube3-4b-chat。这两个模型都是在开源的[H2O LLM Studio]上进行训练和微调,其中带base后缀的为基础模型,chat后缀是针对聊天场景进行微调的模型。H2O-Danube技术对Llama2开源模型结构的调整后把参数压缩到4b,使用Mistral tokenizer技术把词汇量压缩到32,000,模型到上下文长度为8,192。
7月18日- OpenAI宣布免费对所有人开放GPT-4o mini,作为 GPT-3.5 Turbo的平替,OpenAI号称是其最具性价比的小型模型。其 API 价格每百万输入 token 仅为 15 美分,比 GPT-3.5 Turbo 便宜 60% 以上。
7月18日 -OpenAI开发min的同一天,mistral.ai联合英伟达打造的小型模型Mistral NeMo开源。参数量为 120 亿(12B),上下文窗口为 128k,在Apache 2.0许可下发布。
仅仅几天,就开源了多个大语言模型。可以看出,大模型的竞争已经进入到白日化,而轻量化、隐私保护变得尤为重要,这样它们可以在移动设备上进行私有化部署。设想一个AI助手,它能够深入分析你的各种数据,并且完全在你的设备上运行,无需将数据传输到网络中,这无疑会极大提升用户对其的信任度。相比之下,那些仅存在于企业云端的AI,尽管功能更为强大,但在安全性和可靠性方面却可能存在隐患。
那么,如何在手机上部署本地化大模型呢?本文将手把手教完成整个过程的部署,让你无时无刻的体验AI带来的超炫体验。
二、电脑部署
部署之前我们不得不说说开源大模型管理工具Ollama,Ollama几乎支持所有的开源模型,包括最新出来的mathstral模型:
Ollama开源代码如下:
https://github.com/ollama/ollama
Ollama工具支持在Windows、MacOS和Linux、docker虚拟机等系统上运行,也支持Library(js/python)的方式使用,非常的强大、灵活。在windows上部署很简单。
(1)下载Ollama.exe安装
https://ollama.com/download/OllamaSetup.exe
(2)设置环境变量
C:\Users\xx\AppData\Local\Programs\Ollama
(3)下载大模型
下面的命令可以下载,llama3 8B和小模型mathstral
ollama list
ollama run llama3
ollama run mathstral
(4)部署AI助理:open-webui(这里推荐这个)
git clone https://github.com/open-webui/open-webui
cd open-webui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
(5)运行网页:
登录网址:http://localhost:3000/,然后选择本地模型,然后就可以对话聊天了。
三、手机部署
在Android手机上部署大模型,原理和电脑一样,不同的地方手机需要一个可以运行Linux命令的环境。所以手机部署大模型,我们用到两个app,一个可以运行Linux命令的APP为:Ternux,另一个可以运行大模型的前端应用APP:maid
手机配置情况:
项目 | 配置情况 |
手机型号 | ROG phone5 |
Android版本 | Android11 |
CPU | 2.8GHz * 8核 |
Memory | 12GB |
存储空间 | 512GB |
(1)下载安装开源APP:Ternux。下载地址为
https://github.com/termux/termux-app/releases
安装Ternux后的界面如下
(2)安装Linux环境:在Termux中使用proot-distro安装一个Linux系统。
// first install proot-distro
pkg install proot-distro
//using proot-distro install debian os system
proot-distro install debian
// login
proot-distro login debian
(3)安装Ollama:使用Termux安装Ollama,Linux命令如下:
curl -fsSL https://ollama.com/install.sh | sh #安装ollama
ollama -v #版本情况
nohup ollama serve & #后台运行ollama服务,这样就可以通过ollama命令运行大模型
ollama run mathstral #运行大模型,如果不存在,则下载此大模型
(4)安装客户端应用
:maid-android-arm64-v8a.apk
https://github.com/Mobile-Artificial-Intelligence/maid
(5)配置maid选择大模型:
Ollama+mathstral:latest(模型),之后在手机离线状态下,我们依然可以和本地AI Agent进行对话了。
四、总结
本文通过在PC侧和手机侧使用Ollama部署本地化大模型,同时还搭建本地AI助理应用,来介绍了AI大模型的使用的一些基本思路方法。
优势:
(1)本文介绍的工具,均为开源工具,我们可以很方便的修改或者定制化自己的产品。
(2)通过Ollama可以很方便在手机或者PC搭建一个CS架构的AI本地化大模型,一键安装,命令简单。
(3)Ollama相当于一个大模型管理和服务工具。通过Ollama部署之后,我们可以安装不同的UI来访问本地化的AI大模型。
不足之处:
(1)在手机侧无法很好利用GPU和DSP等硬件资源,导致模型运行速度比较卡顿,体验上还有很大优化空间。
(2)maid中文prompt输入,回答输出依然是英文,中文的支持还需要定制化修改,幸亏maid为开源的软件,用户可以自己定制化自己的语言。
(3)手机侧需要通过Termux模拟工具来安装Ollama,当前还没有能直接安装在手机上的Ollama应用。
参考文章:《ollama-open-source-llms-anywhere》https://www.exxactcorp.com/blog/deep-learning/ollama-open-source-llms-anywhere
敲码不易,欢迎转发和点赞!
- 上一篇:zsh安装以及安装配置oh-my-zsh
- 下一篇:Linux基础指令入门指南
相关推荐
- 轻量级分析利器再升级:解读 DuckDB 1.3.0 新特性
-
DuckDB团队近日正式发布了最新版本——DuckDB1.3.0,代号“Ossivalis”。此次版本以金眼鸭的远古祖先BucephalaOssivalis命名,象征项目在演化和成长过...
- C++跨平台编译的终极奥义:用Docker把环境差异按在地上摩擦
-
"代码在本地跑得飞起,一上服务器就coredump?"——每个C++程序员都经历过的《编译器的复仇》事件!大家好,我是Henry,废话少说,今天来简单谈一下跨平台编译的那些事儿,...
- 全网最全-Version Script以及__asm__((".symver xxx"))使用总结
-
首先提醒一点,一切的前提建立在你的名字必须要mangling,不然无论你写的versionscript还是__asm__都不会起任何效果VersionScript简单用法:这是一个典型例子,这个例...
- Ubuntu 25.04 Beta发布:Linux 6.14内核
-
IT之家3月28日消息,Canonical昨日(3月27日)放出了Beta版Ubuntu25.04系统镜像,代号“PluckyPuffin”,稳定版预估将于2025年...
- 不同平台CRT的区别?什么是UCRT?如何看libc源代码?
-
若文章对您有帮助,欢迎关注程序员小迷。助您在编程路上越走越好!CRT运行时库C标准规定例如输入输出函数、字符串函数、内存操作等接口,一般采用C运行时库实现。微软的CRT微软有两套CRT,早期的MS...
- 信创力量,中兴绽放——中兴新支点桌面操作系统安装与使用全攻略
-
原文链接:「链接」Hello,大家好啊,今天给大家带来一篇中兴新支点桌面操作系统安装使用的文章,欢迎大家分享点赞,点个在看和关注吧!中兴新支点桌面操作系统是一款基于Linux内核、面向政企和信创环...
- Linux下安装常用软件都有哪些?做了一个汇总列表,你看还缺啥?
-
1.安装列表MySQL5.7.11Java1.8ApacheMaven3.6+tomcat8.5gitRedisNginxpythondocker2.安装mysql1.拷贝mysql安装文件到...
- 一篇文章解决Linux系统安全问题排查,另配实操环境
-
实操地址:https://www.skillup.host/1/linux/safe/command.md#Linux安全检查排查指南##1.系统账户安全检查###1.1检查异常账户``...
- 程序员必备的学习笔记《TCP/IP详解(一)》
-
为什么会有TCP/IP协议在世界上各地,各种各样的电脑运行着各自不同的操作系统为大家服务,这些电脑在表达同一种信息的时候所使用的方法是千差万别。就好像圣经中上帝打乱了各地人的口音,让他们无法合作一样...
- 《Linux常用命令》(linux的常用命令总结)
-
一、文件与目录操作1.目录导航pwd:显示当前工作目录路径示例:pwd关键词:当前路径、工作目录cd:切换目录示例:cd/home/user#切换到绝对路径cd..#...
- Kubernetes 教程之跟着官方文档从零搭建 K8S
-
前言本文将带领读者一起,参照者Kubernetes官方文档,对其安装部署进行讲解.Kubernetes更新迭代很快,书上、网上等教程可能并不能适用于新版本,但官方文档能.阅读这篇文章你...
- 电脑网卡坏了怎么修复(电脑网卡坏了怎么修复win7系统)
-
当电脑网卡出现故障时,无论是有线网络还是无线网络,都可能无法正常连接。下面从软件、硬件等方面,分步骤为你介绍排查与修复的解决方案。一、初步排查:锁定问题源头检查网络环境将手机、平板等其他设备连接至同一...
- 如何查询电脑/手机的物理地址(如何找手机的物理地址)
-
一、要查询电脑的物理地址(也称为MAC地址),可以按照以下步骤进行操作:1.打开命令提示符(Windows)或终端(Mac):-在Windows上,点击“开始”按钮,搜索“命令提示符”,然后点击打...
- IPv4 无网络访问权限全流程解决方案
-
当设备出现IPv4无网络访问权限问题时,多由网络配置错误、连接故障或服务异常导致。以下提供系统化的排查步骤与解决方案,帮助用户快速定位并修复问题。一、基础故障快速检查1.物理连接确认有线网络:检...
- Python教程(十九):文件操作(python操作文件夹)
-
昨天,我们学习了列表推导式,掌握了Python中最优雅的数据处理方式。今天,我们将学习文件操作—Python中读写文件的基础技能。文件操作是编程中的核心技能,无论是读取配置文件、保存用户数据,还是...
你 发表评论:
欢迎- 一周热门
-
-
UOS服务器操作系统防火墙设置(uos20关闭防火墙)
-
极空间如何无损移机,新Z4 Pro又有哪些升级?极空间Z4 Pro深度体验
-
手机如何设置与显示准确时间的详细指南
-
NAS:DS video/DS file/DS photo等群晖移动端APP远程访问的教程
-
如何在安装前及安装后修改黑群晖的Mac地址和Sn系列号
-
如何修复用户配置文件服务在 WINDOWS 上登录失败的问题
-
一加手机与电脑互传文件的便捷方法FileDash
-
日本海上自卫队的军衔制度(日本海上自卫队的军衔制度是什么)
-
10个免费文件中转服务站,分享文件简单方便,你知道几个?
-
爱折腾的特斯拉车主必看!手把手教你TESLAMATE的备份和恢复
-
- 最近发表
-
- 轻量级分析利器再升级:解读 DuckDB 1.3.0 新特性
- C++跨平台编译的终极奥义:用Docker把环境差异按在地上摩擦
- 全网最全-Version Script以及__asm__((".symver xxx"))使用总结
- Ubuntu 25.04 Beta发布:Linux 6.14内核
- 不同平台CRT的区别?什么是UCRT?如何看libc源代码?
- 信创力量,中兴绽放——中兴新支点桌面操作系统安装与使用全攻略
- Linux下安装常用软件都有哪些?做了一个汇总列表,你看还缺啥?
- 一篇文章解决Linux系统安全问题排查,另配实操环境
- 程序员必备的学习笔记《TCP/IP详解(一)》
- 《Linux常用命令》(linux的常用命令总结)
- 标签列表
-
- linux 查询端口号 (58)
- docker映射容器目录到宿主机 (66)
- 杀端口 (60)
- yum更换阿里源 (62)
- internet explorer 增强的安全配置已启用 (65)
- linux自动挂载 (56)
- 禁用selinux (55)
- sysv-rc-conf (69)
- ubuntu防火墙状态查看 (64)
- windows server 2022激活密钥 (56)
- 无法与服务器建立安全连接是什么意思 (74)
- 443/80端口被占用怎么解决 (56)
- ping无法访问目标主机怎么解决 (58)
- fdatasync (59)
- 405 not allowed (56)
- 免备案虚拟主机zxhost (55)
- linux根据pid查看进程 (60)
- dhcp工具 (62)
- mysql 1045 (57)
- 宝塔远程工具 (56)
- ssh服务器拒绝了密码 请再试一次 (56)
- ubuntu卸载docker (56)
- linux查看nginx状态 (63)
- tomcat 乱码 (76)
- 2008r2激活序列号 (65)