百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

手机上也可以快速部署大模型,创建本地AI助理,实现无网络AI聊天

nanshan 2025-04-26 19:49 11 浏览 0 评论

前言:本文教你在电脑和手机上安装ollama,通过ollama部署搭建本地大模型,完成本地AI Agent助理的搭建。

一、前言介绍

7月16日- H2O.AI最近开源了两个可以在智能手机设备上运行的大模型(LLM):h2o-danube3-4b-base和h2o-danube3-4b-chat。这两个模型都是在开源的[H2O LLM Studio]上进行训练和微调,其中带base后缀的为基础模型,chat后缀是针对聊天场景进行微调的模型。H2O-Danube技术对Llama2开源模型结构的调整后把参数压缩到4b,使用Mistral tokenizer技术把词汇量压缩到32,000,模型到上下文长度为8,192。

7月18日- OpenAI宣布免费对所有人开放GPT-4o mini,作为 GPT-3.5 Turbo的平替,OpenAI号称是其最具性价比的小型模型。其 API 价格每百万输入 token 仅为 15 美分,比 GPT-3.5 Turbo 便宜 60% 以上。

7月18日 -OpenAI开发min的同一天,mistral.ai联合英伟达打造的小型模型Mistral NeMo开源。参数量为 120 亿(12B),上下文窗口为 128k,在Apache 2.0许可下发布。

仅仅几天,就开源了多个大语言模型。可以看出,大模型的竞争已经进入到白日化,而轻量化、隐私保护变得尤为重要,这样它们可以在移动设备上进行私有化部署。设想一个AI助手,它能够深入分析你的各种数据,并且完全在你的设备上运行,无需将数据传输到网络中,这无疑会极大提升用户对其的信任度。相比之下,那些仅存在于企业云端的AI,尽管功能更为强大,但在安全性和可靠性方面却可能存在隐患。

那么,如何在手机上部署本地化大模型呢?本文将手把手教完成整个过程的部署,让你无时无刻的体验AI带来的超炫体验。

二、电脑部署

部署之前我们不得不说说开源大模型管理工具Ollama,Ollama几乎支持所有的开源模型,包括最新出来的mathstral模型:

Ollama开源代码如下:

https://github.com/ollama/ollama

Ollama工具支持在Windows、MacOS和Linux、docker虚拟机等系统上运行,也支持Library(js/python)的方式使用,非常的强大、灵活。在windows上部署很简单。

(1)下载Ollama.exe安装

https://ollama.com/download/OllamaSetup.exe

(2)设置环境变量

C:\Users\xx\AppData\Local\Programs\Ollama

(3)下载大模型

下面的命令可以下载,llama3 8B和小模型mathstral

ollama list
ollama run llama3
ollama run mathstral

(4)部署AI助理:open-webui(这里推荐这个)

git clone https://github.com/open-webui/open-webui
cd open-webui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(5)运行网页

登录网址:http://localhost:3000/,然后选择本地模型,然后就可以对话聊天了。

三、手机部署

在Android手机上部署大模型,原理和电脑一样,不同的地方手机需要一个可以运行Linux命令的环境。所以手机部署大模型,我们用到两个app,一个可以运行Linux命令的APP为:Ternux,另一个可以运行大模型的前端应用APP:maid

手机配置情况:

项目

配置情况

手机型号

ROG phone5

Android版本

Android11

CPU

2.8GHz * 8核

Memory

12GB

存储空间

512GB

(1)下载安装开源APP:Ternux。下载地址为

https://github.com/termux/termux-app/releases

安装Ternux后的界面如下

(2)安装Linux环境:在Termux中使用proot-distro安装一个Linux系统。



// first install proot-distro
pkg install proot-distro
//using proot-distro install debian os system
proot-distro install debian
// login
proot-distro login debian

(3)安装Ollama:使用Termux安装Ollama,Linux命令如下:

curl -fsSL https://ollama.com/install.sh | sh #安装ollama
ollama -v #版本情况
nohup ollama serve &   #后台运行ollama服务,这样就可以通过ollama命令运行大模型
ollama run mathstral   #运行大模型,如果不存在,则下载此大模型


(4)安装客户端应用
:maid-android-arm64-v8a.apk

https://github.com/Mobile-Artificial-Intelligence/maid

(5)配置maid选择大模型:

Ollama+mathstral:latest(模型),之后在手机离线状态下,我们依然可以和本地AI Agent进行对话了。


四、总结

本文通过在PC侧和手机侧使用Ollama部署本地化大模型,同时还搭建本地AI助理应用,来介绍了AI大模型的使用的一些基本思路方法。

优势:

(1)本文介绍的工具,均为开源工具,我们可以很方便的修改或者定制化自己的产品。

(2)通过Ollama可以很方便在手机或者PC搭建一个CS架构的AI本地化大模型,一键安装,命令简单。

(3)Ollama相当于一个大模型管理和服务工具。通过Ollama部署之后,我们可以安装不同的UI来访问本地化的AI大模型。

不足之处:

(1)在手机侧无法很好利用GPU和DSP等硬件资源,导致模型运行速度比较卡顿,体验上还有很大优化空间。

(2)maid中文prompt输入,回答输出依然是英文,中文的支持还需要定制化修改,幸亏maid为开源的软件,用户可以自己定制化自己的语言。

(3)手机侧需要通过Termux模拟工具来安装Ollama,当前还没有能直接安装在手机上的Ollama应用。

参考文章:《ollama-open-source-llms-anywhere》https://www.exxactcorp.com/blog/deep-learning/ollama-open-source-llms-anywhere


敲码不易,欢迎转发和点赞!

相关推荐

轻量级分析利器再升级:解读 DuckDB 1.3.0 新特性

DuckDB团队近日正式发布了最新版本——DuckDB1.3.0,代号“Ossivalis”。此次版本以金眼鸭的远古祖先BucephalaOssivalis命名,象征项目在演化和成长过...

C++跨平台编译的终极奥义:用Docker把环境差异按在地上摩擦

"代码在本地跑得飞起,一上服务器就coredump?"——每个C++程序员都经历过的《编译器的复仇》事件!大家好,我是Henry,废话少说,今天来简单谈一下跨平台编译的那些事儿,...

全网最全-Version Script以及__asm__((".symver xxx"))使用总结

首先提醒一点,一切的前提建立在你的名字必须要mangling,不然无论你写的versionscript还是__asm__都不会起任何效果VersionScript简单用法:这是一个典型例子,这个例...

Ubuntu 25.04 Beta发布:Linux 6.14内核

IT之家3月28日消息,Canonical昨日(3月27日)放出了Beta版Ubuntu25.04系统镜像,代号“PluckyPuffin”,稳定版预估将于2025年...

不同平台CRT的区别?什么是UCRT?如何看libc源代码?

若文章对您有帮助,欢迎关注程序员小迷。助您在编程路上越走越好!CRT运行时库C标准规定例如输入输出函数、字符串函数、内存操作等接口,一般采用C运行时库实现。微软的CRT微软有两套CRT,早期的MS...

信创力量,中兴绽放——中兴新支点桌面操作系统安装与使用全攻略

原文链接:「链接」Hello,大家好啊,今天给大家带来一篇中兴新支点桌面操作系统安装使用的文章,欢迎大家分享点赞,点个在看和关注吧!中兴新支点桌面操作系统是一款基于Linux内核、面向政企和信创环...

Linux下安装常用软件都有哪些?做了一个汇总列表,你看还缺啥?

1.安装列表MySQL5.7.11Java1.8ApacheMaven3.6+tomcat8.5gitRedisNginxpythondocker2.安装mysql1.拷贝mysql安装文件到...

一篇文章解决Linux系统安全问题排查,另配实操环境

实操地址:https://www.skillup.host/1/linux/safe/command.md#Linux安全检查排查指南##1.系统账户安全检查###1.1检查异常账户``...

程序员必备的学习笔记《TCP/IP详解(一)》

为什么会有TCP/IP协议在世界上各地,各种各样的电脑运行着各自不同的操作系统为大家服务,这些电脑在表达同一种信息的时候所使用的方法是千差万别。就好像圣经中上帝打乱了各地人的口音,让他们无法合作一样...

《Linux常用命令》(linux的常用命令总结)

一、文件与目录操作1.目录导航pwd:显示当前工作目录路径示例:pwd关键词:当前路径、工作目录cd:切换目录示例:cd/home/user#切换到绝对路径cd..#...

Kubernetes 教程之跟着官方文档从零搭建 K8S

前言本文将带领读者一起,参照者Kubernetes官方文档,对其安装部署进行讲解.Kubernetes更新迭代很快,书上、网上等教程可能并不能适用于新版本,但官方文档能.阅读这篇文章你...

电脑网卡坏了怎么修复(电脑网卡坏了怎么修复win7系统)

当电脑网卡出现故障时,无论是有线网络还是无线网络,都可能无法正常连接。下面从软件、硬件等方面,分步骤为你介绍排查与修复的解决方案。一、初步排查:锁定问题源头检查网络环境将手机、平板等其他设备连接至同一...

如何查询电脑/手机的物理地址(如何找手机的物理地址)

一、要查询电脑的物理地址(也称为MAC地址),可以按照以下步骤进行操作:1.打开命令提示符(Windows)或终端(Mac):-在Windows上,点击“开始”按钮,搜索“命令提示符”,然后点击打...

IPv4 无网络访问权限全流程解决方案

当设备出现IPv4无网络访问权限问题时,多由网络配置错误、连接故障或服务异常导致。以下提供系统化的排查步骤与解决方案,帮助用户快速定位并修复问题。一、基础故障快速检查1.物理连接确认有线网络:检...

Python教程(十九):文件操作(python操作文件夹)

昨天,我们学习了列表推导式,掌握了Python中最优雅的数据处理方式。今天,我们将学习文件操作—Python中读写文件的基础技能。文件操作是编程中的核心技能,无论是读取配置文件、保存用户数据,还是...

取消回复欢迎 发表评论: