想在地铁里、飞机上跟大模型聊天,又不想把每句话都送到别人的服务器?在安卓手机上本地跑一个语言模型,不需要root,不需要旗舰机,也不需要云账号,只要足够的存储空间和一点耐心。

所谓本地AI伙伴,就是一个把语言模型跑在手机本身的App,而不是去调用远程接口。模型是那个负责写回复的神经网络,因为它住在你的设备里,对话就留在设备里,飞行模式下照样能用。

这类App大多支持Gemma、Llama、Phi、Mistral等模型家族。具体名字会变,流程不变:装App、下模型文件、开始聊。

下载之前先看手机

第一次跳过这步,可能白白浪费一个晚上。几个数字值得留意:

  • 安卓版本:8.0或更新,覆盖大多数工具。
  • 内存:4 GB是底线,6-8 GB明显更顺。
  • 存储:模型文件从约1 GB到10 GB以上都有,先腾出空间。
  • 电池:本地推理比普通聊天App更吃电,掉电会更快。
  • App来源:从Google Play或项目官方页面安装,来路不明的APK不值得冒险。

一个实际例子:如果设置里已经在提醒存储不足,那2 GB的模型装不进只剩1.5 GB空间的手机。清视频、删闲置App要在点下载之前做,不是等它失败之后。

路线一:现成的聊天App

这类App给你一个聊天窗口、一个“下载模型”按钮和一小页设置。对大多数人来说这是合适的起点——上手快、界面够用,代价是对技术细节的控制更少。有的免费,有的收一次性费用。

实际操作就是装好App,打开设置,点模型下载,挑一个小版本。进度条通常立刻开始走,下完聊天就能用。

路线二:Termux加llama.cpp

Termux是一个终端模拟器,不用root就能在安卓上给你一个类Linux环境;llama.cpp让语言模型跑在普通CPU上。两者合起来是爱折腾的人的路子,前提是你得习惯敲命令。

一个最小会话长这样:

  • pkg install llama-cpp
  • llama-cli -m /sdcard/Download/model.gguf -p "Hello, how are you?"

-p参数设定开场提示词,终端会在几秒后打印模型的回答。它能跑起来,是因为llama.cpp针对低资源硬件做了编译,而Termux补上了缺失的环境。好处是完全掌控,坏处是模型选择、参数、文件路径全得自己扛。

路线三:云端为主,本地兜底

混合型App在有网络时表现得像普通云端聊天,断网时切到设备上的模型。这适合那些想在有Wi-Fi时快速拿答案、在路上聊私密话题的人。

设置通常只是一个开关,类似“优先离线模式”或“本地模型”。要清楚一点:一旦云端模式生效,你的消息就可能到达服务商的服务器。

怎么挑

可以比较四件事:模型支持,能不能自己选模型大小和格式,GGUF是本地模型的常见格式;真离线,首次下载后飞行模式下还能不能聊;记忆,App会不会把之前的消息留在上下文里,描述里找“上下文长度”或“记忆”;界面,从免费档开始,毕竟你要长期待在那个聊天窗口里。

如果开发者说“支持GGUF”,你就能加载这个格式的模型。如果App只接受一个固定模型,先问问自己那个模型配不配你的手机,再决定要不要投入。

十分钟首次测试

  1. 从Google Play装App,应该会落到一个提供模型下载的欢迎页。
  2. 在设置里打开模型下载区,应该能看到一串模型大小。
  3. 挑最小的那个,通常不到1 GB。下载开始,完成后聊天解锁。
  4. 打开飞行模式,发一句简短问候。模型应该在没有移动网络的情况下作答。

从小模型起步能把崩溃风险压低。小模型能回话之后,再换大一号的对比质量,连贯性和速度的差别一上手就能感觉到。

踩过的坑和修法

App加载模型后立刻崩溃,屏幕卡住或第一条消息就闪退:换更小的版本,很多模型页面会提供同一家族的1 GB、3 GB、5 GB版本。

下载卡在90%左右,弹出“下载模型出错”:删旧视频或闲置App再重来。模型需要一次性腾出完整大小的空间,不是分片凑。

提示“不支持的模型文件”,文件在但App拒绝打开:找GGUF模型,选Q4_K_M这类常见量化,这个组合和大多数安卓工具兼容。

几个快问快答

能完全离线吗?可以,网络只在下载App和模型文件时需要,之后飞行模式没问题。

只有4 GB内存?也能做,但要守住小模型,接受更慢的回复,聊天时关掉其他App。

占多少空间?小模型不到1 GB,中等模型2-5 GB,大模型超过10 GB,点下载前先看模型页面。

私密吗?完全离线的App里消息留在设备上;如果开了云端兜底,消息可能去到服务商服务器。

安卓上的本地AI伙伴已经不算稀奇,无非是一次下载加一次设置点击。让模型大小对上你的内存和剩余空间,先用最小的模型在飞行模式下试通,再往上走。现成App几分钟就能带你到位,想要控制权就上Termux和llama.cpp。