作者：伯衡君
手机就是你的私人AI大脑，关掉网络也能用！
概述
你是否想过在没有网络的情况下使用AI？在飞机上、在偏远地区、或者注重隐私不想让数据上传云端时，你仍然可以使用强大的AI模型。
最近，苹果之类的厂家都开始装侧端大模型到手机，咱们用本篇介绍的应用来提前部署一下，体验一番。
如何在Android和iPhone手机上运行完全离线的AI应用，无需互联网、无需云端，所有处理都在本地完成。
这是一个完全开源的解决方案，任何人都可以探索、修改和在此基础上开发。
说起本地AI，很多人第一反应是：这得等专业服务器吧？
以前确实如此。大模型动辄几十GB，跑起来需要强大的显卡。但随着 GGUF 格式的普及和 llama.cpp 的优化，现在的手机已经能流畅运行参数较小的模型了。
从去年开始，开源社区涌现了一大批「手机端本地AI」的应用，但它们普遍存在几个问题：
- 要么功能残缺，只能聊聊天
- 要么依赖云端，还是得联网
- 要么限制多多，各种审查过滤
而今天要介绍的 Uncensored Local AI，直接把所有问题都解决了。
什么是离线AI？
想象一下，你的手机就是一个独立的AI大脑。不需要连接Wi-Fi，不需要移动数据，所有对话都留在设备本地。
根据实际演示，在开启飞行模式后，仍然可以向AI提问并获得回答。更重要的是，这个AI是"无审查"的，会直接回答问题，而不像一些商业AI那样给出各种警告和限制性回答。
这种完全离线的AI有几个关键优势：
- 第一是隐私保护，你的所有对话和数据都留在手机上，不会发送给任何公司。
- 第二是无需网络，在飞机上、地下室等没有网络的地方也能使用。
- 第三是响应快速，本地运行减少了网络延迟。
实现这一切的工具是一个开源应用，作者将其开发成了简单的APK文件。
这个应用最初来源于之前一个在Linux、Windows和Mac上运行USB AI的项目那个项目获得了大量关注，具体可以参看伯衡君之前编写的这篇文章《断网也能用！轻松把无审查AI塞进U盘，插上电脑秒变顶级工作站》。很多人询问Android和iOS版本，于是开发者制作了这个简单的应用。
该应用完全开源，你可以查看源代码、修改它，或者在此基础上进行开发。
Android安装步骤
在Android上安装非常简单：
第一步，下载APK文件。打开GitHub链接，下载ARM 64-8A构建版本，这个版本适用于大多数现代Android手机。
第二步，安装APK。像普通应用一样安装下载的文件。
第三步，首次打开。进入应用后，你会看到主聊天界面，但还无法聊天，因为还没有下载模型。
第四步，下载模型。点击底部"Models"选项卡，推荐从Gemma 2 2B开始，这是最小的版本（约1.6GB），即使只有4GB RAM的手机也能流畅运行。
第五步，导入模型。点击"import"，选择"import GGUF file"，然后选择你下载的模型文件。等待几秒钟，模型会复制到应用文件夹。
加载模型与测试
模型下载完成后，你需要将其加载到RAM中才能使用。
点击"load"按钮，模型会被推入RAM。这就是为什么更多RAM意味着更流畅的性能和更快的响应速度。
加载完成后，就可以开始聊天了。首次消息可能需要10-20秒，后续响应会更快，基本上 30 t/s。
我分别在两台 Android 手机上测试了这款应用。
一台是三年前的中端机（骁龙 778G），安装了推荐的 Gemma 2 2B 模型。加载大约需要 30 秒，生成速度在 8-10 tokens/秒。对于日常问答、写作辅助来说，完全够用。
另一台是去年的旗舰机（骁龙 8 Gen 2），安装了更大的 Heretic 模型。加载时间稍长，但生成速度能到 20 tokens/秒以上，体验已经很接近云端 AI 了。
最让我惊喜的是它的「本地 API」功能。开启后，手机会变成一个本地服务器，地址是 http://127.0.0.1:4891/v1。这意味着你可以用任何支持 OpenAI API 的工具连接它，比如 Cursor、Windsurf 这些 AI 编程助手。
也就是说，你的手机现在就是一台私人 AI 服务器。
更多功能
这个应用还有许多强大功能：
聊天历史：从侧边栏可以访问聊天历史，删除旧对话或开始新聊天。
模型下载：在模型部分可以下载各种模型，确保选择与手机配置匹配的模型。
设置调整：可以调整温度参数来控制回答风格，或者修改系统提示词。
本地API服务器：开发者可以连接其他应用到该模型，使用OpenAI风格的端点。
URL导入模型：如果列表中没有你想要的模型，可以从Hugging Face获取GGUF链接，粘贴到这里并添加名称，就能像其他模型一样使用。
实际测试了最新的Gemma 4，运行效果出乎意料地好。当然，参数越多，响应越慢。
iOS版本
iOS安装与Android不同，因为不能像Android那样直接安装APK。
如果是Flutter开发者，应该知道如何运行它。如果不是，只需要按照GitHub上的指南操作。提供了简单的分步说明，适用于iPhone和iPad。
总结一下这个应用的核心优势：
- 完全离线，无需互联网
- 无审查制度，回答更直接
- 完全开源，可自定义
- 支持多种模型
- 隐私保护，所有数据留在本地设备
现在，你的口袋里有一个完全离线的AI系统——没有互联网、没有云端、没有内容过滤器，一切都完全私密地留在你的设备上。
关于“无审查”
有必要专门说说这个特性。
项目名字里带了「Uncensored」，确实名副其实。它运行的是经过「abliterated」的模型——也就是移除了内置审查机制的开源模型。
这意味着：
- 问一些常规问题，它会正常回答
- 问一些「敏感」问题，它不会拒绝
- 问一些争议性话题，它会给出自己的观点
这既是优点也是争议点。伯衡君认为，技术本身是中性的，关键在于怎么用。本地运行意味着完全的知情权和控制权——你知道自己问了什么、AI 回答了什么，所有数据都在本地。
项目地址
Uncensored Local AI Multiplatform：github.com/techjarves/Uncensored-Local-AI-Multiplatform
篇后寄语
离线AI代表了AI发展的一个新方向——把强大的AI能力带到本地设备上，保护用户隐私的同时提供无审查的回答。
随着手机硬件越来越强大，我们有理由相信，未来每个人都能在口袋里拥有一个真正私人的AI助手。这不仅是技术的进步，更是对数字隐私的重新定义。
如果觉得这篇文章有用，请点赞并关注。未来还会有更多类似的工具和相关介绍。
概念释义
GGUF 格式：一种专门为大模型推理优化的文件格式，由 llama.cpp 提出。相比传统的 checkpoint 文件，GGUF 把所有权重和元数据打包成一个文件，加载速度更快，内存占用更省。
llama.cpp：用 C/C++ 实现的 LLaMA 推理引擎，不需要 GPU 也能跑大模型。是目前最流行的本地大模型运行方案。
Abliterated：指经过「去审查化」处理的模型。原始模型内置了大量安全限制，abliterated 版本移除了这些限制，让模型「知无不言」。
侧载：不通过官方应用商店，而是直接从 APK/IPA 文件安装应用。iOS 侧载需要特殊工具如 TrollStore 或 AltStore。
以上，既然看到这里了，如果觉得不错，随手点个赞、收藏、转发三连吧，如果想第一时间收到黑科技，敬请关注行运设计师。
谢谢你看我的文章，我们，下次再见。
热门跟贴