这款口袋大小的手持设备能够运行1200亿参数的大型语言模型（LLM）。美国深度科技初创公司Tiiny AI近日发布了Tiiny AI Pocket Lab（袖珍AI实验室），该设备已获得吉尼斯世界纪录官方认证，成为全球最小的个人AI超级计算机。
这款超级计算机外形酷似移动电源，采用口袋尺寸设计，能够本地运行1200亿参数的LLM，无需依赖云端连接、服务器或高端GPU。Tiiny AI希望通过该设备降低超级计算机对云端和GPU的依赖，同时让普通用户也能获得数据中心级别的算力。这款于12月10日发布的AI Pocket Lab，还为应对可持续发展问题、不断上涨的能源成本以及基于云的AI基础设施带来的隐私风险提供了可行的替代方案。
公司市场拓展总监萨马尔·博杰在官方新闻稿中表示："云端AI带来了显著进步，但也造成了依赖性、脆弱性和可持续发展挑战。我们相信智能不应属于数据中心，而应属于每个人。Tiiny AI Pocket Lab正是将大模型能力从云端迁移到每个个人设备的第一步，让先进AI真正实现可及性、私密性与个性化。"
多样化的应用场景
AI Pocket Lab旨在满足所有可能的个人AI使用场景，服务各类专业人士，包括创作者、开发者、研究人员和学生。用户无需联网即可实现多步骤推理、深度上下文理解、智能体工作流、内容生成以及敏感信息的安全处理。
该设备采用银行级加密技术将用户数据、偏好和文档存储在本地，相比基于云的AI系统具备长期记忆功能和更强的隐私保护能力。Tiiny AI Pocket Lab专为最实用的个人AI场景设计，可运行100亿至1000亿参数的模型，覆盖超过80%的实际任务需求。
它甚至可扩展至1200亿参数模型，为复杂推理和多步骤分析提供GPT-4级别的智能水平——所有这些功能都保持数据完全离线，安全存储于设备之中。
强大的技术规格
这款超级计算设备配备ARMv9.2架构的12核CPU，提供65W功率容量。与传统依赖GPU的系统相比，它通常仅需极小部分的能耗和碳足迹即可实现大模型性能。
Tiiny AI Pocket Lab依赖两项关键技术实现大型AI模型在小型设备上运行：其一是TurboSparse技术，通过仅激活所需神经元来提升效率，同时保持模型智能完整性；其二是Powerinfer开源引擎（在GitHub上获得超8000星标），可将AI工作负载分配到CPU和NPU上，在显著降低功耗的同时提升性能。
这些技术进步共同使Pocket Lab能够在紧凑的低功耗形态下提供GPU级别的AI性能。
开源生态系统
Tiiny AI还提供即用型开源生态系统。Pocket Lab支持一键安装Llama、Qwen、DeepSeek、Mistral、Phi和GPT-OSS等热门开源模型，并可轻松配置OpenManus、ComfyUI、Flowise和SillyTavern等AI智能体。
用户还将获得定期更新，包括官方的无线硬件升级服务。这些功能预计将于2026年1月在CES消费电子展上正式亮相。
如果朋友们喜欢，敬请关注“知新了了”！
热门跟贴