项目简介

Project Maya 是一个开源的本地大模型推理加速与部署项目。它专门针对 GLM-5.3-Flash（一个拥有 3210 亿参数、激活参数约 180 亿的 MoE 混合专家模型）进行了全栈定制化优化。该项目旨在让用户在个人或消费级硬件（如单张或多张 NVIDIA GPU）上，私密且高效地运行本需要数据中心级别支持的超大规模 MoE 模型，并提供包含推理引擎、API 服务、Web 监控面板及量化工具在内的完整闭环生态。

核心功能

  • 模型分层推理与多级存储调度：自研专用引擎，能够根据设备软硬件环境，动态将 MoE 模型的专家权重分配在 VRAM（显存）、RAM（内存）和 NVMe SSD（固态硬盘）中，并在对话过程中实时调度和移动激活的专家。
  • 多模型量化选择：提供针对 GLM-5.3-Flash 自研的高精度量化版本（如 Maya-S、Maya-S24、Maya-M、Maya-L 等），体积覆盖 94.7 GB 至 156.3 GB，保持了原 FP8 模型 97.7%~99.2% 的零射击准确率。
  • 全兼容 API 服务：内置兼容 OpenAI 和 Anthropic（如 Claude Code）标准接口的 API，原生支持工具调用（Tool Calls）的流式输出。
  • 并发请求处理：支持最高 8 个并发请求同时处理，采用 dense 权重共享读取机制提升多会话或多用户运行时的整体吞吐量。
  • 多模态与全功能内置：支持图像输入与分析（Pictures）、可调节的思考层级（Thinking levels，分为四个级别），并内置基于浏览器的前端聊天交互界面与硬件/模型状态实时监控面板（Monitor）。
  • 投机采样加速（可选）：支持外挂 DFlash2 草稿模型（Drafter）进行投机采样，在特定硬件上可进一步提升 12%~44% 的推理速度。
技术栈
  • 基础推理框架与内核：基于 Strata 框架构建，并深度集成了 ggml / llama.cpp 的量化格式、CPU 点积内核及 Prompt 路径的 MMQ 内核。
  • 特定格式支持：吸收了 exllamav3（EXL3）的格式、码本（codebooks）及 CPU 专家内核。
  • 编程语言：C++（核心推理引擎与构建）、Python 3.10+（环境配置与脚本控制）。
  • 硬件加速与计算接口：NVIDIA CUDA 12.x/13（算力 7.0 及以上，如 V100、RTX 20 系列及更新显卡）；针对 AMD 平台提供 ROCm 7（实验性支持）。
  • 构建系统：CMake、g++。
架构
  • 分层混合存储架构：Maya 放弃了传统将模型全部载入显存的模式，采用“显存-内存-固态硬盘”三级动态缓存架构。其引擎通过全自动化硬件测绘（硬件度量与校准功能），将高频使用的专家（Experts）锁入 VRAM，次高频专家驻留于 RAM，其余专家流式存储于高速 NVMe SSD 中，随上下文激活状态在三级介质间实时换入换出。
  • 前向预测与流式解码：保留并适配了原模型的 MTP（Multi-Token Prediction）模块以实现多 Token 预预测。
  • 服务端架构：底层推理引擎之上包裹了多协议兼容的 Server 层，可同时对外暴露 Web UI 静态资源、OpenAI 标准路由以及 Anthropic 标准路由。
亮点与特点
  • 极高的硬件利用率与性能：在消费级硬件上表现优异，4x RTX 4090 下解码速度可达 118 tokens/s，单张 RTX 5090 或 RTX 3090 亦能提供 26~30+ tokens/s 的实用速度。
  • 完全的本地化与隐私性：承诺“没有任何数据离开机器”，所有计算、量化、监控和日志生成均在本地闭环运行。
  • 开箱即用的极简体验：提供一键安装脚本（./setup.sh 或 START-MAYA.bat），具备全自动依赖检查与硬件感知校准功能，无需复杂的系统级依赖配置。
  • 极高精度的量化保留：通过特定的统计数据校准，使其自研量化版在大幅压缩体积的同时，极好地锁定了原模型的长文本上下文（支持高达 1M 窗口）与工具调用能力。
适用场景
  • 个人开发者与独立研究员的本地 AI 实验室：适合希望在有限预算或已有消费级显卡（如 1-2 张 RTX 3090/4090/5090）上调试顶级大语言模型的开发者。
  • 代码助手与 Agent 本地后端：由于其原生兼容 OpenAI/Anthropic 接口并针对工具调用和前端代码进行了量化校准（如 Maya-M 模型），非常适合作为 Claude Code 等编码代理的本地高隐私替代后端。
  • 局域网/多 Agent 协同高吞吐场景：凭借其支持 8 并发（--parallel）及共享密集权重的特性，适合小型团队内部共享单台工作站，或运行需要多会话并发的复杂智能体群（Agent Swarms）。
  • 重度隐私及涉密行业数据处理：适合金融、医疗、法律等对数据出境、云端隐私极度敏感，同时需要超大模型推理能力的行业进行本地私有化概念验证（PoC）。

https://github.com/mw00/project-maya