八、数据不出门，随时可问
未来人类X98实测：一份 100,823 字的中文文档，29.7 秒读完；读完之后随便挑一处细节问，1 到 4 秒给出答案。过去谈本地大模型，话题总停在“能不能跑起来”。这次我们想问的是另一个问题：跑起来之后，好不好用，能不能一直用。
答案是这组数：短对话生成中位145.7 tokens/秒（约每秒 183个汉字），连续 30 分钟满载性能下降0.93%，模型常驻内存后，整个推理过程没有读一次硬盘。
一、移动终端本地大模型的现实阻碍
专业用户选择本地推理，核心诉求集中在数据安全与使用成本，但落地时通常卡在两处。
一是显存资源。以常见的 4-bit 量化为例，125B 级模型的权重体积约60-70G，多数笔记本独显难以完整承载；二是云端服务的固有局限。云端调用需要把业务文档、代码、客户资料上传至服务商服务器，存在数据流转与合规压力，同时按 token 计费、高峰排队。
二、四条通道一起决定速度
处理器——Intel Core Ultra 9 290HX Plus，24 核 24 线程，睿频 5.5GHz。在本地推理里它不是配角：显存没命中的专家，由 CPU 直接在内存里计算，实测引擎在本机启用了23 个工作线程同时开工。
显卡——NVIDIA RTX 5090 Laptop，24GB GDDR7，Blackwell 架构、第 5 代 Tensor Core 1824 AI TOPS。它负责常驻最常用的那批专家，实测装下11,837 个，占模型 24,576 个专家的四成半。
内存——64GB DDR5 双通道2×32GB，四个插槽最高可扩展至 192GB。内存决定这台机器能加载哪一档量化模型，这是它和大显存台式机最实在的差距所在。
显卡链路——处理器与显卡之间实测PCIe Gen5 ×16（空闲时节能降至 Gen1）。专家从内存换进显存，走的就是这条路。
跑大模型从来不是显卡一个人的事，这四条通道一起决定它有多快、能装多大。
三、24GB 显存装不下 125B，未来人类X98怎么接住
未来人类X98本次测试的模型Qwen3.8-Flash-Next 是MoE（混合专家）架构，共 48 层、每层 512 个专家，合计 24,576 个专家模块；IQ2_XS 档的专家权重约 35.5GB，模型文件合计约 70GB——显存装不下全部专家，内存也装不下整个模型文件。Strata 引擎的做法是按热度分层，把不同部分放到不同介质上：
1.显存层：常驻高频访问的 11,837 个热专家（约占总量 48%），并随对话内容自适应换入换出；
2.内存层：以锁页方式承载其余全部专家权重（实测锁页池 33,812 MiB，约 33GB），未命中的专家由处理器就地计算，与显卡并行、互不等待；
3.硬盘层：约 29GB 的查找表留在 SSD，运行时只读取少量行、主要由系统缓存承接——模型常驻后，77 组基准请求在推理过程中的硬盘权重读取量统计为0 MB。
实测效果：常规请求显存命中率95%–98%；10 万字长文首读场景命中率84.8%，未命中部分经由内存消化，仍未触发硬盘读取。
四、实测推理性能
1.短对话生成：145.7 tokens/秒（三次实测中位数，区间 142.2–146.1），约合每秒 183 个汉字；
2.长文本预填充：33,103 tokens 载入 11.5 秒；128,353 tokens 载入 44.6 秒；
3.中文超长文档：100,823 字（实测 79,803 tokens）29.7 秒完成全文读取并给出首个回答；
4.二次问答：全文载入后追问1–4 秒响应。
五、模型能力验证
1. 长文本检索（大海捞针，英文合成语料）：3.2 万 / 6.4 万 / 12.8 万 tokens 三档长度 × 三种插入深度，9 组全部命中。
2. 中文长文档问答与幻觉抑制：针对那份 10 万字文档发起 6 组细节提问，输出与原文一致；其中一组故意询问文档中不存在的信息，模型回复“文档中未提及”，未编造内容。答对不难，难的是不知道的时候说不知道。
3. 五项真实业务任务（每项一次执行完成），结果如下：
这三项测的是模型能力，但对用户而言，它就是这台未来人类X98的交付能力：合同、代码、长报告不出本机，也能拿到可用结果。
六、供电散热与持续负载：十分钟之后见真章
330W 电源适配器、98Wh 电池，GPU 功耗上限 175W。未来人类X98对散热的设计思路是四要素——6CM扇叶尺寸、5500高转速、导热硅脂、双12V/7.8W电机功率。
硬件说了不算，看实测。连续 30 分钟、56 轮串行满载：首段平均 134.5 tokens/秒，末段平均 133.2 tokens/秒，下降 0.93%，全程无推理中断、无程序崩溃。
运行状态同样平稳：约第 10 分钟进入 75–80℃ 平台区间、峰值 80℃ 后不再攀升；功耗稳定在 166–168W（贴着 175W 上限跑，瞬时峰值 173.4W）；核心频率全程约 2,270MHz，未出现过热降频。
笔记本跑推理的短板从来不是第一秒的性能，是十分钟之后的性能。
七、硬件版本的能力边界
本次未来人类X98测试的IQ2_XS 是兼顾速度与体积的量化档位，并不是这个模型的精度上限。
若需要接近 4-bit 的更高精度权重，按引擎官方规则需要96GB 及以上内存才能让全部权重常驻内存——对应 128GB 内存版本。
64GB 版本的定位同样清楚：它买到的是“数据留在本机、无按次计费、125B 随时可用”这三件事，而不是最高精度。对合同、源代码、客户资料不便外送的岗位来说，这三件事往往就是需求的核心；要模型能力的上限，该看的是更高配版本。
适合需要把文档和数据留在本机的人——法务看合同、财务核数据、医疗和研发处理不便外流的资料；需要反复读长材料的人——一份十万字的东西读一次，之后随问随答；以及想在本地跑代码助手、又不想按 token 计费的开发者。这几类人的共同点很明确：他们要的不是模型能力的天花板，是“随时能问、数据不出门”。
测试方法与口径
热门跟贴