英伟达刚扔了个炸弹。DGX Spark 64GB版,10月23日开卖,起售价4999美元,约合3.3万人民币。这台巴掌大的盒子,能在本地跑最高1000亿参数的AI模型。
打开网易新闻 查看精彩图片
以前想跑个大模型,要么租云,数据传上去,心里不踏实;要么自己攒显卡,两张24G的卡塞进去,跑个70B的模型还得量化来量化去,稍微长点的上下文就爆显存。
打开网易新闻 查看精彩图片
现在这东西,64G统一内存,56G给模型用,剩下的给KV缓存。Qwen3.8-27B、Gemma4 26B这些开源模型直接流畅跑。不够用?两台插根线一拼,128G,200B参数,性能还涨1.7倍。
啥意思?做医疗的,患者数据不用出办公室。做机器人的,视觉模型在本地实时推理。搞开发的,代码智能体7×24小时跑在你桌底下。
以前“本地跑大模型”是个笑话,现在英伟达把笑话变成了3万3。
有在做本地AI部署的兄弟,评论区聊聊,你现在用的啥方案?
#英伟达 #DGXSpark #本地大模型 #AI超算 #大叔搞AI
#英伟达##芯片##算力#
热门跟贴