观点网讯:2月10日,腾讯混元基于首个产业级2Bit端侧量化方案,正式推出面向消费级硬件场景的“极小”模型HY-1.8B-2Bit。

该模型等效参数量仅0.3B,内存占用仅600MB,通过对HY-1.8B-Instruct模型进行2比特量化感知训练产出。

相较于原始精度模型,HY-1.8B-2Bit等效参数量降低6倍,在保留原模型全思考能力的同时,端侧生成速度提升2—3倍,可在边缘设备无压力部署,是首个实现2Bit产业级量化的端侧模型实践。

免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。