贵阳网·贵阳新闻讯 8月28日上午,2026中国国际大数据产业博览会在贵阳开幕,上海交通大学副教授、上海无问芯穹智能科技股份有限公司联合创始人、首席科学家戴国浩在开幕式上作了题为《以创新技术实践,助力词元工厂高质量发展》的主旨演讲。
戴国浩说,词元调用量正成为人工智能的新度量衡。回顾历史,人类三次产业革命先后实现了核心生产要素由人力向机械动力、电能、计算资源的跃迁。而第四次AI革命,AI基础设施将能源、算力及数据转化为规模化词元供给并进一步转化为AI生产力。
戴国浩指出,中美双方目前都在加快词元经济发展。消费侧,中国日均词元调用量从2024年初的1000亿,到2026年6月近175万亿,两年半增长超1750倍。美国模型API聚合平台OpenRouter2024年调用量约10万亿,到2026年8月,1天就达10万亿,1天顶2024全年。供给侧,双方都在加快基础设施建设。
戴国浩说,目前词元工厂面临三个挑战。一是算力资源碎片化,二是推理成本高,三是模型迭代速度快。
面对算力资源碎片化问题,可以通过跨集群异构混合推理技术,在保障生产效率的同时显著降低算力成本,让分散各处的存量集群资源都能充分释放产业价值。依托跨集群PD分离技术,通过PDD中继、Decode基数缓存和基于TCP的KV缓存传输优化,减少跨集群传输的数据量、拥塞及等待延迟。与基于单一芯片集群的方案相比,整体成本降低约10%至15%。
面对推理成本高的问题,可以通过计算优化、PD分离、集群通信优化、智能网关、MTP、Cache优化等技术和工程化手段,实现从单机优化到多机优化,从集群规模优化到跨集群优化,以原始创新驱动词元生产成本下降。过去1年,上海无问芯穹的词元生产成本降低1000%,并且还有继续降低1000%的空间。
对模型迭代速度快的问题,可以以智能体驱动跨芯片算子优化,为快速迭代的国产模型生态提供Agentic优化路径。上海无问芯穹研发的Kernel Design Agent,以自然语言输入算子优化需求,通过主控分析、调度总线、核心生成、沙盒验证、评审沉淀的工作流,帮助国产芯片实现端到端性能提升,同时验证了基于国产模型结合Workflow进优化的技术可行性与先进性。
戴国浩说,依托上述创新技术,词元工厂可实现业务发展的飞轮:与大模型建立适配优化生态,沉淀大量真实业务实践,加快推理优化技术迭代,提升技术稳定性和可靠性,进一步降低推理成本。
戴国浩说,从2023年12月,国家正式提出建设全国一体化算力网,到今年3月,被写入国家“十五五”规划纲要,再到4月,中央政治局会议将这项工作提升到国家战略高度,词元工厂需要的优质算力正在加速落地。
戴国浩说,词元工厂的高质量发展还需要持续科技创新。依托全国一体化算力网,可为市场提供优质易用的算力;通过先进的推理优化技术,降低推理成本,提升词元的智能转化效率,为市场提供“用得起、用得好”的高质量词元。
记者 李奕璇/文 徐其飞/图
热门跟贴