来源:财经研究
过去做政策文本研究,最常见的方法是“数词频”:一份政府工作报告里出现多少次“数字化”“供应链”“智能制造”,就据此判断一个地方重不重视相关政策。
但问题也很明显:词出现了,不代表事情真的发生了。口号式表述、背景介绍、未来愿景,都可能被词频法算进去。
刘歆、杨亚平发表在《财经研究》2026年第3期的论文《星河通衢,万链同航:地方供应链数字化建设与数字出海》提供了一个很有启的方法:用大语言模型来构建地方供应链数字化建设指标。
这套方法的核心,不是让大模型“写文章”,而是让大模型“读懂政策文本”。
第一步:先搭好理论框架
论文没有直接把所有“数字化”相关词都扔进模型,而是先根据供应链数字化的理论内涵,把指标拆成五个领域:计划数字化、采购数字化、生产数字化、销售数字化和物流数字化。
这一步很关键。大模型再强,也需要研究者先定义清楚“什么才算供应链数字化”。否则,模型只是在模糊概念里做判断。
用关键词做“召回”,不是做最终判断
作者先以五个领域的核心术语为种子词,再用 Word2Vec 挖掘语义相近词,形成供应链数字化关键词库。
随后,利用程序解析2016年至2023年各城市政府工作报告,提取所有包含相关关键词的句子,形成“备选语料库”。
注意,这里关键词只负责把可能相关的句子捞出来,并不直接决定指标大小。
第三步:让大语言模型做语义判别
论文在线调用智谱 AI 的 GLM-4-Flash-250414,对备选句子做双重判断:
一是判断这句话是否真实反映地方供应链数字化建设实践;二是如果有效,再把它归入计划、采购、生产、销售、物流五类之一。
比如,“引入智能预测算法,通过数字计划平台整合市场数据,实现供需智能匹配”,会被识别为计划数字化;而“依托传统批发市场开展销售,主要通过线下门店与经销商网络实现产品分销”,虽然可能包含销售相关表述,但不涉及供应链数字化实践,会被判定为“无”并剔除。
这正是大模型优于传统词频法的地方:它不是看某个词有没有出现,而是结合上下文判断这句话到底有没有实质含义。
第四步:把有效句子转化为城市年度指标
在完成语义判别后,作者把五类供应链数字化领域中被模型确认的有效句子数量加总,再加1取自然对数,得到城市层面的供应链数字化建设指数。
进一步地,论文还可以分别统计五个领域的有效句子数量,构建计划数字化、采购数字化、生产数字化、销售数字化、物流数字化等细分指标。
为什么这个方法值得关注?
它给政策文本量化提供了一种新思路:关键词负责提高覆盖率,大模型负责提高准确率,人工复核负责把关可靠性。
论文还对模型结果进行了人工抽样验证,随机抽取400条样本核对,模型识别平均准确率约为93%。同时,作者也用多种大语言模型和传统词频法进行了对照检验,结果表明,单纯词频法难以区分政策口号和真实建设内容,而大模型方法更能捕捉政策文本中的实质信息。
这对研究者有什么启发?
未来很多原本“难以量化”的文本变量,都可以用类似方式处理。
比如,地方政府对人工智能的支持力度、城市绿色治理水平、企业年报中的创新战略、上市公司供应链风险暴露、政策文件中的营商环 境改善等,都不一定只能靠词频统计。更可行的路径是:先建立理论分类,再构建候选语料,随后让大模型进行语义判断和分类,最后 通过人工复核、模型对比和实证检验验证指标质量。
结语
大语言模型真正改变文本研究的地方,不是替研究者省掉理论思考,而是把“读懂文本”这件事变成了可复制、可扩展、可验证的量化流程。
这篇论文的价值也正在于此:它展示了大模型如何从一个写作工具,转变为经济学和管理学研究中的“语义测量工具”。
内容由AI生成
《财经研究》创刊于1956年,是上海财经大学主办、面向国内外公开发行的综合性经济类理论刊物。《财经研究》为高校经济学龙头期刊,是全国高等学校文科学报研究会财经高校联络中心的主任单位,入选国家新闻出版广电总局“百强报刊”和中宣部国家社科基金资助期刊,成为“教育部经济学专业期刊示范基地”并进入教育部名栏。
《财经研究》是国内三大核心期刊检索“中文社会科学引文索引(CSSCI)”(南京大学)、“中文核心期刊要目总览”(北京大学)和“中国人文社会科学核心期刊要览”(中国社会科学院)的入选期刊。《财经研究》设有公共经济与管理、金融研究、财务与会计研究、经济史·经济思想史研究、区域经济研究、产业经济研究、国际经济研究等栏目。
热门跟贴