国家知识产权局信息显示,厦门快商通科技股份有限公司申请一项名为“一种基于改进DPO训练的对话生成方法、装置及可读介质”的专利,公开号CN121503645A,申请日期为2025年9月。
专利摘要显示,本发明公开了一种基于改进DPO训练的对话生成方法、装置及可读介质,包括:对大语言模型进行有监督微调,得到经微调的大语言模型;将经微调的大语言模型作为参考模型;构建偏好对话数据集;将参考模型的参数冻结,将经微调的大语言模型作为待训练的策略模型,基于偏好对话数据集和参考模型对待训练的策略模型进行改进DPO训练,以调整待训练的策略模型的参数,得到经训练的大语言模型,改进DPO训练的过程中所使用的损失函数为混合损失,混合损失包括偏好损失、微调损失和锚点评分损失;获取待回复的历史对话并输入到经训练的大语言模型中,得到对应的回复语句。本发明能够实现更加稳定的训练,避免过拟合。
天眼查资料显示,厦门快商通科技股份有限公司,成立于2009年,位于厦门市,是一家以从事研究和试验发展为主的企业。企业注册资本4387.5万人民币。通过天眼查大数据分析,厦门快商通科技股份有限公司共对外投资了8家企业,参与招投标项目54次,财产线索方面有商标信息36条,专利信息388条,此外企业还拥有行政许可3个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴