买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜西湖大学申请的专利稀疏特征约束的直接偏好优化方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119378638B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411944605.6，技术领域涉及：G06N3/092；该发明授权稀疏特征约束的直接偏好优化方法及装置是由杨林易;张岳设计研发完成，并于2024-12-27向国家知识产权局提交的专利申请。

本稀疏特征约束的直接偏好优化方法及装置在说明书摘要公布了：本申请提出了一种稀疏特征约束的直接偏好优化方法及装置，包括以下步骤：将每个偏好样本对输入冻结参数的参考模型中获取对应的参考动态边际值和参考稀疏激活特征；复制参考模型的参数得到动态策略模型，将每个偏好样本对输入到动态策略模型中获取对应策略稀疏激活特征；以策略稀疏激活特征和参考稀疏激活特征的差异构建均方误差作为稀疏特征约束，以参考动态边际值作为边际值约束；基于稀疏特征约束、边际值约束和奖励函数构建损失函数，基于损失函数对动态策略模型进行参数更新得到偏好模型，通过在原有DPO框架上引入稀疏特征约束和边际值约束来优化模型的偏好，实现同时在在效率和可控制性上取得平衡的效果。

本发明授权稀疏特征约束的直接偏好优化方法及装置在权利要求书中公布了：1.一种稀疏特征约束的直接偏好优化方法，其特征在于，包括步骤：获取至少一标记偏好的偏好样本对作为训练样本；将每个偏好样本对输入冻结参数的参考模型中获取对应的参考动态边际值和参考稀疏激活特征；复制参考模型的参数得到动态策略模型，将每个偏好样本对输入到动态策略模型中获取对应策略稀疏激活特征；以策略稀疏激活特征和参考稀疏激活特征的差异构建均方误差作为稀疏特征约束，以参考动态边际值作为边际值约束，稀疏特征约束的计算公式表示为： 其中，为策略稀疏激活特征，为参考稀疏激活特征，i为特征，为激活值最高的k个特征的索引集合；基于稀疏特征约束、边际值约束和奖励函数构建损失函数，基于损失函数对动态策略模型进行参数更新得到偏好模型，损失函数表示如下： 其中，为长度归一化后的参考动态边际值，用于表示边际值约束，为稀疏特征约束，为动态策略模型，为期望，D为偏好样本对的集合，为参考模型，β是控制KL散度惩罚强度的系数，为sigmoid函数，表示动态策略模型针对偏好样本对的输入x生成最优回答的概率，表示动态策略模型针对偏好样本对的输入x生成非最优回答的概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西湖大学，其通讯地址为：310024 浙江省杭州市西湖区转塘街道石龙山街18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。