申请/专利权人:罗伯特·博世有限公司;清华大学
申请日:2020-10-15
公开(公告)日:2024-06-21
公开(公告)号:CN116391193B
主分类号:G06N3/096
分类号:G06N3/096;G06N3/0475;G06N3/0464
优先权:
专利状态码:有效-授权
法律状态:2024.06.21#授权;2023.07.21#实质审查的生效;2023.07.04#公开
摘要:本发明提供了用于以基于能量的潜变量模型EBLVM为基础来训练神经网络的方法和设备。该方法包括基于得分匹配目标的双水平优化。较低水平优化潜变量的变分后验分布以近似EBLVM的真实后验分布,并且较高水平基于作为变分后验分布的函数的修改的SM目标来优化神经网络参数。该方法可以应用于基于具有非结构假设的EBLVM来训练神经网络。
主权项:1.一种用于利用批量训练数据以基于能量的模型为基础来训练神经网络的方法,其中所述基于能量的模型由一组网络参数θ、可见变量和潜变量来定义,所述方法包括:通过优化从所述批量训练数据采样的小批量训练数据上的变分后验概率分布的一组参数φ来获得给定所述可见变量情况下的所述潜变量的所述变分后验概率分布,其中提供所述变分后验概率分布以近似给定所述可见变量情况下的所述潜变量的真实后验概率分布,其中所述真实后验概率分布与所述网络参数θ相关;基于所述小批量训练数据上的边缘概率分布的得分匹配目标优化网络参数θ,其中所述边缘概率分布是基于所述变分后验概率分布和所述可见变量和所述潜变量的非归一化联合概率分布获得的;以及对不同小批量的所述训练数据重复获得变分后验概率分布和优化网络参数θ的步骤,直到满足收敛条件。
全文数据:
权利要求:
百度查询: 罗伯特·博世有限公司;清华大学 以基于能量的潜变量模型为基础的神经网络的方法和设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。