龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：北京航空航天大学
申请日：2024-04-11
公开（公告）日：2024-06-25
公开（公告）号：CN118246512A
主分类号：G06N3/0895
分类号：G06N3/0895;G06N3/0464;G06N3/0455;G06V10/82;G06V10/44
优先权：
专利状态码：在审-公开
法律状态：2024.06.25#公开
摘要：本发明公开了一种面向自监督学习的随机组划分通道白化方法，属于自监督学习领域；具体为，首先分别选择单一模态数据和多模态数据进行预训练；然后，搭建包含两个神经网络fθ1,fθ2的联合嵌入架构；在自监督表征学习中，利用训练数据对联合嵌入架构进行训练，神经网络的输出施加约束，即对输出的嵌入进行白化变换，更新优化神经网络的参数；最后，将样本输入到训练好的联合嵌入架构中，并应用于下游任务，使其映射至良好的表征空间。本发明基于联合嵌入架构，能够有效避免维度崩塌问题。
主权项：1.一种面向自监督学习的随机组划分通道白化方法，其特征在于，具体步骤如下：首先，分别选择单一模态数据和多模态数据进行预训练；然后，搭建包含两个神经网络fθ1,fθ2的联合嵌入架构；其中，每个神经网络fθ均包含编码器和投影层接着，在自监督表征学习中，利用训练数据对联合嵌入架构进行训练，更新优化神经网络的参数；具体训练过程为：步骤301、联合嵌入架构的两个编码器共同接收一对均包含m个样本的批量数据XA,XB；步骤302、将批量数据经过编码，输出为相应的m个dH维向量构成的表征矩阵具体编码公式为：步骤303、投影层将表征矩阵H映射，输出为m个dZ维向量构成的嵌入矩阵具体映射公式为：及步骤304、将嵌入矩阵Z进行白化变换，即对嵌入矩阵Z施加约束，从而形成白化输出 白化变换公式具体为：I为单位矩阵；1为全1矩阵；Φ为白化矩阵；步骤305、采用最小化白化输出的相似性作为损失函数，进行神经网络的训练； 最后，将样本输入到训练好的联合嵌入架构中，并应用于下游任务，使其映射至良好的表征空间。
全文数据：
权利要求：
百度查询： 北京航空航天大学 一种面向自监督学习的随机组划分通道白化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号