买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利用于辅助视力障碍用户的社交平台图像理解方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118779442B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411248975.6，技术领域涉及：G06F16/335；该发明授权用于辅助视力障碍用户的社交平台图像理解方法及系统是由陈柳青;唐怡琳;陈文楷;孙凌云设计研发完成，并于2024-09-06向国家知识产权局提交的专利申请。

本用于辅助视力障碍用户的社交平台图像理解方法及系统在说明书摘要公布了：本发明公开了一种用于辅助视力障碍用户的社交平台图像理解方法，包括：获取社交平台的截屏图像以构建数据集；基于大语言模型框架构建对应的交互网络，所述交互识别网络包括图文信息生成模块，图像探索模块以及交互问答模块；利用数据集对交互网络进行训练，以获得用于辅助理解图像信息的多模态大模型；将社交平台待阅读信息的截屏以及用户的语音文本输入至多模态大模型中，以输出对应的回答文本。本发明还提供了一种社交平台图像理解系统。本发明提供的方法能帮助视力障碍的用户快速理且全面了解社交平台的信息。

本发明授权用于辅助视力障碍用户的社交平台图像理解方法及系统在权利要求书中公布了：1.一种用于辅助视力障碍用户的社交平台图像理解方法，其特征在于，包括以下步骤：获取社交平台的截屏图像以构建数据集，所述数据集包括截屏图像中的图像元素和对应的上下文信息以及元素类型；基于大语言模型框架构建对应的交互网络，所述交互网络包括图文信息生成模块，图像探索模块以及交互问答模块；所述图文信息生成模块，用于生成截屏图像中上下文信息对应的详细描述；所述图像探索模块，基于所选取的目标图像元素和对应的详细描述，生成对应的显著特征，所述显著特征包括增强文本特征和增强图像特征，并基于所述显著特征与元素类型对截屏图像进行分类排序输出对应的推荐信息，所述推荐信息包括目标图像元素的关键点和对应的简介说明；所述图像探索模块通过图像分割模型生成截屏图像中各图像元素的嵌入表示，并根据用户所点击区域的坐标为提示嵌入，基于所生成的嵌入表示和提示嵌入生成对应的分割掩码并输出其相关的置信度分数，将置信度分数最高的分割掩码对应图像元素作为目标图像元素；所述显著特征采用自注意力机制对输入的目标图像元素和详细描述进行特征提取以及增强，以获得对应的增强文本特征和增强图像特征，在注意力机制中以图像特征为Key和Value，并将文本特征作为Query进行跨注意力操作，以获得用于融合的增强文本特征；以文本特征为Key和Value，将图像特征作为Query进行跨注意力操作，以获得用于融合的增强图像特征；所述推荐信息通过计算增强图像特征与增强文本特征之间的相似度作为特征索引，并利用所述特征索引和元素类型为图像元素和详细描述进行预测与名词短语提取；所述交互问答模块，用于获取输入的语音文本，并根据图文信息生成模块和图像探索模块输出的结果，以及输入的语音文本，以生成满足预设用户偏好的回答文本；利用数据集对交互网络进行训练，以获得用于辅助理解图像信息的多模态大模型；将社交平台待阅读信息的截屏以及用户的语音文本输入至多模态大模型中，以输出对应的回答文本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。