申请/专利权人：内江广播电视台

申请日：2024-03-20

公开（公告）日：2024-05-31

公开（公告）号：CN117912373B

主分类号：G09F9/30

分类号：G09F9/30;G09F27/00;H05K5/02;G06F3/041;G06V40/16;G06V20/52;G06V10/762;G06V10/764;G06V10/80;G06V10/82;G06V30/19;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/094;G10L15/26

优先权：

专利状态码：有效-授权

法律状态：2024.05.31#授权;2024.05.07#实质审查的生效;2024.04.19#公开

摘要：一种线下可移动新闻媒体智能宣讲方法，其使用一种线下可移动新闻媒体智能宣讲装置，装置包括太阳能板、信号接收装置、语音播放器、可伸缩折叠幕墙、主体、数据外接口、角度调节装置、万向轮、高度伸缩杆、对讲口、显示触控屏、气候感应装置和红外人脸识别摄像头；所述线下可移动新闻媒体智能宣讲方法可通过前述装置及基于自身算法分析不同线下受众人群，并匹配相应的线上宣讲内容，特别地，结合线上宣讲内容与线下受众人群特征数据，生成一个面向不同线下受众人群的多模态智能联合数据库，实现线上宣讲内容在线下环境中的高效率利用和个性化适配，从而提高宣讲内容线下投放的影响力。

主权项：1.一种线下可移动新闻媒体智能宣讲方法，其特征在于，使用一种线下可移动新闻媒体智能宣讲装置，包括钙钛矿太阳能板（1）、太阳能板支架（2）、信号接收装置（3）、语音播放器（4）、幕墙手动转杆（5）、主体（6）、数据外接口（7）、角度调节装置底座（8）、角度调节装置（9）、万向轮（10）、高度伸缩杆（11）、对讲口（12）、显示触控屏（13）、可伸缩折叠幕墙（14）、气候感应装置（15）、角度调节转轮（16）、红外人脸识别摄像头（17）；所述钙钛矿太阳能板（1）安装在太阳能板支架（2）上；所述信号接收装置（3）安装在太阳能板支架（2）后侧；所述语音播放器（4）安装在主体（6）两侧边；所述可伸缩折叠幕墙（14）安装在主体（6）前方；所述幕墙手动转杆（5）位于可伸缩折叠幕墙（14）侧边；所述数据外接口（7）位于主体（6）右下侧；所述角度调节装置（9）安装在角度调节装置底座（8）上，位于主体（6）中下部位；所述万向轮（10）位于主体（6）下方角落处；所述高度伸缩杆（11）位于万向轮（10）上方，与主体（6）相连；所述对讲口（12）位于主体（6）前方和中间位置；所述显示触控屏（13）位于主体（6）前方；所述气候感应装置（15）位于两个钙钛矿太阳能板（1）中间；所述角度调节转轮（16）位于角度调节装置（9）后侧；所述红外人脸识别摄像头（17）位于主体（6）正前方；所述角度调节装置可提供180°的角度调节；所述高度伸缩杆数量为4个，与万向轮数量一致，当使用万向轮时，将伸缩杆伸长；所述对讲口数量为4个，分布于不同方位，可提供不同高度人群的收音；所述线下可移动新闻媒体智能宣讲方法，包括如下步骤：步骤一、从线上渠道收集多模态的宣讲内容，包括文本、图像和音频数据；其中针对线上收集的宣讲内容进行过滤，仅当线上宣讲内容的浏览量、点赞数、评论数数值均超过相应阈值标准才进行保存；利用主题分析LDA模型识别出文本中的主题，并为每个文本分配一个主题分布，即主题权重向量：[t1,t2,t3,...]，利用TF-IDF技术计算文本中每个词的重要性得分，生成TF-IDF向量:[T1,T2,T3,...]，其中保持TF-IDF向量和主题权重向量维度统一；将主题权重向量和TF-IDF向量进行相加，形成线上宣讲内容综合文本特征向量；对线上宣讲内容进行筛选，过滤出图片数据，并利用VisionTransformer模型对图片进行分类，对图片分类标签进行one-hot转换形成图片分类标签向量；利用语音识别技术，将线上宣讲内容语音数据转换为文本数据，执行与上述文本数据相同的分析流程，形成语音综合文本向量；采用多分类SVM算法对综合文本特征向量、图片分类标签向量与语音综合文本向量组成的综合表征向量进行分类，分类为高投放性、中投放性以及低投放性；步骤二、对步骤一中综合文本特征向量利用Transformer模型的Encoder编码器提取出文本高阶特征值，并利用二进制编码将其向量化，然后利用resize函数对其向量进行裁剪和扩充，补充项为0，统一向量维度，得到文本高阶特征向量，并将步骤一中的TF-IDF向量:[T1,T2,T3,...]中数值最大的元素作为线上宣讲内容的标题关键词；将所有种类的标题关键词进行one-hot编码进而获得每个标题关键词的标签特征向量，并用resize函数统一特征向量维度，补充项为0；步骤三、线下可移动新闻媒体智能宣讲装置利用红外人脸识别摄像头（17）对人群信息进行采集，采用MTCNN算法进行性别以及年龄识别，同时利用KMeans++算法和人群聚类公式进行人群分类；然后将人群主要年龄、性别、人群簇信息进行合并编码形成人群特征向量，并利用resize函数，将人群特征向量进行维度扩展，达到和步骤一中综合文本特征向量相同维度，便于后续数据库信息融合；步骤四、根据线下可移动新闻媒体智能宣讲装置GPS定位，提取该线下可移动新闻媒体智能宣讲装置所处地点，包括学校、小区与商场，并将得到的地点位置按照顺序依次进行编码，学校为1，小区为2，商场为3；用二进制将上述顺序编码转化为特征向量，此时学校为0,1，小区为1,0，商场为1,1；利用resize函数将上述特征向量和综合文本特征向量统一维度，补充项为0，然后作为智能联合数据库的输入特征T；步骤五、采用多模态数据融合算法构建智能联合数据库，将线下人群特征数据以及线上多模态宣讲内容生成数据进行融合，生成适应不同人群的多模态智能联合数据库；上述融合采用联合架构，将不同模态数据映射到一个共享的语义子空间之中，以实现多模态特征向量的融合；用于数据匹配时，通过余弦相似度公式快速匹配数据库中已有数据，为屏幕前人群提供相应的宣讲内容；步骤六、将当前线下可移动新闻媒体智能宣讲装置识别的线下人群特征输入到智能联合数据库中进行匹配，对匹配到的宣讲内容数据、识别的人群特征以及提取出的宣讲内容标签特征向量进行Word2Vec向量转化，并将转化后的向量输入到生成对抗网络之中，作为宣讲内容特征的输入，通过生成对抗网络生成不同的宣讲内容主页，投放到线下可移动新闻媒体智能宣讲装置屏幕之上，以适应屏幕前不同的人群和场景，其中利用Wasserstein距离公式计算生成对抗网络重构误差，并利用输入向量的最大均值散度，作为生成对抗网络的损失函数；步骤七、当线上宣讲内容为新闻类重要内容时，则直接根据对应预设好的宣讲内容主页，将其投放到线下可移动新闻媒体智能宣讲装置；所述线下可移动新闻媒体智能宣讲方法的步骤三中使用的人群聚类公式表示为： 其中，表示样本i到同簇其他样本的平均距离，为样本i到最近簇样本的平均距离，N表示特征值数量，Q表示智能联合数据库中的随机样本，为第i个聚类，为第i个聚类的中心，S值越小说明越靠近相应的簇；所述线下可移动新闻媒体智能宣讲方法的步骤五中使用的多模态数据融合算法公式和余弦相似度公式表示为：其中，多模态数据融合算法公式为： 其中，为联合融合特征向量，表示线上宣讲内容的多模态特征，包括综合文本特征向量、图片分类标签向量、语音综合文本向量、文本高阶特征向量、标签特征向量，N为线上宣讲内容多模态特征的数量，表示线下装置收集到的线下不同人群特征向量，包括人群主要性别、年龄以及人群类型，并将其扩展到和相同维度，M为线下不同人群的种类数量，T为装置位置信息特征向量，和表示一个常数项，与表示一个系数，用于调节单个目标的整体影响力；其中，余弦相似度公式为： 其中，表示实时人群特征数据向量，表示联合融合特征向量，M表示多模态特征值数量，N表示联合融合特征向量数量，表示当前线下人群特征与智能联合数据库中每条数据特征之间的余弦距离，用当前特征去匹配数据库中余弦距离最近的多模态特征向量，找到余弦距离最近的联合多模态特征，然后投放相应的宣讲内容；所述线下可移动新闻媒体智能宣讲方法的步骤六中使用的Wasserstein距离公式和最大均值散度公式表示为：其中，Wasserstein距离公式表示为： 其中，为距离损失值，为线下人群特征数据，包括人群主要性别、年龄以及人群类型，为生成内容数据，即根据当前线下人群特征数据匹配的宣讲内容，表示欧氏距离，表示和之间的联合分布，表示和之间的所有可能的联合分布，表示二者之间的距离最小值，通过该公式得出输入向量的重构误差；其中，最大均值散度公式表示为： 其中，表示最大均值散度，是一个常数项，用来保证最大均值散度的非负性，为线下人群特征数据，包括人群主要性别、年龄以及人群类型，N表示线下人群特征数据的数量，表示生成内容的概率分布，则表示线下人群特征的概率分布，通过二者的相对熵，得出二者之间分布的差异值，该值即为生成对抗网络的损失函数。

全文数据：

权利要求：

百度查询： 内江广播电视台 一种线下可移动新闻媒体智能宣讲方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD