申请/专利权人：平安科技(深圳)有限公司

申请日：2018-12-12

公开（公告）日：2024-06-07

公开（公告）号：CN109784165B

主分类号：G06V30/418

分类号：G06V30/418;G06V30/19;G06V10/82;G06F40/295;G06F40/30;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.06.07#授权;2020.12.25#实质审查的生效;2019.05.21#公开

摘要：本发明涉及自然语言处理技术领域，提供了一种诗词内容的生成方法、装置、终端及存储介质。所述诗词内容的生成方法包括：获取客户端上传的图片；提取所述图片的图像内容，对所述图像内容进行分析，获取所述图像内容所包含的情景信息；获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端。本发明实现了根据上传的图片，生成与所述图片内容相匹配的诗词内容，丰富了诗词生成方式，提升用户体验。

主权项：1.一种诗词内容的生成方法，其特征在于，包括如下步骤：获取客户端上传的图片；提取所述图片的图像内容，对所述图像内容进行分析，包括：利用卷积神经网络模型对所述图像内容进行多层次的映射，得到图像内容中的实体语义信息和关系语义信息；获取与所述实体语义信息和关系语义信息相匹配的诗词信息，包括：根据所述实体语义信息和关系语义信息生成待生成诗词内容的风格，获取与所述风格相匹配的第一诗词信息；根据所述实体语义信息和关系语义信息，利用语料库提取出图像内容中实体的基本信息，根据所述基本信息，利用预设算法获取与所述基本信息相关的高频词汇；获取包含所述高频词汇的第二诗词信息；根据所述第一诗词信息和所述第二诗词信息生成诗词内容，包括：根据所述第二诗词信息的高频词汇，利用序列到序列模型生成每一句以所述高频词汇为主题的诗词内容；构建评估模型，利用所述评估模型对生成的诗词内容进行评分，包括：根据诗词内容中字词之间的搭配频率，利用所述评估模型对诗词内容的连贯性进行评分；根据字词之间声律的对应性，利用所述评估模型对诗词内容中前后两句诗句进行评分；根据押韵规则，利用所述评估模型对诗词内容的押韵进行评分；当诗词内容中的诗句评分值低于预设值时，对所述诗句进行重生成，直至诗词内容中的所有诗句的评分值都高于预设值时止；将所述诗词内容返回至所述客户端。

全文数据：诗词内容的生成方法、装置、终端及存储介质技术领域本发明涉及自然语言处理技术领域，尤其涉及一种诗词内容的生成方法、装置、终端及存储介质。背景技术随着深度学习的快速发展，以卷积神经网络和循环神经网络为代表的深度学习框架已在计算机视觉和自然语言处理领域得到广泛应用。在自然语言处理领域，传统诗词生成被看作是一个机器翻译问题，将上一句诗词作为源语言，下一句诗词作为目标语言，经过统计机器翻译模型进行翻译，并加上平仄押韵等约束，得到一首完整的诗词。但是，当前的诗词内容自动生成方法只能通过用户输入的文本信息，如关键词、语句等信息进行智能生成，生成形式单一，缺乏灵活性，无法适应多样化需求。发明内容本发明提供一种诗词内容的生成方法、装置、终端及存储介质，以解决当前诗词内容生成方法的生成形式单一，缺乏灵活性，无法适应多样化需求的问题。为解决上述问题，本发明采用如下技术方案：本发明提供一种诗词内容的生成方法，包括如下步骤：获取客户端上传的图片；提取所述图片的图像内容，对所述图像内容进行分析，获取所述图像内容所包含的情景信息；获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端。可选地，所述情景信息包括实体语义信息和关系语义信息，所述对所述图像内容进行分析的步骤，包括:利用卷积神经网络模型对所述图像内容进行多层次的映射，得到图像内容中的实体语义信息和关系语义信息；所述获取与所述情景信息相匹配的诗词信息的步骤，包括：根据所述实体语义信息和关系语义信息生成待生成诗词内容的风格；获取与所述风格相匹配的诗词信息。可选地，所述利用卷积神经网络模型对所述图内容像进行多层次的映射，得到图像内容中的实体语义信息和关系语义信息的步骤，包括：利用卷积神经网络模型的底层神经元对靠近图片边界的图像内容进行初步处理；利用卷积神经网络模型的中层神经元识别出图像内容中各图像元素的局部信息；根据初步处理结果和局部信息，利用卷积神经网络模型的高层神经元提取出图像内容的全局信息；将所述全局信息输入LSTM模型中，得到图像内容中的实体语义信息和关系语义信息。可选地，所述诗词内容的生成方法还包括：根据所述实体语义信息和关系语义信息，利用语料库提取出图像内容中实体的基本信息；根据所述基本信息，利用textRank算法获取与所述基本信息相关的高频词汇；获取包含所述高频词汇的诗词信息。可选地，所述并根据所述诗词信息生成诗词内容的步骤，包括：根据所述诗词信息的高频词汇，利用序列到序列模型生成每一句以所述高频词汇为主题的诗词内容。可选地，所述并根据所述诗词信息生成诗词内容之后，还包括：构建评估模型，利用所述评估模型对生成的诗词内容进行评分；当诗词内容中的诗句评分值低于预设值时，对所述诗句进行重生成，直至诗词内容中的所有诗句的评分值都高于预设值时止。可选地，所述利用所述评估模型对生成的诗词内容进行评分的步骤，包括：根据诗词内容中字词之间的搭配频率，利用所述评估模型对诗词内容的连贯性进行评分；根据字词之间声律的对应性，利用所述评估模型对诗词内容中前后两句诗句进行评分；根据押韵规则，利用所述评估模型对诗词内容的押韵进行评分。本发明提供的一种诗词内容的生成装置，包括：获取模块，用于获取客户端上传的图片；分析模块，用于提取所述图片的图像内容，对所述图像内容进行分析，获取所述图像内容所包含的情景信息；生成模块，用于获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端。本发明提供一种终端，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上任一项所述的诗词内容的生成方法的步骤。本发明提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的诗词内容的生成方法。相对于现有技术，本发明的技术方案至少具备如下优点：本发明提供的诗词内容的生成方法，获取客户端上传的图片后，从所述图片中提取出图像内容，并对所述图像内容进行分析，以获取所述图像内容所包含的情景信息；然后获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端，从而可根据图片生成与所述图片内容相匹配的诗词内容，摆脱了主题词的限制，丰富了诗词生成方式，提升用户体验。本发明提供的诗词内容的生成方法，还可利用卷积神经网络模型对所述图像内容进行多层次的映射，得到图像内容中的实体语义信息和关系语义信息，然后根据所述实体语义信息和关系语义信息生成待生成诗词内容的风格，以获取与所述风格相匹配的诗词信息，从而生成反映图像内容风格的诗词，提高诗词的生成质量。本发明提供的诗词内容的生成方法，还可通过构建评估模型，利用所述评估模型对生成的诗词内容进行评分；当诗词内容中的诗句评分低于预设值时，对所述诗句进行重生成，直至诗词内容中的所有诗句的评分都高于预设值时止，以保证生成的诗词内容有良好的质量。附图说明图1为本发明一个实施例中提供的诗词内容的生成方法的实施环境图；图2为本发明诗词内容的生成方法一种实施例流程框图；图3为本发明诗词内容的生成装置一种实施例模块框图；图4为本发明一个实施例中终端的内部结构框图。本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S11、S12等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。本领域普通技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。本领域普通技术人员可以理解，除非另外定义，这里使用的所有术语包括技术术语和科学术语，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图1为一个实施例中提供的诗词内容的生成方法的实施环境图，如图1所示，在该实施环境中，包括服务器110、终端120。终端120通过网络与服务器连接，所述终端120上安装有相应的客户端，用户可通过客户端上传图片，服务器110根据所述图片生成相应的诗词内容并返回至客户端。其中，上述网络可以包括因特网、2G3G4G、wifi等。需要说明的是，服务器110可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。终端120可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。请参阅图2，本发明所提供的一种诗词内容的生成方法，其中一种实施方式中，包括如下步骤：S21、获取客户端上传的图片；用户可以通过终端向服务器上传图片，所述图片可以是拍摄的照片、网上下载的图片或绘画作品。S22、提取所述图片的图像内容，对所述图像内容进行分析，获取所述图像内容所包含的情景信息；在本实施例中，服务器获取到用户上传的图片后，从所述图片中提取图像内容，如提取出图片的特征信息，如颜色特征、纹理特征、形状特征、空间关系特征等；然后对所述图像内容进行分析，分析图像内容中包含的人物和物体及其他们之间的相互关系，并获取所述图像内容所包含的情景信息，其中，所述情景信息可包括图像内容的实体、色调、实体间的相互关系等信息。S23、获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端。在本实施例中，可根据图像内容的情景信息得到与所述情景信息相匹配的诗词信息，并根据所述诗词信息自动生成与情景信息相匹配的诗句，如通过对诗词信息的筛选、替换、删除、整合等方式，生成新的诗句，并选择匹配度最高的诗句，得到诗词内容，以表达图片的图像内容。其中，所述诗词信息中包括生成诗词内容所需的诗词范本，如对唐诗三百首进行标点符合、段落的删除之后，生成诗词范本。本发明提供的诗词内容的生成方法，获取客户端上传的图片后，从所述图片中提取出图像内容，并对所述图像内容进行分析，以获取所述图像内容所包含的情景信息；然后获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端，从而可根据图片生成与所述图片内容相匹配的诗词内容，摆脱了主题词的限制，丰富了诗词生成方式，提升用户体验。可选地，所述情景信息包括实体语义信息和关系语义信息，所述对所述图像内容进行分析的步骤，包括:利用卷积神经网络模型对所述图像内容进行多层次的映射，得到图像内容中的实体语义信息和关系语义信息；在本实施例中，可利用卷积神经网络不同层次的神经元对图像内容分别作不同层次的处理，从而获得图像内容中的实体语义信息和关系语义信息，所述实体语义信息包括图像内容中的图像元素，如天空、鸟或树的图像元素，还包括图像元素中的其他特征信息，如天空是蓝的，树是直的等。所述关系语义信息为实体与实体之间的关系，如鸟在天上飞，鱼在水里游等映射关系。所述获取与所述情景信息相匹配的诗词信息的步骤，包括：根据所述实体语义信息和关系语义信息生成待生成诗词内容的风格；获取与所述风格相匹配的诗词信息。在本实施例中，可利用中文词法分析工具对资源库中的诗词信息进行分词，得到相应词汇表，如对诗词信息中“枯藤老树昏鸦，小桥流水人家”可分词为“枯藤、老树、昏鸦、小桥、流水、人家”，并对每个分词匹配相应的诗词风格，保存在词汇表中。生成诗词内容时，可根据图像内容中获取的所有实体语义信息和关系语义信息，从词汇表中得到与图像内容相匹配的诗词风格，如图像内容中包括了鸟、天空、海、鱼等实体语义信息，关系语义信息为鸟在天上自由翱翔，鱼在海里尽情游玩，则对应的诗词内容则是轻松欢快的风格，生成类似于“海阔凭鱼跃，天空任鸟飞”的诗词内容。又如，当图像内容中的实体为天空、晚霞、鸟、湖水时，关系语义信息为天空与水连成一片，鸟和晚霞在天上，则对应的诗词内容则是唯美的风格，类似于“落霞与孤鹜齐飞，秋水共长天一色”的诗词内容。在一实施例中，所述利用卷积神经网络模型对所述图内容像进行多层次的映射，得到图像内容中的实体语义信息和关系语义信息的步骤，包括：利用卷积神经网络模型的底层神经元对靠近图片边界的图像内容进行初步处理；在本实施例中，卷积神经网络模型的底层神经元对图像的边界进行处理，如可对靠近图片边界的不完整的图像元素进行虚化或删除等操作，以为后续进一步处理做准备。利用卷积神经网络模型的中层神经元识别出图像内容中各图像元素的局部信息；在本实施例中，卷积神经网络模型的中层神经元能够描述更复杂的图像内容，比如图片中鸟的头部或者翅膀，初步判断图像元素属性。根据初步处理结果和局部信息，利用卷积神经网络模型的高层神经元提取出图像内容的全局信息；高层神经元可根据边界处理的结果和中层神经元识别出的局部信息，对图像的全局信息进行提取，比如图像中鸟、天空或湖面等图像元素。将所述全局信息输入LSTM模型中，得到图像内容中的实体语义信息和关系语义信息。在本实施例中，利用LSTM模型对输入的全局信息进行处理，得到图像内容中所有的实体语义信息及关系语义信息，例如，图像内容中包括了天空、鸟、海、鱼实体，LSTM模型根据实体搭配频率将天空与鸟、鱼与海之间的关系。其中，所述LSTM模型是RNN模型的一种改进模型。在LSTM模型中，利用存储单元代替RNN模型中的常规神经元，每个存储单元与一个输入门、一个输出门和一个跨越时间步骤无干扰送入自身的内部状态相关联。相较于RNN模型，LSTM模型具有更强的记忆能力，能够记住更长的历史信息，被广泛用于图像分析中。本发明通过卷积神经网络模型对所述图内容像进行多层次的处理，以全面把握图片的图像内容，生成基本涵盖所述图片所有关键图像信息的诗词内容。在一实施例中，所述诗词内容的生成方法还包括：根据所述实体语义信息和关系语义信息，利用语料库提取出图像内容中实体的基本信息；根据所述基本信息，利用textRank算法获取与所述基本信息相关的高频词汇；获取包含所述高频词汇的诗词信息。在本实施例中，根据所述实体语义信息和关系语义信息，利用语料库获得实体的类别、属性和关系等基本信息，从而根据所述基本信息，通过textRank算法获取与实体相关联的高频词汇，如根据鸟、天空及鸟与天空的关系，可得到诸如翱翔、飞翔、展翅高飞等高频词汇，以根据所述高频词汇生成以所述高频词汇为主题的诗词。此外，获取高频词汇后，还可根据高频词汇出现的频率高低，选择出现频率靠前的高频词汇，作为生成诗词内容的主题。其中，所述textRank算法是一种用来做关键词提取的算法，也可以用于提取短语和自动摘要。提取关键词短语的方法基于关键词提取，可以简单认为：如果提取出的若干关键词在文本中相邻，那么构成一个被提取的关键短语。可选地，所述并根据所述诗词信息生成诗词内容的步骤，包括：根据所述诗词信息的高频词汇，利用序列到序列模型生成每一句以所述高频词汇为主题的诗词内容。具体地，当生成每一诗行时，将获得的所述基本信息和高频词汇通过序列到序列模型，生成每一行反映高频词汇的诗句，使得生成的诗行既能兼顾流畅性，又能兼顾意义。所述序列到序列模型Seq2Seq就像一个翻译模型，其输入是一个序列比如一个英文句子，输出也是一个序列比如该英文句子所对应的法文翻译，可用于将一个域的序列转化为另一个域的序列，并可随时生成文本，且这种模型的输入序列和输出序列的长度是可变化的。在一实施例中，所述并根据所述诗词信息生成诗词内容之后，还包括：构建评估模型，利用所述评估模型对生成的诗词内容进行评分；当诗词内容中的诗句评分值低于预设值时，对所述诗句进行重生成，直至诗词内容中的所有诗句的评分值都高于预设值时止。在本实施例中，通过构建评估模型，可对生成的诗词内容进行连贯性、整体性和押韵等方面的评估，对得分较低的诗句重新生成，以保证生成的诗词内容的各项指标在较好的范围内，提高诗词生成质量。其中，对诗词内容的各方面进行评估时，得到各方面的评分后，还可根据各方面的评分得出一个综合评分，当所述综合评分低于预设评分值时，对所述诗词内容进行重生成；也可当诗词内容中某一方面的评分较低时，只对该方面进行相应调整，如当生成的诗词押韵评分没满足要求时，单独调整诗词内容的押韵。可选地，所述利用所述评估模型对生成的诗词内容进行评分的步骤，包括：根据诗词内容中字词之间的搭配频率，利用所述评估模型对诗词内容的连贯性进行评分；根据字词之间声律的对应性，利用所述评估模型对诗词内容中前后两句诗句进行评分；根据押韵规则，利用所述评估模型对诗词内容的押韵进行评分。在本实施例中，可以利用高频搭配的方式计算字之间前后搭配的频率来得到相应的分数以表征诗句的连贯性评价；利用语料声律的对应性来评价诗词内容的匹配性，不在声律启蒙中的词汇，可以计算前后两句诗行中其他字的相似度来判断剩余字的相关性，进而对诗词内容的整体性进行评价；还可利用诗的押韵规则，对生成的诗进行押韵方面的评价，从而对诗词的各项指标都进行评估，得到整体质量较好的诗词内容。请参考图3，本发明的实施例还提供一种诗词内容的生成装置，一种本实施例中，包括获取模块31、分析模块32及生成模块33。其中，获取模块31，用于获取客户端上传的图片；用户可以通过终端向服务器上传图片，所述图片可以是拍摄的照片、网上下载的图片或绘画作品。分析模块32，用于提取所述图片的图像内容，对所述图像内容进行分析，获取所述图像内容所包含的情景信息；在本实施例中，服务器获取到用户上传的图片后，从所述图片中提取图像内容，如提取出图片的特征信息，如颜色特征、纹理特征、形状特征、空间关系特征等；然后对所述图像内容进行分析，分析图像内容中包含的人物和物体及其他们之间的相互关系，并获取所述图像内容所包含的情景信息，其中，所述情景信息可包括图像内容的实体、色调、实体间的相互关系等信息。生成模块33，用于获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端。在本实施例中，可根据图像内容的情景信息得到与所述情景信息相匹配的诗词信息，并根据所述诗词信息自动生成与情景信息相匹配的诗句，如通过对诗词信息的筛选、替换、删除、整合等方式，生成新的诗句，并选择匹配度最高的诗句，得到诗词内容，以表达图片的图像内容。其中，所述诗词信息中包括生成诗词内容所需的诗词范本，如对唐诗三百首进行标点符合、段落的删除之后，生成诗词范本。本发明提供的诗词内容的生成装置，获取客户端上传的图片后，从所述图片中提取出图像内容，并对所述图像内容进行分析，以获取所述图像内容所包含的情景信息；然后获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端，从而可根据图片生成与所述图片内容相匹配的诗词内容，摆脱了主题词的限制，丰富了诗词生成方式，提升用户体验。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。图4示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图4，手机包括：射频RadioFrequency，RF电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真wirelessfidelity，WiFi模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图4中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。下面结合图4对手机的各个构成部件进行具体的介绍：RF电路610可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器680处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器LowNoiseAmplifier，LNA、双工器等。此外，RF电路60还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统GlobalSystemofMobilecommunication，GSM、通用分组无线服务GeneralPacketRadioService，GPRS、码分多址CodeDivisionMultipleAccess，CDMA、宽带码分多址WidebandCodeDivisionMultipleAccess,WCDMA、长期演进LongTermEvolution,LTE、电子邮件、短消息服务ShortMessagingService，SMS等。存储器620可用于存储计算机可读存储指令以及模块，处理器680通过运行存储在存储器620的计算机可读存储指令以及模块，从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序比如声音播放功能、图像播放功能等等；存储数据区可存储根据手机的使用所创建的数据比如音频数据、电话本等等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入单元630可用于接收输入的数字或字符信息，以及产生与手机600的用户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控面板631以及其他输入设备632。触控面板631，也称为触摸屏，可收集用户在其上或附近的触摸操作比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键比如音量控制按键、开关按键等、轨迹球、鼠标、操作杆等中的一种或多种。显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641，可选的，可以采用液晶显示器LiquidCrystalDisplay，LCD、有机发光二极管OrganicLight-EmittingDiode,OLED等形式来配置显示面板641。进一步的，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图4中，触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。手机600还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在手机移动到耳边时，关闭显示面板641和或背光。作为运动传感器的一种，加速计传感器可检测各个方向上一般为三轴加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用比如横竖屏切换、相关游戏、磁力计姿态校准、振动识别相关功能比如计步器、敲击等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。音频电路660、扬声器661，传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一手机，或者将音频数据输出至存储器620以便进一步处理。WiFi属于短距离无线传输技术，手机通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块670，但是可以理解的是，其并不属于手机600的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的计算机可读存储指令和或模块，以及调用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器680可包括一个或多个处理单元；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。手机600还包括给各个部件供电的电源690比如电池，优选的，电源可以通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。尽管未示出，手机600还可以包括摄像头、蓝牙模块等，在此不再赘述。在本发明实施例中，当存储在存储器620的计算机可读存储指令以及模块被处理器执行时，可使得处理器680实现上述诗词内容的生成方法，以及实现所示实施例中诗词内容的生成装置中的相应模块的功能。在一个实施例中，本发明还提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述诗词内容的生成方法。例如，所述存储介质可以是ROM、随机存取存储器RAM、CD-ROM、磁带、软盘和光数据存储设备等。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体Read-OnlyMemory，ROM等非易失性存储介质，或随机存储记忆体RandomAccessMemory，RAM等。综合上述实施例可知，本发明最大的有益效果在于：本发明提供的诗词内容的生成方法、装置、终端及存储介质，获取客户端上传的图片后，从所述图片中提取出图像内容，并对所述图像内容进行分析，以获取所述图像内容所包含的情景信息；然后获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端，从而可根据图片生成与所述图片内容相匹配的诗词内容，丰富了诗词生成方式，提升用户体验。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

权利要求：1.一种诗词内容的生成方法，其特征在于，包括如下步骤：获取客户端上传的图片；提取所述图片的图像内容，对所述图像内容进行分析，获取所述图像内容所包含的情景信息；获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端。2.根据权利要求1所述的诗词内容的生成方法，其特征在于，所述情景信息包括实体语义信息和关系语义信息，所述对所述图像内容进行分析的步骤，包括:利用卷积神经网络模型对所述图像内容进行多层次的映射，得到图像内容中的实体语义信息和关系语义信息；所述获取与所述情景信息相匹配的诗词信息的步骤，包括：根据所述实体语义信息和关系语义信息生成待生成诗词内容的风格；获取与所述风格相匹配的诗词信息。3.根据权利要求2所述的诗词内容的生成方法，其特征在于，所述利用卷积神经网络模型对所述图内容像进行多层次的映射，得到图像内容中的实体语义信息和关系语义信息的步骤，包括：利用卷积神经网络模型的底层神经元对靠近图片边界的图像内容进行初步处理；利用卷积神经网络模型的中层神经元识别出图像内容中各图像元素的局部信息；根据初步处理结果和局部信息，利用卷积神经网络模型的高层神经元提取出图像内容的全局信息；将所述全局信息输入LSTM模型中，得到图像内容中的实体语义信息和关系语义信息。4.根据权利要求2所述的诗词内容的生成方法，其特征在于，还包括：根据所述实体语义信息和关系语义信息，利用语料库提取出图像内容中实体的基本信息；根据所述基本信息，利用textRank算法获取与所述基本信息相关的高频词汇；获取包含所述高频词汇的诗词信息。5.根据权利要求4所述的诗词内容的生成方法，其特征在于，所述并根据所述诗词信息生成诗词内容的步骤，包括：根据所述诗词信息的高频词汇，利用序列到序列模型生成每一句以所述高频词汇为主题的诗词内容。6.根据权利要求1所述的诗词内容的生成方法，其特征在于，所述并根据所述诗词信息生成诗词内容之后，还包括：构建评估模型，利用所述评估模型对生成的诗词内容进行评分；当诗词内容中的诗句评分值低于预设值时，对所述诗句进行重生成，直至诗词内容中的所有诗句的评分值都高于预设值时止。7.根据权利要求6所述的诗词内容的生成方法，其特征在于，所述利用所述评估模型对生成的诗词内容进行评分的步骤，包括：根据诗词内容中字词之间的搭配频率，利用所述评估模型对诗词内容的连贯性进行评分；根据字词之间声律的对应性，利用所述评估模型对诗词内容中前后两句诗句进行评分；根据押韵规则，利用所述评估模型对诗词内容的押韵进行评分。8.一种诗词内容的生成装置，其特征在于，包括：获取模块，用于获取客户端上传的图片；分析模块，用于提取所述图片的图像内容，对所述图像内容进行分析，获取所述图像内容所包含的情景信息；生成模块，用于获取与所述情景信息相匹配的诗词信息，并根据所述诗词信息生成诗词内容返回至所述客户端。9.一种终端，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的诗词内容的生成方法的步骤。10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的诗词内容的生成方法。

百度查询： 平安科技(深圳)有限公司 诗词内容的生成方法、装置、终端及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD