买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明提出了一种基于Transformer的语义通信系统及方法，所述系统包括自适应通用编码器、无线信道模块和自适应通用解码器。所述自适应通用编码器与自适应通用解码编码器通过无线信道模块连接。本发明方法根据文本的语义进行编码，引入基于UniversalTransformer的ACT算法用于检测编解码是否充分，将循环编解码机制引入语义通信中。本发明方法在低信噪比的情况下，能够提升文本传输的准确度。本发明方法对于不同的文本语义，可以应用不同的循环次数，相比现有的基于Transformer的语义通信系统，能够灵活调节，具有更好的效果。

主权项：1.一种基于Transformer的语义通信系统，其特征在于，包括自适应通用编码器、无线信道模块和自适应通用解码器；所述自适应通用编码器与自适应通用解码编码器通过无线信道模块连接；所述自适应通用编码器包括输入语句嵌入模块、循环编码模块和ACT模块；所述自适应通用解码器包括目标语句词嵌入模块、循环解码模块和ACT模块；所述输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；所述循环编码模块用于对词嵌入后的输入语句进行编码；所述目标语句词嵌入模块用于对目标语句进行词嵌入，并添加位置向量；所述循环解码模块用于对词嵌入后的目标语句和通过无线信道接收的编码的输入语句进行解码；所述ACT模块用于检测编解码是否充分；其中，所述ACT模块的工作过程具体为：第1步、建立一个输出维度为1的全连接层Dense；第2步、定义截止向量HaltingScore，所述截止向量HaltingScore是一个取值在[0，1]的标量，每一次循环编码模块或者循环解码模块运行完之后，累计上一步中所积累的所有截止值，当累积的截止向量HaltingScore达到1时，计算停止，输出结果，跳出编解码循环进入下一步；第3步、计算当前的输入向量X的状态P，所述状态P的计算方式为：P＝SigmoidDenseX其中，Sigmoid表示激活函数Sigmoid；第4步、统计当前输入中满足编解码条件的向量，公式如下：Still＝HaltingScore1；第5步、对满足停止条件的位置进行Mask操作，得到new_halt，公式如下：new_halt＝HaltScore+p*StillThreshold*Still；第6步、更新输入的向量不满足条件，仍处于运行状态的情况，公式如下：Still＝HaltScore+p*StillThreshold*Still；第7步、更新截止向量HaltingScore，公式如下：HaltingScore＝HaltingScore+P*Still；第8步、计算残留值Remainder，公式如下：Remainder＝new_halt*1-HaltingScore；第9步、根据残留值Remainder和截止向量HaltingScore计算更新权重W，公式如下：W＝P*Still+new_halt*Remainder；第10步、根据更新权重对原输入进行更新，公式如下：State＝State*W+previouState*1-W；第11步、重复上述3-10步直至所有向量满足ACT的停止条件，或者达到预先设置的最大停止次数。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于Transformer的语义通信系统及方法