申请/专利权人：三星电子株式会社

申请日：2018-12-26

公开（公告）日：2024-06-07

公开（公告）号：CN109961072B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06V10/44;G06N3/0464;G06N3/048;G06N3/08

优先权：["20171226 KR 10-2017-0180131"]

专利状态码：有效-授权

法律状态：2024.06.07#授权;2020.12.22#实质审查的生效;2019.07.02#公开

摘要：提供一种用于执行神经网络操作的设备和操作该设备的方法。一种操作被配置为对连续输入的图像帧执行神经网络操作的神经网络装置的方法，所述方法包括：由处理电路，通过对基于第一先前特征图和第一当前特征图的特征值之间的差产生的第一增量特征图执行线性操作来产生第二增量特征图；将作为第二先前特征图的特征值从至少一个存储器加载到处理电路上，所加载的特征值是与存储在所述至少一个存储器中的第一特征图中的将被更新的第一局部区域对应的特征值；在处理电路，基于第二增量特征图和第二先前特征图来产生第二当前特征图；通过将第二当前特征图存储在所述至少一个存储器中来更新第一特征图。

主权项：1.一种操作神经网络装置的方法，所述神经网络装置被配置为对连续输入的图像帧执行神经网络操作，所述方法包括：由处理电路，通过对基于当前图像帧与先前图像帧之间的差产生的第一增量特征图执行线性操作来产生第二增量特征图；将作为第二先前特征图的特征值从至少一个存储器加载到处理电路上，所加载的特征值是与存储在所述至少一个存储器中的第一特征图中的将被更新的第一局部区域对应的特征值；由处理电路，基于第二增量特征图和第二先前特征图来产生第二当前特征图；由处理电路，通过对第二先前特征图和第二当前特征图执行非线性操作来产生第三增量特征图；以及通过将第二当前特征图存储在所述至少一个存储器中来更新第一特征图。

全文数据：用于执行神经网络操作的设备和操作该设备的方法本申请要求于2017年12月26日提交到韩国知识产权局的第10-2017-0180131号韩国专利申请的权益，所述韩国专利申请的公开通过引用全部包含于此。技术领域本发明构思的至少一个示例实施例涉及一种半导体设备，更具体地讲，涉及一种用于对连续接收的图像帧执行神经网络操作的设备和操作该设备的方法。背景技术神经网络表示对生物大脑进行建模的计算架构。最近，随着神经网络技术的发展，各种电子系统通过使用神经网络装置分析输入数据并提取有效信息的研究正在积极地进行。神经网络装置对于复杂的输入数据需要大量的运算。为了允许神经网络装置对连续的输入图像帧进行实时分析并提取信息，需要可有效地处理神经网络操作的技术。发明内容本发明构思的至少一些示例实施例提供了一种可提高处理速度并降低功耗的神经网络装置以及操作该神经网络装置的方法。根据本发明构思的至少一些实例实施例，一种操作神经网络装置的方法，所述神经网络装置被配置为对连续输入的图像帧执行神经网络操作，所述方法包括：由处理电路，通过对基于第一先前特征图的特征值与第一当前特征图的特征值之间的差产生的第一增量特征图执行线性操作来产生第二增量特征图；将作为第二先前特征图的特征值从至少一个存储器加载到处理电路上，所加载的特征值是与存储在所述至少一个存储器中的第一特征图中的将被更新的第一局部区域对应的特征值；由处理电路，基于第二增量特征图和第二先前特征图来产生第二当前特征图；通过将第二当前特征图存储在所述至少一个存储器中来更新第一特征图。根据本发明构思的至少一些实例实施例，一种操作应用处理器的方法，所述应用处理器被配置为执行神经网络操作，所述方法包括：由计算模块，通过对基于先前输入帧与当前输入帧之间的差产生的增量特征图执行线性操作来产生线性增量特征图；将第一特征值从第一存储器和第二存储器中的至少一个加载到计算模块的处理电路上，所述第一特征值被包括在至少一个第一块中，所述至少一个第一块是存储在第一存储器和第二存储器中的所述至少一个中的先前特征图的多个块之中的与线性增量特征图的有效块对应的块；由计算模块，通过对包括在线性增量特征图的有效块中的增量特征值的每一个和所述第一特征值之中的对应的特征值进行相加来产生当前特征图；由计算模块，基于当前特征图来更新先前特征图。根据本发明构思的至少一些实例实施例，一种计算装置，被配置为对连续接收的输入帧执行神经网络操作，所述计算装置包括：处理电路，被配置为：通过对基于第一先前特征图的特征值与第一当前特征图的特征值之间的差产生的第一增量特征图执行线性操作来产生第二增量特征图，基于第二先前特征图和第二增量特征图来产生第二当前特征图；存储器，被配置为存储第二先前特征图，其中，计算装置被配置为：将第二先前特征图中的将被更新的第一局部区域的特征值从存储器提供给处理电路。附图说明通过参照附图详细描述本发明构思的示例实施例，本发明构思的示例实施例的以上和其他特征以及优点将变得更加清楚。附图意在描绘本发明构思的示例实施例，并不应被解释为限制权利要求的预期范围。除非明确地指出，否则附图不应被认为按比例绘制。图1是根据本发明构思的至少一个示例实施例的电子系统的框图；图2是神经网络结构的示例的示图；图3是根据本发明构思的至少一个示例实施例的连续输入到神经网络装置的图像帧以及图像帧之间的差的示图；图4是根据本发明构思的至少一个示例实施例的包括神经网络装置的神经网络系统的操作方法的示图；图5A和图5B是根据本发明构思的至少一个示例实施例的增量delta层的框图；图6是根据本发明构思的至少一个示例实施例的神经网络装置的框图；图7是根据本发明构思的至少一个示例实施例的处理电路的框图；图8是用于解释根据本发明构思的至少一个示例实施例的操作神经网络装置的方法的示图；图9是示出根据本发明构思的至少一个示例实施例的基于块来管理增量特征值和特征值的示例的示图；图10是根据本发明构思的至少一个示例实施例的适用于参照图8所描述的内容的操作神经网络装置的方法的流程图；图11是用于解释根据本发明构思的至少一个示例实施例的操作神经网络装置的方法的示图；图12A和图12B是连续的图像帧的示图；图13是用于解释根据本发明构思的至少一个示例实施例的神经网络装置的操作的流程图；图14是根据本发明构思的至少一个示例实施例的神经网络系统的框图；图15是用于解释根据本发明构思的至少一个示例实施例的在神经网络系统中估计当前图像帧的操作结果的方法的示图；图16是根据本发明构思的至少一个示例实施例的操作神经网络系统的方法的流程图。具体实施方式在附图中根据功能块、单元和或模块来描述和示出实施例，是本发明构思的领域中的传统。本领域技术人员将理解，这些块、单元和或模块通过可使用基于半导体的加工技术或其他制造技术形成的电子或光学电路诸如，逻辑电路、分立组件、微处理器、硬连线电路、存储器元件、接线连接等被物理地实现。在块、单元和或模块由微处理器或类似物实现的情况下，它们可使用软件例如，微代码被编程以执行在此讨论的各种功能，并可选择地由固件和或软件驱动。可选地，每个块、单元和或模块可由专用硬件实现，或者可被实现为用于执行一些功能的专用硬件和用于执行其他功能的处理器例如，一个或多个编程的微处理器和相关联的电路的组合。此外，在不脱离本发明构思的范围的情况下，实施例的每个块、单元和或模块可被物理地分成两个或更多个相互作用并且分立的块、单元和或模块。此外，在不脱离本发明构思的范围的情况下，实施例的块、单元和或模块可被物理地组合成更复杂的块、单元和或模块。在一些示例实施例中，术语“操作”可被理解为术语“计算”。图1是根据本发明构思的至少一个示例实施例的电子系统10的框图。根据本发明构思的至少一个示例实施例的电子系统10可基于神经网络对输入数据进行实时分析以提取有效信息，并基于提取的信息来确定情境situation或控制安装电子系统10的电子设备的元件。例如，电子系统10可适用于无人机、高级驾驶员辅助系统ADAS以及以下设备：诸如，智能电视、智能电话、医疗设备、移动设备、图像显示装置、测量设备、机器人设备和物联网IoT。电子系统10可被安装在各种电子设备中的一种电子设备上。根据本发明构思的至少一个示例实施例，图1的电子系统10可以是应用处理器。电子系统10可被定义为包括执行神经网络操作功能的神经网络系统。参照图1，电子系统10可包括中央处理器CPU11、随机存取存储器RAM12、神经网络装置13、存储器14和传感器模块15。电子系统10还可包括输入输出模块、安全模块和功率控制器，并还可包括各种操作设备。根据本发明构思的至少一个示例实施例，电子系统10的元件CPU11、RAM12、神经网络装置13、存储器14和传感器模块15中的全部或一些可被安装在一个半导体芯片中。例如，电子系统10可被实现为片上系统SoC。电子系统10的元件可通过总线16彼此通信。CPU11控制电子系统10的整体操作。CPU11可包括一个处理器核单核，或者包括多个处理器核多核。CPU11可处理或执行存储在存储器14中的程序和或数据。根据本发明构思的至少一个示例实施例，CPU11可通过执行存储在存储器14中的程序来控制神经网络装置13的功能。RAM12可临时存储程序、数据或指令。例如，存储在存储器14中的程序和或数据可在CPU11的控制下或根据启动代码被临时存储在RAM12中。RAM12可被实现为诸如动态RAMDRAM或静态RAMSRAM的存储器。神经网络装置13可基于接收的输入数据执行神经网络操作即，提供的神经网络的操作，并基于神经网络操作的执行结果称为操作结果来产生信息信号。神经网络装置13可由计算装置、计算模块等来表示。神经网络可包括各种神经网络模块诸如，卷积神经网络CNN、基于区域的卷积神经网络R-CNN、区域建议网络RPN、递归神经网络RNN、基于堆叠的深度神经网络S-DNN、状态空间动态神经网络S-SDNN、反卷积网络、深度信念网络DBN、受限玻尔兹曼机RBM、全卷积网络、长短期记忆LSTM网络、分类网络，但不限于此。此外，被配置为执行一个任务的神经网络可包括被实现为上述的神经网络模块的子神经网络。参照图2来描述神经网络结构的示例。图2示出作为神经网络结构的示例的卷积神经网络的结构。参照图2，神经网络NN可包括多个层L1至Ln。多个层L1至Ln中的每一层可以是线性层或者非线性层。根据本发明构思的至少一个示例实施例，至少一个层连接到至少一个非线性层，并且它们可由一个层来表示。作为示例，线性层可包括卷积层、全连接层fullyconnectedlayer，非线性层可包括池化层poolinglayer和激活层。作为示例，第一层L1可以是卷积层，第二层L2可以是池化层，第n层可以是作为输出层的全连接层。神经网络NN还可包括激活层，并且还可包括被配置为执行不同种类的操作的层。多个层L1至Ln中的每一层可接收从输入图像帧或先前层产生的特征图作为输入特征图，并对输入特征图执行运算以产生输出特征图或识别信号REC。在这种情况下，特征图表示输入数据的各种特征已经被表达的数据。例如，特征图FM1至FMn可具有二维2D矩阵形式或三维3D矩阵或称为张量tensor形式。特征图FM1至FMn具有宽度或称为列W、高度或称为行H和深度D。这些可分别地对应于坐标系上的x轴、y轴和z轴。在这种情况下，深度D可由通道的数量表示。第一层L1可对第一特征图FM1和权重图WM执行卷积以产生第二特征图FM2。权重图WM可对第一特征图FM1进行滤波，并可由滤波器或内核来表示。根据本发明构思的至少一些示例实施例，权重图WM的深度即，权重图WM的通道的数量与第一特征图FM1的深度即，通道的数量相同。可对权重图WM和第一特征图FM1的相同通道执行卷积。在第一输入特征图FM1上将权重图WM作为滑动窗口以交叉的方式来进行移动。移动量可用“步长度”或“步长”来表示。在每次移动期间，可将包括在权重图WM中的每个权重与包括在第一特征图FM1中的与其重叠的特征值相乘，并将相乘结果相加。当对第一特征图FM1和权重图WM执行卷积，第二特征图FM2的一个通道可被产生。虽然图2示出一个权重图WM，但是基本上可对多个权重图和第一特征图FM1执行卷积，并且可产生第二特征图FM2的多个通道。换句话说，第二特征图FM2的通道的数量可对应于权重图WM的数量。第二层L2可通过经由池化改变第二特征图FM2的空间大小来产生第三特征图FM3。可由采样或下采样来表示池化。2D池化窗口PW可基于池化窗口PW的大小在第二特征图FM2上移动，与池化窗口PW重叠的区域的特征值之中的期望值例如，最大值，或可选地，特征值的平均值可被选择。因此，可从第二特征图FM2产生空间大小已经改变的第三特征图FM3。第三特征图FM3的通道的数量与第二特征图FM2的通道的数量相同。第n层Ln可将第n特征图FMn的特征进行组合以对输入数据的类别CL进行分类。此外，第n层可产生与该类别对应的识别信号REC。根据本发明构思的至少一个示例实施例，输入数据可对应于包括在视频流中的帧数据，第n层可识别对象，并可通过基于从先前帧提供的第n特征图FMn提取与包括在由帧数据表示的图像中的对象对应的类别来产生与识别的对象对应的识别信号REC。参照图1，神经网络装置13中接收的输入数据可以是连续接收的图像帧，信息信号可以是基于图像的信号诸如，对象识别信号和图像识别信号。例如，神经网络装置13可接收视频流的图像帧，并产生关于由图像帧表示的图像中的对象的识别信号。在被配置为基于视频流来识别情境的神经网络系统中，神经网络装置13可接收类似形式的连续的图像帧以输出几乎相同的神经网络操作结果。如果神经网络系统的输入与输出类似，则在神经网络操作处理期间产生的中间操作结果例如，特征图也很可能类似。在对当前图像帧执行神经网络操作时，根据本发明构思的至少一个示例实施例的神经网络装置13可通过重复使用关于先前图像帧的中间操作结果来减少操作量并提高操作处理速度。同时，神经网络装置13可在神经网络装置13的内部存储器或外部存储器例如，存储器14中存储关于先前图像帧的至少一个中间操作结果例如，特征图，并且在之后重复使用中间操作结果时，可访问并更新应该被重复使用即，应该被更新或者预期将被重复使用的一些值例如，特征图的一些特征，而不是访问并更新整个中间操作结果。根据本发明构思的至少一个示例实施例，神经网络装置13可将下面的值存储在距执行神经网络操作的操作电路具有相对短的距离的存储器例如，处理单元中：关于当前帧产生的中间操作结果之中的在对下一帧执行神经网络操作时具有相对高的被重复使用的概率的一些值，并将下面的其他值存储在距操作电路具有相对长的距离的存储器中：例如，在对下一帧执行神经网络操作时具有相对低的被重复使用的概率的值。在这种情况下，存储器与操作电路之间的距离表示物理距离或时间距离。存储器与操作电路之间的相对短的距离可表示当将存储在存储器中的数据加载到操作电路上或者将从操作电路输出的数据存储在存储器中时，访问存储器相对容易或用于访问存储器所耗费的时间相对短。根据本发明构思的至少一个示例实施例，具有距处理单元相对短的距离的存储器的访问延迟可比具有距处理单元相对长的距离的存储器的访问延迟更短。根据本发明构思的至少一个示例实施例，神经网络装置13可基于接收的图像帧之间的几何特性来估计关于图像帧的操作结果，并基于估计的操作结果来跳过对图像帧的至少一部分的神经网络操作。因此，当神经网络装置13将中间操作结果存储在存储器中，并重复使用存储在存储器中的中间操作结果时，存储器事务transaction和与存储器事务对应的所耗费的时间可被减少。下面描述可减少存储器事务和与存储器事务对应的所耗费的时间的操作神经网络装置的详细方法。存储器14是用于存储数据的位置，并可存储操作系统OS、各种程序和各种数据。根据本发明构思的至少一个示例实施例，存储器14可存储在神经网络装置13执行操作时产生的中间操作结果。此外，存储器14可存储在神经网络装置13中使用的各种参数例如，权重图，偏差图biasmap等。在中间操作结果被存储在存储器14中的情况下，对存储器14的访问可频繁地进行，存储器事务可增加。然而，在根据本发明构思的至少一个示例实施例的操作神经网络装置13的方法中，存储器事务的增加可被防止或缓解。存储器14可以是DRAM，并且不限于此。存储器14可包括易失性存储器和非易失性存储器中的至少一个。非易失性存储器包括ROM、可编程ROMPROM、电可编程ROMEPROM、电可擦除可编程ROMEEPROM、闪存、相变RAMPRAM、磁RAMMRAM、电阻RAMRRAM和铁电RAMFeRAM。易失性存储器包括DRAM、SRAM和同步DRAMSDRAM。根据本发明构思的至少一个示例实施例，存储器14可包括以下中的至少一个：硬盘驱动器HDD、固态驱动器SDD、紧凑型闪存CF卡、安全数字SD卡、微型SD卡、迷你SD卡、极限数字xD卡和记忆棒。传感器模块15可收集安装电子系统10的电子设备的周围信息。传感器模块15可从电子设备的外部感测或接收图像信号，并将感测或接收的图像信号转换为图像数据即，图像帧。为此，传感器模块15可包括感测设备即，诸如拍摄设备、图像传感器、光检测和测距LIDAR传感器、超声传感器和红外传感器的各种感测设备中的至少一个，或者可从上述的设备接收感测信号。传感器模块15可将图像帧提供给神经网络装置13。例如，传感器模块15可包括图像传感器，捕捉电子设备的外部环境以产生视频流，并顺序地将视频流的连续的图像帧提供给神经网络装置13。图3示出根据本发明构思的至少一个示例实施例的连续输入到神经网络装置的图像帧以及图像帧之间的差。预先输入的图像帧IFt-1被称为先前图像帧PF，之后输入的图像帧IFt被称为当前图像帧CF。参照图3，连续输入的先前图像帧PF和当前图像帧CF可具有非常相似的图像。当前图像帧CF与先前图像帧PF之间的差可由增量帧deltaframeDF来表示。图3示中出的先前图像帧和当前图像帧仅是根据本发明的一个示例实施例。例如，在其他示例实施例中，先前图像帧和当前图像帧不必一定是彼此相邻的两个图像帧，它们也可相隔预定数量的图像帧。在增量帧DF中，暗的部分表示先前图像帧PF和当前图像帧CF的像素值之间的差为零或非常小的像素，并表示具有零值或小于阈值的值的增量像素，亮的部分表示先前图像帧PF和当前图像帧CF的像素值之间的差较大的像素，并表示具有非零值或者阈值或更大的值的增量像素。具有非零值或者阈值或更大的值的增量像素被称为有效像素，具有零值或小于阈值的值的增量像素被称为无效像素。在增量帧DF中，大多数增量像素是无效像素，有效像素的数量可能非常小。如上所述，在增量帧DF中，有效像素的数量可比无效像素的数量相对少得多。图4是根据本发明构思的至少一个示例实施例的包括神经网络装置的神经网络系统的操作方法的示图。根据本发明构思的至少一个示例实施例的神经网络系统可在对当前图像帧执行神经网络操作时使用关于先前图像帧的中间操作结果。参照图4，先前特征图PFM1至先前特征图PFM5是对先前图像帧PF执行的神经网络操作的中间操作结果，增量特征图DFM1至增量特征图DFM5是对增量帧DF执行的神经网络操作的中间操作结果。换句话说，在先前时间点t-1分别对第一层至第五层执行的操作结果被输出作为先前特征图PFM1至先前特征图PFM5，在当前时间点t分别对第一增量层至第五增量层执行的操作结果被输出作为当前时间点t的增量特征图DFM1至增量特征图DFM5。同时，第一增量层至第五增量层的运算符operator和操作数例如，偏置、权重等可以与第一层至第五层的运算符和操作数例如，偏置、权重等相同或类似。例如，第一增量层的运算符和操作数可以与第一层的运算符和操作数相同或类似。然而，第一增量层可与第一层的不同之处在于对增量帧而不是对输入帧执行操作以及在于在执行操作的处理期间可使用先前特征图PFM1至先前特征图PFM5。下面参照图5A和图5B来描述增量层。对当前图像帧CF的神经网络操作的中间操作结果例如，当前特征图CFM1至当前特征图CFM5可基于先前特征图PFM1至先前特征图PFM5和增量特征图DFM1至增量特征图DFM5来产生，而没有对当前图像帧CF的神经网络操作。例如，可将第一先前特征图PFM1和第一增量特征图DFM1进行相加来产生第一当前特征图CFM1。如上所述，由于基于先前图像帧PF与当前图像帧CF之间的数据差来执行操作，因此，神经网络系统的操作方法可被称为增量网络操作。如上参照图3所述，增量帧DF的有效像素的数量可比无效像素的数量相对少得多。由于增量帧DF的无效像素不影响增量帧DF的操作结果，因此，对无效像素的操作可被省略。因此，由于在增量特征图DFM1至增量特征图DFM5中对具有零值的增量特征的操作被省略，所以对先前特征图PFM1至先前特征图PFM5和当前特征图CFM1至当前特征图CFM5的重复操作量可被减少。因此，与对一般图像帧例如，先前图像帧PF的操作量相比，对增量帧DF的操作量可非常小。因此，与对当前图像帧CF执行神经网络操作的情况相比，神经网络系统可通过基于关于先前图像帧PF的中间操作结果和关于增量帧DF的中间操作结果产生关于当前图像帧CF的中间操作结果来减少操作量。因此，神经网络装置13参见图1的处理速度即，神经网络操作速度可被提高，功耗可被降低。图5A和图5B是根据本发明构思的至少一个示例实施例的增量层的示例。例如，图4的第一增量层至第五增量层中的至少一个可通过图5A或图5B的增量层结构来实现。参照图5A，增量层DLa可包括线性操作、加法和非线性操作。对于非限制示例，线性操作可包括卷积、算术运算等，非线性操作可包括池化、激活函数运算activefunctionoperation等。线性操作和加法可配置线性层，非线性操作可配置非线性层。第一增量特征图DFM1可从先前增量层输入。第一增量特征图DFM1是增量层DLa的输入数据。第一增量特征图DFM1可以是从先前层输出的增量特征图，或者可以是基于先前输入的先前图像帧和当前输入的当前图像帧产生的增量帧。第一增量特征图DFM1包括具有零值的增量特征或者可被称为增量像素以及具有非零值的增量特征。可对第一增量特征图DFM1执行线性操作以产生第二增量特征DFM2。第二增量特征图特征图DFM2还可被称为线性特征图LFM或线性增量特征图ΔLFM。在本公开中，对增量特征图执行线性操作得到的特征图也可被称为线性增量特征图。同时，不能对先前图像帧与当前图像帧之间的差即，增量特征图执行非线性操作。为了执行非线性操作，需要先前特征图PFM和当前特征图CFM。第二增量特征图DFM2可被相加到先前特征图PFM以产生当前特征图CFM。可对先前特征图PFM和当前特征图CFM执行非线性操作，并可基于执行非线性操作的结果来产生第三增量特征图DFM3。例如，对先前特征图PFM执行非线性操作的结果与对当前特征图CFM执行非线性操作的结果之间的差可被产生为第三增量特征图DFM3。第三增量特征图DFM3可被提供为下一个增量层的输入数据。尽管图5A示出增量层DLa包括线性操作和非线性操作，但是增量层DLa不限于此。根据本发明构思的至少一个示例实施例，如图5B中所示，增量层DLb可仅包括线性操作。先前特征图PFM被相加到通过线性操作产生的第二增量特征图DFM2以产生当前特征图CFM，当前特征图CFM可被输出。如上参照图5A和图5B所示，增量层需要先前特征图PFM来产生当前特征图CFM。在对下一图像帧的操作期间，当前特征图CFM可被提供为先前特征图PFM。因此，需要更新先前特征图PFM的处理。在这种情况下，由于先前特征图PFM被存储在存储器中并被使用，因此，额外的存储器带宽可被需要以从存储器读取先前特征图PFM并且还将产生的当前特征图CFM存储在存储器中。然而，下面将描述的根据本发明构思的至少一个示例实施例的神经网络装置可在重复使用存储在存储器中的特征图例如，先前特征图时仅读取将从先前特征图更新的特征，或者将当前特征图的特征之中的在对下一图像帧执行神经网络操作时具有高的被更新的概率的特征存储在内部缓冲器中或具有距操作电路相对短的距离的存储器中，或者估计神经网络操作结果并基于估计的操作结果当操作结果的改变小时跳过操作的执行。因此，存储器事务和与存储器事务对应的所耗费的时间可被减少，神经网络装置可在不增加额外存储器带宽的情况下，高效地执行神经网络操作。图6是根据本发明构思的至少一个示例实施例的神经网络装置13的框图。参照图6，神经网络装置13可包括处理器100、控制器200和存储器300。此外，处理器100可包括多个处理电路120和存储器140。此外，神经网络装置13还可包括用于将数据存储在外部存储器中的直接存储器存取DMA控制器。尽管图6示出神经网络装置13包括一个处理器100，但是神经网络装置13不限于此，并可包括多个处理器100。可通过使用硬件电路来实现处理器100。根据本发明构思的至少一个示例实施例，神经网络装置13可通过使用一个半导体芯片例如，SoC来实现。然而，神经网络装置13不限于此，并可通过使用多个半导体芯片来实现。为了便于描述，设置在处理器100内部的存储器140由第一存储器140表示，设置在处理器100外部的存储器300由第二存储器300表示。控制器200可通过使用CPU、微处理器等来实现，并且可控制神经网络装置13的整体操作。控制器200可设置和管理神经网络操作参数，使得处理器100正常地计算神经网络的层的操作。此外，控制器200可控制神经网络装置13，使得多个处理电路120基于关于神经网络装置13的管理策略而高效地操作，并控制处理器100的内部外部元件之间的数据的输入输出、操作流等。例如，控制器200可确定存储在第一存储器140或第二存储器300中的特征图中的将被更新的局部区域即，先前特征图，并基于特征图将待更新的局部区域的特征值加载到多个处理电路120之中的将执行操作的处理电路120上。根据本发明构思的至少一个示例实施例，控制器200可分析连续接收的图像帧以分析包括在图像中的对象的几何特性例如，几何运动。控制器200可基于几何特性来确定特征图中的具有高的被更新的概率的局部区域。例如，控制器200可基于先前图像帧和当前图像帧，来估计特征图中的在对下一帧执行神经网络操作时将被更新的局部区域，并将局部区域的特征值存储在具有距多个处理电路120相对短的距离的存储器例如，第一存储器140中。控制器200可基于几何运动来计算转换函数，并通过基于计算的转换函数对关于先前图像帧的操作结果进行转换来估计关于当前图像帧的操作结果。根据本发明构思的至少一个示例实施例，与控制器200的操作相关的算法可通过使用存储在存储器例如，第二存储器300中的软件或固件来实现，并通过上述的CPU、微处理器等来执行。多个处理电路120可在控制器200的控制下执行分配的操作。多个处理电路120可被实现为同时地并行操作。此外，多个处理电路120中的每一个可独立地操作。例如，多个处理电路120中的每一个可被实现为可执行指令的核心电路corecircuit。处理电路120可根据参照图4描述的根据本发明构思的至少一个示例实施例的神经网络系统的操作方法来执行神经网络操作。第一存储器140是处理器100的内部存储器，并且例如，可以是SRAM。然而，第一存储器140不限于此，并可通过使用处理器100的简单缓冲器、高速缓冲存储器或诸如DRAM的不同种类的存储器来实现。第一存储器140可存储通过由多个处理电路120执行的操作产生的数据例如，特征图，或者在操作处理期间产生的各种数据等。第一存储器140可以是多个处理电路120的共享的存储器。第二存储器300可通过使用RAM例如，DRAM或SRAM来实现。然而，第二存储器300不限于此，并可通过使用非易失性存储器来实现。第二存储器300可由主机处理器例如，图1的CPU110或其他外部设备访问。根据本发明构思的至少一个示例实施例，第二存储器300的容量可比第一存储器140的容量相对大。根据本发明构思的至少一个示例实施例，第一存储器140的访问延迟可比第二存储器300的访问延迟相对短。图7是根据本发明构思的至少一个示例实施例的处理电路120a的示例的框图。参照图7，处理电路120a包括寄存器121、乘法器阵列122、累加器阵列123和激活函数单元124。此外，处理电路120a还可包括其他元件，例如，加法器、算术逻辑运算电路等。可在寄存器121上加载操作所需的各种数据例如，输入增量特征图IDFM、权重图WM和先前特征图PFM。可从存储器例如，图6的第一存储器140或第二存储器300加载权重图WM和先前特征图PFM。乘法器阵列122、累加器阵列123和激活函数单元124可执行线性操作或非线性操作。作为操作结果，输出增量特征ODFM和当前特征图CFM可被产生，并且当前特征图CFM被存储在存储器中，因此，特征图即，先前特征图PFM可被更新。输出增量特征图ODFM可被加载到寄存器121上或另一个处理电路的寄存器上，或者被存储在存储器中。图8是用于解释根据本发明构思的至少一个示例实施例的操作神经网络装置的方法的示图。图8的操作方法示出在根据本发明构思的至少一个示例实施例的神经网络装置执行至少一个增量层操作的处理期间访问存储器的方法。假设处理电路120执行参照图5A描述的线性操作和非线性操作来进行描述。参照图5A和图8，处理电路120可执行线性操作以产生第二增量特征图DFM2。在那之后，为了执行非线性操作，处理电路120应产生当前特征图CFM，为此，处理电路120应加载先前特征图PFM。例如，先前特征图PFM可被加载到寄存器121参见图7上。在这种情况下，存储器MEM可以是神经网络装置13的第一存储器140参见图6、第二存储器300参见图6和外部存储器例如，图1的外部存储器14中的至少一个。处理电路120可通过对先前特征图PFM和第二增量特征图DFM2进行相加来产生当前特征图CFM，在那之后，通过对当前特征图CFM和先前特征图PFM执行非线性操作来产生第三增量特征图DFM3。同时，第二增量特征图DFM2中的具有零值的增量特征不会影响操作结果即，第三增量特征图DFM3和当前特征图CFM。因此，根据本发明构思的至少一个示例实施例的神经网络装置可基于第二增量特征图DFM2的增量特征值，来确定特征图FM中的将被更新的局部区域，并从存储器MEM加载与将被更新的局部区域对应的特征值作为先前特征图PFM。根据本发明构思的至少一个示例实施例，神经网络装置可将特征图FM上的与第二增量特征图DFM2中的具有阈值或更大的增量特征值的增量特征的位置对应的局部区域确定为将被更新的局部区域。根据本发明构思的至少一个示例实施例，如图8所示，增量特征图例如，第二增量特征图DFM2和第三增量特征图DFM3和特征图例如，当前特征图CFM和先前特征图PFM可被分类为具有矩阵形式的多个块，数据即，增量特征值或特征值可基于块来管理。尽管图8示出第二增量特征图DFM2和特征图PFM、FM和CFM包括相同数量的块，但是它们不限于此，块的数量可由存储器MEM的访问单元等来确定。图9是示出基于块来管理增量特征值和特征值的示例的示图。参照图9，根据本发明构思的至少一个示例实施例，第二增量特征图DFM2和特征图FM可包括二十个块。根据本发明构思的至少一个示例实施例，神经网络装置可将第二增量特征图DFM2中的包括具有阈值或更大的增量特征值即，至少一个或者参考数量的有效增量特征的块确定为有效增量块VDB，并将不包括有效增量特征的块或包括少于参考数量的有效增量特征的块确定为无效增量块UDB。神经网络装置可将特征图FM上的与有效增量块VDB对应的块例如，处于与有效增量块VDB的位置相同位置的块确定为将被更新的块UPB，并将其余的块确定为将不被更新的块NUB。神经网络装置可将待更新的块UPB的特征值从存储器MEM加载到处理电路120上。参照图8，第二增量特征图DFM2的暗的部分表示无效增量块UDB，亮的部分表示有效增量块VDB。如示出的，与存储在存储器MEM中的特征图FM中的有效增量块VDB对应的块的特征值可被加载为先前特征图PFM。将第二增量特征图DFM2的增量特征值和先前特征图PFM的对应的特征值进行相加以产生当前特征图CFM。当前特征图CFM上的处于与的先前特征图PFM的位置相同的位置的块或第二增量特征图DFM2的有效块可包括有效特征值。因此，包括在该块中的有效特征值被存储在存储器MEM中，因此，存储在存储器MEM中的特征图FM可被更新。如上所述，根据本发明构思的至少一个示例实施例的神经网络装置可通过选择性地仅加载存储在存储器MEM中的特征图FM中的将被更新的区域的特征值并将更新的特征值再次存储在存储器中，来减少存储器事务。图10是根据本发明构思的至少一个示例实施例的操作神经网络装置的方法的流程图。图10的操作方法示出了根据本发明构思的至少一个示例实施例的神经网络装置的增量层操作方法和存储器访问方法。根据本发明构思的至少一些示例实施例，参照图8描述的内容适用于图10中所示的操作方法。参照图10，神经网络装置可通过对输入的第一增量特征图执行线性操作来产生第二增量特征图S110。例如，提供给神经网络装置的处理电路可通过对第一增量特征图执行线性操作来产生第二增量特征图。在那之后，神经网络装置可基于第二增量特征图的增量特征值来确定存储在至少一个存储器中的特征图中的将被更新的局部区域S120。作为先前执行的神经网络操作的中间操作结果的特征图即，先前特征图可被存储在至少一个存储器中。特征图可被存储在一个存储器中，或者被分布到两个或更多个存储器并被存储在其中。同时，如参照图8和图9所述，可基于包括多个特征的块来确定将被更新的局部区域。然而，它不限于此，将被更新的局部区域可基于特征来确定。神经网络装置可将与将被更新的局部区域对应的特征值从至少一个存储器加载到处理电路上S130。特征值可被加载为先前特征图。作为示例，特征值可被加载到处理电路内的缓冲器或寄存器上。神经网络装置可基于第二增量特征图和先前特征图来产生当前特征图S140。例如，处理电路可通过将第二增量特征图的增量特征值和加载的先前特征图的特征值之中的对应的值进行求和来产生当前特征图。此外，处理电路可对先前特征图和当前特征图执行非线性操作S150，并基于非线性操作执行的结果产生第三增量特征图S160。对先前特征图执行的非线性操作的结果与对当前特征图执行的非线性操作的结果之间的差可被产生为第三增量特征图。神经网络装置可基于当前特征图来更新存储在至少一个存储器中的特征图S170。当前特征图被存储在存储器中，所以特征图可被更新。在对下一帧执行操作时，存储在存储器中的当前特征图可被提供为先前特征图。第三特征图可被提供为针对下一增量层的输入。可在下一增量层中对第三增量特征图执行线性操作。图11是用于解释根据本发明构思的至少一个示例实施例的操作神经网络装置的方法的示图。图11的操作方法示出根据本发明构思的至少一个示例实施例的神经网络装置将在执行至少一个增量层操作的处理期间产生的当前特征图CFM存储在存储器中的方法。根据本发明构思的至少一个示例实施例，神经网络装置可通过确定当前特征图CFM中的在对下一图像帧执行操作时具有高的被更新的概率的局部区域来预测将被更新的局部区域。例如，神经网络装置可将具有相对高的被更新的概率或者具有等于或大于预设参考概率的被更新的概率的局部区域预测为在对下一图像帧执行操作时将被更新的局部区域。神经网络装置可在产生当前特征图CFM之前预测将被更新的局部区域，并在产生当前特征图CFM时，基于预测的结果将当前特征图CFM中的将被更新的局部区域即，预测更新的update-predicted局部区域存储在具有距处理电路120相对短的距离的存储器例如，第一存储器140中，并将其余的区域存储在具有距处理电路120相对长的距离的存储器例如，第二存储器300中。在下文中，为了便于描述，如图11中所示，假设预测更新的局部区域被存储在第一存储器140中，并且其余的区域被存储在第二存储器300中来进行描述。然而，它不限于此，将存储预测更新的局部区域的存储器以及将存储其余的区域的另一存储器可根据提供给神经网络装置和或安装神经网络装置的电子设备的存储器的层次hierarchy来确定。在图11中，当前特征图CFM的块之中的与对象诸如，汽车、树和具有许多窗户的建筑物对应的块可在下一图像帧中具有高的被更新的概率。相反，与背景诸如，天空和地面对应的块可在下一图像帧中具有低的被更新的概率。因此，与对象对应的块可被存储在第一存储器140中，与背景对应的块可被被存储在第二存储器300中。同时，当在特征图FM的块之中产生当前特征图CFM时未使用的块之中的当前存储在第一存储器140或第二存储器300中并包括在预测更新的局部区域中的块还可被存储在第一存储器140中，未包括在预测更新的局部区域中的块可被存储在第二存储器300中。例如，已经存储在第一存储器140中的块可基于预测的结果被存储在第二存储器300中，或者已经存储在第二存储器300中的块可基于预测的结果被存储在第一存储器140中。当对下一图像帧执行操作时，神经网络装置可从第一存储器140和第二存储器300加载先前特征图PFM。然而，从第一存储器140加载的块的数量可能相对较大。同时，第一存储器140和第二存储器300二者是神经网络装置的内部存储器，但不限于此。预测更新的局部区域可被存储在内部存储器中，其余的区域可被存储在外部存储器中。可选地，两个区域二者可被存储在外部存储器中。然而，如上所述，与存储其余的区域的存储器相比，存储预测更新的局部区域的存储器可具有距处理电路120相对短的距离。参照图12A和图12B来描述预测将被更新的局部区域的方法。图12A和图12B示出连续的图像帧。参照图12A，先前时间点t-1处的图像帧即，先前图像帧和当前时间点t处的图像帧即，当前图像帧包括同一对象OBJ，对象OBJ可改变它在图像帧上的位置。即，对象OBJ可移动。神经网络装置可基于各种图像处理方法例如，视觉处理、光流、运动估计方法等来跟踪图像上的对象OBJ的运动。因此，神经网络装置可导出图像上的对象的几何运动。参照图12B，神经网络装置可基于对象的几何运动来估计下一时间点t+1处的图像帧上即，下一图像帧上的对象OBJt+1的位置。神经网络装置可基于估计的位置来确定在下一图像帧中具有高的被更新的概率的区域。根据本发明构思的至少一个示例实施例，神经网络装置可基于对象的几何运动针对图像帧上的多个局部区域中的每一个来计算在下一图像帧中被更新的概率，并基于预设的参考概率来确定具有相对高的被更新的概率的局部区域。同时，图像帧上的局部区域可被投影在特征图上的局部区域上。神经网络装置可通过将图像帧上的具有高的被更新的概率的局部区域投影到特征图上来确定当前特征图中的具有高的被更新的概率的局部区域。通过这样做，神经网络装置可预测当前特征图中的在对下一图像帧执行操作时将被更新的局部区域。图13是用于解释根据本发明构思的至少一个示例实施例的神经网络装置的操作的流程图。参照图13，当接收当前图像帧时，神经网络装置可基于先前图像帧和当前图像帧来导出几何运动S11。如参照图12A和图12B所述，神经网络装置可通过各种图像跟踪方法来确定几何运动即，包括在图像帧中的对象的几何特性。根据本发明构思的至少一个示例实施例，几何运动的导出可通过其他装置例如，其他计算装置来执行。神经网络装置可从不同的设备接收导出结果，并基于导出结果来进行操作。神经网络装置可基于几何运动来预测当前特征图的局部区域之中的当对下一图像帧执行神经网络操作时将被更新的局部区域S12。例如，神经网络装置可通过确定当前特征图的局部区域之中的具有高的被更新的概率的区域来预测将被更新的局部区域。如上所述，神经网络装置可预测当前图像帧上的将被更新的局部区域，并基于当前图像帧上的预测更新的局部区域来预测特征图上的将被更新的局部区域。在那之后，神经网络装置可产生当前特征图S13。例如，可根据参照图10描述的操作方法来执行操作S13。神经网络装置可将预测更新的局部区域即，当前特征图的局部区域之中的具有高的被更新的概率的局部区域存储在第一存储器中，并在将当前特征图存储在存储器中时，基于预测结果将其余的区域存储在第二存储器中S14。在这种情况下，第一存储器可以是具有距操作电路例如，基于当前特征图执行操作的处理电路相对较短的距离的存储器，第二存储器可以是具有距操作电路相对长的距离的存储器。第一存储器的延迟可比第二存储器的延迟短。图14是根据本发明构思的至少一个示例实施例的神经网络系统2000的框图。参照图14，神经网络系统2000可包括软件单元2100和神经网络装置2200即，硬件单元。根据上述实施例的神经网络装置可适用于神经网络系统2000。软件单元2100可包括应用2110和深度学习框架2120。应用2110和深度学习框架2120可以是程序、命令、指令等，可被存储在存储器14参见图1中，并由CPU11或另一个处理器执行。应用2110可发布通过神经网络操作执行的任务。例如，应用2110可请求接收的图像帧的对象识别、图像划分等。为了执行由应用2110请求的任务，深度学习框架2120可提供基于深度学习算法的神经网络模型，并将神经网络操作分配给神经网络装置2200。神经网络装置2200可执行由深度学习框架2120分配的神经网络操作。根据本发明构思的至少一个示例实施例，神经网络装置2200可导出接收的图像帧之间的几何特性例如，包括在图像帧中的对象的几何运动，并基于该几何特性来估计关于当前图像帧的操作结果例如，神经网络操作的最终操作结果，或包括神经网络的多个层的层组的输出特征图。同时，可通过除神经网络装置2200之外的设备例如，另一操作设备来执行操作结果的估计。深度学习框架2120可基于估计的操作结果来确定是否对当前图像帧执行神经网络操作。可选地，深度学习框架2120可基于估计的操作结果来确定是否对当前图像帧的多个区域执行神经网络操作，并确定是否仅对当前图像帧的多个区域之中的局部区域执行神经网络操作。神经网络装置2200可对当前图像帧的多个区域之中的被确定为执行神经网络操作的区域执行神经网络操作。图15是用于解释根据本发明构思的至少一个示例实施例的在神经网络系统中估计当前图像帧的操作结果的方法的示图。估计图15的操作结果的方法可通过神经网络装置来执行。然而，操作结果的估计不限于此，并可通过另一操作设备来执行。神经网络装置可基于包括在图像帧中的对象的几何运动来计算表示输入图像帧之间的转换关系的转换函数H例如，用于仿射变换affineconversion的转换函数等。例如，在通过使用转换函数H对先前图像帧PF执行转换的情况下，先前图像帧PF可被转换为当前图像帧CF。输入图像帧之间的改变可表现为操作结果例如，输出特征图之间的改变。输入图像帧之间的转换关系可能与输出特征图之间的转换关系类似。因此，表示输出特征图之间的转换关系的转换函数H'可以与转换函数H相同或类似。神经网络装置可通过将转换函数H应用于先前输出特征图POFM并执行转换来估计当前输出特征图EOFM。图16是根据本发明构思的至少一个示例实施例的操作神经网络系统的方法的流程图。参照图16，神经网络系统可基于先前图像帧和当前图像帧来导出几何运动S21。如参照图12A和图12B所述，神经网络系统可基于接收的图像帧来导出几何运动例如，包括在图像帧中的对象的几何运动。神经网络系统可通过基于几何运动对与先前图像帧PF对应的先前输出特征图POFM进行转换来估计与当前图像帧CF对应的输出特征图EOFMS22。如参照图15所述，神经网络系统可基于在操作S21中导出的几何运动来计算转换函数H例如，用于仿射变换的转换函数等，并通过基于转换函数H转换先前输出特征图POFM来估计当前输出特征图EOFM。神经网络系统可基于先前输出特征图POFM和估计的当前输出特征图EOFM之间的差例如，特征值之间的差来阻止当前图像帧CF的多个区域之中的至少一个区域的神经网络操作S23。例如，如果先前输出特征图POFM与估计的当前输出特征图EOFM之间的差是预设参考值或更小，则神经网络系统可不执行神经网络操作。根据本发明构思的至少一个示例实施例，如果与当前图像帧CF的多个区域之中的局部区域对应的先前输出特征图POFM和估计的当前输出特征图EOFM之间的差例如，特征值之间的差小于预设参考值，则神经网络系统可阻止局部区域的神经网络操作。神经网络系统可对当前图像帧CF的多个区域之中的除了阻止的至少一个区域之外的其余的区域执行神经网络操作S24。可根据参照图8至图11描述的方法来执行对其余的区域执行神经网络操作，以及在执行操作的处理期间的存储器访问。例如，深度学习框架212参见图14可将当前图像帧CF的多个区域之中的先前输出特征图POFM与估计的当前输出特征图EOFM之间的差是预设参考值或更小的局部区域屏蔽，并且可不对该局部区域执行操作。深度学习框架212可向神经网络装置分配对当前图像帧CF的多个区域之中的除了屏蔽的区域之外的其余的区域的神经网络操作。神经网络装置可对上述其余的区域执行分配的神经网络操作。如上所述，根据本发明构思的至少一个示例实施例的神经网络系统可基于先前图像帧PF与当前输入图像帧CF之间的关系来估计当前输出特征图EOFM，并且如果估计的当前输出特征图EOFM与先前输出特征图POFM之间的差小于或等于预设参考值，则可通过省略神经网络操作来减少操作量。基于根据各个实施例的操作神经网络装置的方法，由于神经网络装置将关于先前图像帧的中间操作结果存储在存储器中，并通过在对当前图像帧执行操作时重复使用中间操作结果来有效地执行操作，因此，神经网络操作的操作量可被减少。神经网络装置可在重复使用存储在存储器中的特征图时，仅选择性地从存储器读取特征图中的将被更新的特征，或者可将针对当前图像帧产生的特征图之中的在对下一图像帧执行操作时具有高的被更新的概率的特征存储在相对靠近操作电路的缓冲器或存储器中。因此，存储器事务和与存储器事务对应的所耗费的时间可被减小。此外，由于神经网络装置估计关于当前帧的操作结果，并且当关于先前帧的操作结果与关于当前帧的估计的操作结果之间的改变小时，阻止或跳过对当前帧执行操作或对当前帧的局部区域执行操作，因此，神经网络操作的操作量和存储器事务可被减少。因此，神经网络装置和安装了神经网络装置的电子系统的操作速度可被提高，它们的功耗可被降低。已经因此描述了本发明构思的示例实施例，将明显的是可以以许多方式来改变本发明构思的示例实施例。这样的变化不应被认为脱离本发明构思的示例实施例的意在的精神和范围，并且对于本领域技术人员而言明显的所有的这些修改意在包括在所附权利要求的范围内。

权利要求：1.一种操作神经网络装置的方法，所述神经网络装置被配置为对连续输入的图像帧执行神经网络操作，所述方法包括：由处理电路，通过对基于当前图像帧与先前图像帧之间的差产生的第一增量特征图执行线性操作来产生第二增量特征图；将作为第二先前特征图的特征值从至少一个存储器加载到处理电路上，所加载的特征值是与存储在所述至少一个存储器中的第一特征图中的将被更新的第一局部区域对应的特征值；由处理电路，基于第二增量特征图和第二先前特征图来产生第二当前特征图；通过将第二当前特征图存储在所述至少一个存储器中来更新第一特征图。2.根据权利要求1所述的方法，还包括：由处理电路，通过对第二先前特征图和第二当前特征图执行非线性操作来产生第三增量特征图。3.根据权利要求1所述的方法，还包括：基于第二增量特征图的增量特征值来确定第一特征图中的第一局部区域。4.根据权利要求3所述的方法，其中，确定将被更新的第一局部区域的步骤包括：将与第二增量特征图中的具有阈值或更大的增量特征值的增量特征的位置对应的第一特征图的区域确定为第一局部区域。5.根据权利要求3所述的方法，其中，确定将被更新的第一局部区域的步骤包括：从第二增量特征图的多个区域之中确定至少一个有效区域，所述至少一个有效区域包括参考数量或更多的等于或大于阈值的增量特征值；将第一特征图的多个区域之中的与所述至少一个有效区域对应的至少一个区域确定为第一局部区域。6.根据权利要求1所述的方法，还包括：基于先前图像帧和当前图像帧来导出图像上的对象的几何运动。7.根据权利要求6所述的方法，还包括：基于几何运动来预测第二当前特征图中的当对下一图像帧执行神经网络操作时将被更新的第二局部区域，其中，更新第一特征图的步骤包括：基于预测的第二局部区域来将第二当前特征图中的第二局部区域存储在第一存储器中，将第二当前特征图中的除了预测的第二局部区域之外的其余的区域存储在第二存储器中。8.根据权利要求7所述的方法，其中，第一存储器的访问延迟比第二存储器的访问延迟短。9.根据权利要求7所述的方法，其中，第一存储器是内部存储器，第二存储器是外部存储器。10.根据权利要求6所述的方法，还包括：基于几何运动来确定表示先前图像帧与当前图像帧之间的转换关系的转换函数；通过基于转换函数将在对先前图像帧执行神经网络操作时产生的先前输出特征图进行转换，来估计关于当前图像帧的输出特征图，其中，第一增量特征图与当前图像帧的多个区域之中的先前输出特征图的特征值和估计的输出特征图的特征值之间的差等于或大于参考值的区域对应。11.一种操作应用处理器的方法，所述应用处理器被配置为执行神经网络操作，所述方法包括：由计算模块，通过对基于先前输入帧与当前输入帧之间的差产生的增量特征图执行线性操作来产生线性增量特征图；将第一特征值从第一存储器和第二存储器中的至少一个加载到计算模块的处理电路上，所述第一特征值被包括在至少一个第一块中，所述至少一个第一块是存储在第一存储器和第二存储器中的所述至少一个中的先前特征图的多个块之中的与线性增量特征图的有效块对应的块；由计算模块，通过对包括在线性增量特征图的有效块中的增量特征值的每一个和所述第一特征值之中的对应的特征值进行相加来产生当前特征图；由计算模块，基于当前特征图来更新先前特征图。12.根据权利要求11所述的方法，其中，有效块中的每一个包括非零增量特征值。13.根据权利要求11所述的方法，其中，更新先前特征图的步骤包括：将当前特征图的多个块之中的在对下一输入帧执行神经网络操作时被确定为具有相对高的被更新的概率的至少一个第二块存储在第一存储器中；将当前特征图的多个块之中的除了所述至少一个第二块之外的块存储在第二存储器中，其中，第一存储器的访问延迟比第二存储器的访问延迟短。14.根据权利要求13所述的方法，其中，第一存储器包括计算模块的内部存储器，第二存储器包括计算模块的外部存储器。15.根据权利要求13所述的方法，其中，根据基于先前输入帧和当前输入帧导出的几何运动来确定更新第二块的概率。16.根据权利要求11所述的方法，还包括：基于先前输入帧和当前输入帧来估计几何运动；通过基于估计的几何运动对关于先前输入帧的先前输出特征图进行转换来估计当前输出特征图；基于先前输出特征图和估计的当前输出特征图来阻止对当前输入帧的多个区域之中的至少一个区域的神经网络操作。17.一种计算装置，被配置为对连续接收的输入帧执行神经网络操作，所述计算装置包括：处理电路，被配置为：通过对基于当前帧与先前帧之间的差产生的第一增量特征图执行线性操作来产生第二增量特征图，基于第二先前特征图和第二增量特征图来产生第二当前特征图；存储器，被配置为存储第二先前特征图，其中，计算装置被配置为：将第二先前特征图中的将被更新的第一局部区域的特征值从存储器提供给处理电路。18.根据权利要求17所述的装置，还包括：控制器，被配置为基于第二增量特征图的增量特征值来确定第一局部区域。19.根据权利要求18所述的装置，其中，控制器被配置为：基于输入帧之间的几何特性来预先确定在第二当前特征图中被预测更新的第二局部区域，处理电路被配置为：将第二当前特征图中的第二局部区域存储在第一存储器中，将第二当前特征图的除了第二局部区域之外的区域存储在第二存储器中，所述第一存储器比所述第二存储器需要更少的访问处理电路的时间。20.根据权利要求17所述的装置，其中，处理电路被配置为：通过对第二先前特征图和第二当前特征图执行非线性操作来产生第三先前特征图和第三当前特征图，基于第三先前特征图与第三当前特征图的特征值之间的差来产生第三增量特征图。

百度查询： 三星电子株式会社 用于执行神经网络操作的设备和操作该设备的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD