申请/专利权人：三星电子株式会社

申请日：2016-10-12

公开（公告）日：2022-04-15

公开（公告）号：CN108353181B

主分类号：H04N19/30

分类号：H04N19/30;H04N19/33;H04N19/169;H04N19/107

优先权：["20151012 KR 10-2015-0142468"]

专利状态码：有效-授权

法律状态：2022.04.15#授权;2018.08.24#实质审查的生效;2018.07.31#公开

摘要：本发明涉及一种重播用于传递一组图片的比特流的方法，该方法包括以下步骤：当在第一图片中发生随机访问时，解析在第一图片之后的至少一个第二图片的网络抽象层NAL单元标头并且确定至少一个第二图片的NAL单元类型；基于确定的NAL单元类型从比特流中去除至少一个第二图片；以及解码并显示已经从其去除至少一个第二图像的比特流。

主权项：1.一种重播递送一组图片GOP的比特流的方法，所述方法包括：在发生对第一图片的随机访问时，通过解析至少一个第二图片的网络抽象层NAL单元标头来确定在所述第一图片之后的至少一个第二图片的NAL单元类型；基于所确定的NAL单元类型从所述比特流去除所述至少一个第二图片；以及对已经从其去除所述至少一个第二图片的比特流进行解码，并且显示所述解码的比特流，其中，在显示解码的位流期间，第一图片被附加地重复显示达与所述至少一个第二图片的数量和重构至少一个第二图片所需的时间相对应的重构时间。

全文数据：在媒体传输系统中使能视频比特流的随机访问和重播的方法技术领域[0001]本公开一般涉及实时多媒体传输协议中的媒体重播方法，并且更具体地涉及通过访问由运动图像专家组（MovingPictureExpertsGroup，MPEG媒体传输（MPEGMediaTransport，MMT协议发送的比特流中的随机点来更快地再现媒体的方法。背景技术[0002]在MMT中发生对与流访问点（StreamAccessPoint，SAP类型2或SAP类型3相对应的点的随机访问时，终端可以重建内部随机访问点（IntraRandomAccessPoint，IRAP图片。[0003]在终端解码与重建的IRAP图片有关的所有前导图片后，终端以显示顺序显示前导图片，然后显示IRAP图片。也就是说，在发生随机访问时，生成与终端解码有关的前导图片所花费的时间一样长的延迟。[0004]因此，在由于信道切换或比特流切换而发生随机访问时，在终端处重建IRAP图片时涉及与前导图片（由于解码和或显示）的数量一样长的延迟。发明内容[0005]技术问题[0006]根据本公开，提供了一种用于在终端随机访问比特流时减少由前导图片的解码引起的延迟的方法。[0007]根据本公开，一种用于当终端对比特流的随机访问涉及的延迟减小时确保呈现时间（PresentationTime，PT同步的方法。[0008]技术方案[0009]本公开提出了一种重播递送一组图片（GroupOfPictures，G0P的比特流的方法，该方法包括在发生对第一图片的随机访问时，通过解析至少一个第二图片的NAL单元标头来确定在第一图片之后的至少一个第二图片的网络抽象层（NetworkAbstractionLayer，NAL单元类型，基于所确定的NAL单元类型从比特流去除至少一个第二图片，以及对已经从其去除至少一个第二图片的比特流进行解码，并且显示解码的比特流。[0010]本公开提出了一种用于重播递送GOP的比特流的装置，该装置包括被配置为接收比特流的收发器，以及控制器，被配置为在发生对第一图片的随机访问时，通过解析至少一个第二图片的NAL单元标头来确定在第一图片之后的至少一个第二图片的NAL单元类型，以基于所确定的NAL单元类型从比特流中去除至少一个第二图片，并且对已经从其去除至少一个第二图片的比特流进行解码，并且显示解码的比特流。[0011]本公开提出了一种在终端中重播比特流的方法，该方法包括在发生对SAP类型2或SAP类型3的随机访问点RandomAccessPoint，RAP的随机访问时，通过解析比特流中的NAL单元标头来确定前导图片是否存在，在前导图片存在的情况下，在解码之前去除与前导图片相对应的NAL单元数据，以及解码并显示后续轨迹图片。[0012]进一步，本公开提出了一种方法，其中当前导图片被去除并且显示IRAP图片和轨迹图片时，IRAP图片和轨迹图片的构图PT被提前前导图片的数量。[0013]进一步，本公开提出了一种方法，该方法还包括对IRAP图片进行解码，提前前导图片的数量来显示IRAP图片，并且重复地显示IRAP图片与前导图片的数量一样多的次数。[0014]有益效果[0015]根据本公开，在发生对视频流的随机访问时，在存在比特流中的在IRAP图片之后的前导图片的情况下，可以处理前导图片并且可以显示视频序列。因此，根据本公开的终端可以执行快速随机访问重播，并随机访问SAP类型2或SAP类型3的比特流。[0016]在发生对与SAP类型2或SAP类型3相对应的RAP的随机访问时，根据本公开的终端可以通过解析视频比特流中的NAL单元标头来确定前导图片的存在或不存在。在存在前导图片的情况下，终端可以通过在解码之前丢弃与前导图片相对应的NAL单元数据来快速解码并显示后续轨迹图片。[0017]当丢弃前导图片并显示IRAP图片和轨迹图片时，根据本公开的终端可以将从服务器接收的解码图片的现有构图PT提前前导图片的数量。[0018]在丢弃前导图片并对IRAP图片进行解码之后，根据本公开的终端可以立即提前前导图片的数量来显示IRAP图片，重复地显示IRAP图片与前导图片的数量一样多的次数，并且然后解码并显示轨迹图片。附图说明[0019]图1是示出与前导图片有关的一组图片（GOP中的纯随机访问（CleanRandomAccess，CRA图片的解码和显示的视图；[0020]图2是描绘随机访问跳过前导RandomAccessSkippedLeading，RASL图片和随机访问可解码前导RandomAccessDecodableLeading，RADL图片之间的关系的视图；[0021]图3是示出直到显示内部随机访问点（IRAP图片为止的延迟的示例性视图；[0022]图4是示出用于去除比特流中的前导图片的技术的示例性视图；[0023]图5是示出用于去除比特流中的前导图片并重复显示IRAP图片的技术的示例性视图。[0024]图6是示出根据本公开的用户设备UserEquipment，!®的支持随机访问的比特流重播方法的示例性视图；以及[0025]图7是根据本公开的实施例的重播GOP传输比特流的UE的框图。具体实施方式[0026]下面将参考附图详细描述本公开的实施例。将避免本公开的公知功能或结构的详细描述，以免模糊本公开的主题。尽管在本公开中使用的术语是考虑到本公开的实施例中的功能来定义的，但是可以根据用户或操作员的意图、或习惯来改变这些术语。因此，应该不是简单地通过所使用的实际术语理解本公开，而是通过每个术语中具有的含义来理解。[0027]在详细描述本公开之前，本公开中使用的一些术语可以被解释为但不限于以下含义。[0028]服务器是与用户设备通信的实体，其可以被称为基站BaseStation，BS、节点BNodeB，NB、e节点BeNodeB，eNB、接入点（AccessPoint，AP等。[0029]用户设备是与BS通信的实体，其可以被称为UE、移动台（MobileStation，MS、移动设备MobileEquipment，ME、设备、终端等。[0030]仅支持在ISO基本媒体文件格式ISOBaseMediaFileFormat，IS0BMFF中定义的六种SAP类型当中的类型I的运动图片专家组MPEG媒体传输MMT系统将每个媒体处理单元MediaProcessingUnit，MPU的第一样本设置为随机访问点RAP访问单元AccessUnit，AU，并且通过信令消息指示第一AU的呈现时间PT。[0031]尽管SAP类型1是最流行的随机访问方法，但SAP类型1不支持SAP类型2到SAP类型6具有的快速访问和高编码效率的优点。具体地，SAP类型2和SAP类型3通过诸如在高效率视频编码HighEfficiencyVideoCoding，HEVC中定义的纯随机访问（CRA和断开链路访问（BrokenLinkAccess，BLA的前导图片处理，通过开放的GOP使能比SAP类型1更高的编码增益。这里，前导图片指的是按照显示顺序在特定图片之前的图片。[0032]图1是示出与前导图片有关的GOP中的CRA图片的解码和显示的视图。[0033]图Ia是不出图片的解码顺序的视图，图1⑹是不出图片的显不顺序的视图。图1通过示例示出其中尽管UE按照CRA图片100、B图片102和B图片104的顺序来解码，但UE按照B图片102、B图片104和CRA图片100的顺序来显示的情况。B图片102和B图片104可以是CRA图片100的前导图片。这里，计数图片PictureOfC〇unts，P0C可被理解为指示图片的显示顺序的值。B图片102可以具有POC14、B图片104可以具有POC15、并且CRA图片100可以具有POC16〇[0034]CRA图片100具有以下特征。当CRA图片100在编码视频序列的中间被指示为随机访问点时，CRA图片100是促进立即开始解码的图片。与瞬时解码刷新（InstantaneousDecodingRefresh，IDR相比，CRA技术具有改进的编码效率改进约6%XRA技术使得CRA图片100的有关前导图片例如，B图片102能够使用CRA图片100之前的解码图片例如，B图片106和B图片108作为参考。在图1a中，弯曲箭头110和112指示B图片102使用先前的解码图片106和108作为参考。如果CRA图片100被随机访问，则解码顺序和输出顺序或显示顺序）中CRA图片100之后的图片是可解码的。[0035]例如，下表列出了ISOBMFF中定义的SAP类型的特征。[0036][表1][0039]在[表1]中，Tsap表示特定PT之后的总可解码时间，Tdec表示可解码图片的最早PT，Tept表示可解码不可解码图片的最早PT，并且Tptf表示RAP的PT。[0040]例如，HEVC中定义的RAP类型列在下表中。[0041][表2][0043]例如，在HEVC中定义的前导图片的类型在下表中列出。[0044][表3][0046]图2是描绘随机访问跳过前导RASL图片和随机访问可解码前导RADL图片之间的关系的视图。[0047]RADL图片和RASL图片具有以下特征。当解码从RAP图片开始时，RADL图片是可以被准确解码的图片。当RAP图片被随机访问时，RASL图片是不能被准确解码的图片。如果一些图片是前导图片，则前导图片可能是RADL或RASL图片。在图2中，如果RAP图片是CRA图片100,则由于B图片102和B图片104在CRA图片100之后被解码，所以B图片102和B图片104是可解码图片，即，RADL图片。相反，B图片102和B图片108是要在CRA图片100之前解码的图片。因此，如果RAP图片是CRA图片100,则B图片102和B图片108是不可解码的图片，S卩，RASL图片。[0048]如前所述，如果在MMT中发生对与SAP类型2即，具有前导图片的IDR图片或SAP类型3S卩，具有前导图片的CRA或BLA图片相对应的图片的随机访问，则UE解码与随机访问图片（SMRAP图片有关的所有前导图片，然后以显示顺序显示前导图片、和IRAP图片。因此，UE由于前导图片而经历延迟，直到图片被显示。[0049]图3示出了直到显示IRAP图片为止的示例性延迟。[0050]图3a示出了示例性解码顺序，图3⑹示出了示例性显示顺序。如果发生对比特流中的第一图片300的随机访问，但第一图片300是非随机可访问图片，则可生成延迟310直到解码随机可访问IRAP图片302。进一步，UE应解码与IRAP图片302有关的前导图片304、305、306和307。作为结果，可能生成与解码有关的前导图片304、305、306和307所需的时间一样长的延迟。例如，如果由于信道切换或比特流切换而发生随机访问，则可能生成对于UE重放IRAP图片的与前导图片的数量一样长的时间延迟。只有当时间延迟314过去时，UE可以显示前导图片304、305、306和307,然后显示IRAP图片302。这里，轨迹图片308指的是不论IRAP图片302而被解码和显示的图片。[0051]本公开提出了一种用于减少由前导图片的重播（S卩，解码和显示）引起的随机访问的时间延迟的技术方法和装置）。[0052]本公开的第一技术是丢弃比特流中的前导图片。[0053]图4是示出去除比特流中的前导图片的技术的示例性视图。[0054]图4a是示出图片的解码顺序的视图，图4⑹是示出图片的显示顺序的视图。[0055]在该技术中，在发生随机访问时，UE丢弃一些图片（S卩，随机访问的IRAP图片的前导图片而不显示图片。[0056]具体地，在发生随机访问时，UE可以通过记录在每张图片中的NAL单元标头NALUnitHeader，NUH中的网络抽象层NAL单元类型NUT来确定前导图片402、403、404和405是否存在。在HEVC比特流的情况下，在RAP图片之后的轨迹图片408和409不依赖于前导图片402、403、404和405。因此，即使诸如RADL和RASL图片的前导图片402、403、404和405全部在比特流中被丢弃，对轨迹图片408和409的解码也不受影响。因此，在该技术中，UE可通过在所示的解码之前丢弃比特流中的前导图片402、403、404和405来消除由前导图片402、403、404和405的解码引起的时间延迟。以这种方式，该技术的UE可以在IRAP图片400之后快速重建懈码和显示轨迹图片408和409以及IRAP图片400。[0057]具体地，可以通过编码比特流的NUT来识别IRAP图片、前导图片（例如，RADL和RASL和轨迹图片的类型。例如，可以在HEVC中的NUH的6个NUT比特中用信号通知图片类型。进一步，在ISOBMFF中存储HEVC比特流的情况下，UE可以在HEVCConfigurationBox的HEVCDecoderConfigurationRecord中识别每个NAL单元的NUT信息。[0058]UE可以基于NUT信息去除比特流中的前导图片，并立即显示IRAP图片和轨迹图片没有由前导图片的解码和显示引起的时间延迟）。[0059]这里，UE可以计算与前导图片402、403、404和405的数量一样长的延迟时间410并因此显示轨迹图片408和409,将轨迹图片的构图PT提前计算出的显示时间410。也就是说，在解码IRAP图片400之后，UE能够显示IRAP图片400而不需要解码前导图片402、403、404和405,并且可以在IRAP图片400之后立即解码并显示轨迹图片408和409。[0060]在上述第一技术中，如果UE立即显示IRAP图片并且然后显示轨迹图片，则应当将下面所有图片的PT提前。在多个设备呈现比特流的情况下，如果由于一些图片的PT被提前而导致比特流被改变，则可能无法在设备之间获取呈现同步。在本上下文中，本公开的第二技术是立即仅显示IRAP图片，而不将要在IRAP图片下一个显示的轨迹图片的PT提前。在第二技术中，在UE在前导图片的显示时间期间重复显示IRAP图片后，UE可以在轨迹图片的原始PT处显示以下解码的轨迹图片。[0061]图5是示出去除比特流中的前导图片并重复显示IRAP图片的技术的示例性视图。[0062]图5a是描绘图片的解码顺序的视图，图5⑹是描绘图片的显示顺序的视图。[0063]在该技术中，在发生随机访问时，UE丢弃存储在DPB中的一些图片（S卩，随机访问的IRAP图片的前导图片），而不显示图片。[0064]具体地，在发生随机访问时，UE可以通过记录在每个图片中的NUH中的NUT来确定前导图片502、503、504和505是否存在。在HEVC比特流的情况下，在RAP图片之后的轨迹图片508和509不依赖于前导图片502、503、504和505。因此，即使诸如RADL和RASL图片的前导图片502、503、504和505全部被丢弃，对轨迹图片508和509的解码也不受影响。因此，在该技术中，UE可通过在解码之前丢弃比特流中的前导图片502、503、504和505来消除由前导图片502、503、504和505的解码引起的时间延迟。以这种方式，该技术的UE可以快速重建解码和显示）IRAP图片400。[0065]具体地，可以通过编码比特流的NUT来识别IRAP图片、前导图片（例如，RADL和RASL和轨迹图片的类型。例如，可以在HEVC中的NUH的6个NUT比特中用信号通知这些类型。进一步，在通过IS0BMFF存储HEVC比特流的情况下，UE可以在HEVCConfigurationBox的HEVCDecoderConfigurationRecord中标识每个NAL单元的NUT信息。[0066]UE可以基于NUT信息丢弃比特流中的前导图片，并且立即显示IRAP图片和轨迹图片没有由前导图片的解码和显示引起的时间延迟）。[0067]这里，UE可以在与前导图片502、503、504和505的数量一样长的显示时间510期间重复地显示IRAP图片。UE可以在由服务器指示的轨迹图片508和509的现有构图PT处显示轨迹图片508和509。也就是说，UE能够在解码IRAP图片400之后立即显示IRAP图片400,而不需要解码前导图片402、403、404和405,并且可以在构图PT处显示轨迹图片408和409,从而防止了异步问题。[0068]在这种情况下，即使UE不会提前所有其他轨迹图片508的PT，UE也可以通过消除时间延迟来提前IRAP图片500的PT。因此，在发生由信道切换等引起的随机访问时，UE具有尽早显示第一图片的效果。也就是说，可以防止在时间延迟期间不显示屏幕的现象。[0069]图6是示出根据本公开的UE的支持随机访问的比特流重播方法的示例性视图。[0070]在发生对第一图片例如，诸如CRA图片的IRAP图片）的随机访问时，UE可以通过解析多个第二图片600的（多个NUT来确定在第一图片之后的（多个第二图片的（多个）NUT。例如，如果发生比特流切换或传输信道切换，则可能发生对比特流的随机访问。[0071]UE可以基于确定的NUT丢弃来自比特流的第二图片602。第二图片可以是按照显示顺序在第一图片之前的前导图片。例如，第二图片的NUT可以指示RADL或RASL。[0072]UE可以解码并显示第一图片和在第二图片已经被丢弃的比特流中的第一图片之后的轨迹图片604。当从比特流中去除与前导图片相对应的第二图片时，第一图片的显示PT可能早于第一图片的构图PT。具体地，第一图片可以比构图PT早重建第二图片所需的时间来显示。[0073]轨迹图片的显示PT可能会或可能不会被提前。例如，如果第一图片重复被显示重建第二图片所需的时间，则轨迹图片的PT可能不会被提前。[0074]图7是根据本公开的实施例的用于重播GOP传输比特流的UE的框图。[0075]UE700可以包括从另一通信设备或网络实体接收比特流的收发器720以及向UE700提供总体控制的控制器710。在本公开的第一和第二技术中，全部UE的上述操作可以被理解为在控制器710的控制下执行。然而，控制器710和收发器720不一定是分开被配置的。相反，控制器710和收发器720可以并入诸如单个芯片的一个组件中。[0076]要注意的是，图1至图7中所示的示例性图片解码显示示图、示出方法的示例性视图以及装置的框图不旨在限制本公开的范围。也就是说，图1至图7中示出的特定图片或特定组件不应被解释为实施本公开所强制的，并且本公开可以在不脱离本公开的范围和精神的情况下甚至利用一部分部件来实施。[0077]上述操作可以通过在通信系统中的实体、功能、BS或UE的组件中提供存储相应程序代码的存储器设备来执行。也就是说，实体、功能、BS或UE的控制器可以通过读取存储在存储器设备中的程序代码并且由处理器或中央处理单元CentralProcessingUnit，CPU运行程序代码来执行上述操作。[0078]本公开中描述的实体、功能、BS或UE的各种组件和模块可以使用诸如嵌入在机器可读介质中的诸如基于互补金属氧化物半导体的逻辑电路的硬件电路、固件、以及软件和或硬件和固件和或软件的组合来操作。例如，可以使用诸如晶体管、逻辑门和ASIC的电路来实现各种电气结构和方法。[0079]虽然已经参考本公开的某些示例性实施例示出和描述了本公开，但本领域技术人员将会理解，在不脱离如所附权利要求及其等同物所定义的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

权利要求：1.一种重播递送一组图片GOP的比特流的方法，所述方法包括：在发生对第一图片的随机访问时，通过解析至少一个第二图片的网络抽象层NAL单元标头来确定在所述第一图片之后的至少一个第二图片的NAL单元类型；基于所确定的NAL单元类型从所述比特流去除所述至少一个第二图片；以及对已经从其去除所述至少一个第二图片的比特流进行解码，并且显示所述解码的比特流。2.如权利要求1所述的方法，其中，所述第一图片的构图呈现时间PT被提前了与所述至少一个第二图片的数量相对应的重构时间。3.如权利要求2所述的方法，其中，所述第一图片被附加地重复显示与所述至少一个第二图片的数量相对应的重构时间。4.如权利要求2所述的方法，其中，在所述第一图片之后的至少一个轨迹图片的构图PT被提前了与所述至少一个第二图片的数量相对应的重构时间。5.如权利要求1所述的方法，其中如果所述NAL单元类型指示所述至少一个第二图片是所述第一图片的前导图片，则从所述比特流去除所述至少一个第二图片。6.如权利要求5所述的方法，其中，所述至少一个第二图片的NAL单元类型是随机访问可解码前导RADL或随机访问跳过前导RASL。7.如权利要求1所述的方法，其中所述第一图片是具有至少一个前导图片的纯随机访问CRA图片。8.如权利要求1所述的方法，其中，所述随机访问由所述比特流的切换引起。9.一种用于重播递送一组图片GOP的比特流的装置，所述装置包括：收发器，被配置为接收比特流；以及控制器，被配置为在发生对第一图片的随机访问时，通过解析至少一个第二图片的网络抽象层NAL单元标头来确定在所述第一图片之后的至少一个第二图片的NAL单元类型，以基于所确定的NAL单元类型从所述比特流去除所述至少一个第二图片，并且对已经从其去除所述至少一个第二图片的比特流进行解码，并且显示所述解码的比特流。10.如权利要求9所述的装置，其中，所述控制器被配置为将所述第一图片的构图呈现时间PT提前与所述至少一个第二图片的数量相对应的重构时间。11.如权利要求10所述的装置，其中所述控制器被配置为附加地重复显示所述第一图片与所述至少一个第二图片的数量相对应的重构时间。12.如权利要求10所述的装置，其中所述控制器被配置为将在所述第一图片之后的至少一个轨迹图片的构图PT提前与所述至少一个第二图片的数量相对应的重构时间。13.如权利要求9所述的装置，其中如果所述NAL单元类型指示所述至少一个第二图片是所述第一图片的前导图片，则所述控制器被配置为从所述比特流去除所述至少一个第二图片。14.如权利要求13所述的装置，其中所述至少一个第二图片的NAL单元类型是随机访问可解码前导RADL或随机访问跳过前导RASL。15.如权利要求9所述的装置，其中所述第一图片是具有至少一个前导图片的纯随机访问CRA图片。

百度查询： 三星电子株式会社 在媒体传输系统中使能视频比特流的随机访问和重播的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD