视频指纹技术简介本系统主要技术包括：高速视频采集、实时视频采集、高效鲁棒指纹提取、（分布式）实时比对和用户自定义反馈等方面，具体技术分析和性能指标如下：

　　高速视频采集：现阶段，本系统的视频采集系统可以实时采集数据。根据不同的系统要求，提供千兆以太网电接口或光接口，采用数据旁路方式接入被监测链路。系统采集速度可以达到几十G字节每秒。

　　4.高效实时指纹比对：研发快速指纹比对算法和架构，以及构建丰富视频指纹库。比对反馈应该控制在以秒为单位的反应时间，满足用户实时需求。以大型云计算为模块实现基础，提供分布式并发计算。

　　5.分析结果汇集：技术要点为设计通用和有针对性的用户接口zoty中欧体育。既可以反馈普通常规信息，亦可以根据不同用户的特定需求进行操作，提高用户满意度。

　　2.视频内容分析：研发关键技术为识别，解码网络海量视频文件，例如常见的MP4, MKV, RMVB,以及不常见的DAT, ASF等等，形成模块化实现单元，可以以硬件形式，或者软件形式实现。任何常见的视频格式都能高速解码重建。

　　3.快速视频指纹提取：主要研发为提取视频视觉不变信息为视频指纹。该视觉内容不变信息不会因为视频的后期处理而改变，例如人为的剪辑，重新压缩，色彩转换，等等。前期以软件模块实现为目标，可以使用于通用计算机平台，高端服务器平台乃至移动设备平台，能够支持多种操作系统，例如Windows XP, Windows 7, Windows Server, Linux, Unix和Mac OSX等等。进一步以硬件模块实现为目标，形成即时可插拔硬件卡接入网络。

　　项目创新内容：创新内容要根据选择的创新类别，用技术语言按创新点分条目描述，尽可能多用实验数据，要有数据分析、对比。如果是技术创新，请说明目前一般采用什么技术，申报项目对什么技术进行了创新，；如果是结构创新、工艺创新，需进行新旧结构或工艺对比，并画出新旧结构图和工艺流程图。

　　实时视频分析：系统中视频分析模块，本系统可以支持通用的任何音视频格式，并且保证实时的视频流分析解码。

　　高效鲁棒指纹提取：视频指纹提取模块，根据我们对不同视频的测试（包括视频后处理：多次编码，缩放，加字幕等等），我们的算法平均正确率远远高于95%。对于其中很多常见的后处理，我们的算法正确度能够保证100%。并且我们也和国际标准化视频指纹算法进行了对比，试验结果说明我们的算法性能远远高于现有标准化算法。并且我们具有自主知识产权。

　　(2)专利进展情况（申请、已签发受理通知书和专利申请号、签发授权通知书正在公告申请文件、已颁发专利证书）；

　　(4）权利人相关说明请填入备注栏：申报人或团队使用单位知识产权（申报人为非权利人）的，要逐一说明是否得到了权利人的许可使用（提供许可证明文件为有效）

　　视频指纹技术目前在国际上已经存在标准，采用的是基于图像块平均值的方法。虽然国际标准已成标准，目前并没有任何的市场应用和产品推广。主要存在以下几个方面的问题：

　　首先，我们所提出的基于视频内容相关性的视频指纹提取不同于现有的任何理论，属于新型理论创新，很好的完善了视频内容理解和识别。

　　第二，我们所提出的理论可以很快的转化为应用技术，用于非法视频监控，盗版检查等等，很好的弥补国家在视频内容检索和识别方面的空白。本系统的视频分析模块可以实时分析解码任何通用音视频码流，既可以实现于大型服务器，也可以应用于普通终端。因此，我们的项目也属于应用创新。

　　本项目涉及的关键技术包括：基于高性能架构的视频采集技术、高性能视频流分析解码技术、视频指纹提取算法和技术、分布式视频指纹比对技术、基于云计算的视频指纹提取和比对技术。

　　1.视频采集：模块化硬件实现，大型实时系统数据采集和分类，技术指标达到几十Giga字节每秒。

　　2.视频分析：主要指标为支持市场任何通用视频流分析解码。模块可以分布式实时运行，并支持大型多核系统服务器，个人电脑乃至普通移动终端。

　　综上所述，本项目中所提出的视频指纹系统，在算法性能上可抗衡国际标准（某些方面优于），在系统设计和实现上有整体方案设计考量，包括采集系统已经被大型企业应用，视频分析模块已经经过大量成功测试（超过几百万的常规视频流分析），反馈分析提出先进的云计算架构。

　　也正是认识到视频技术的必要性，团队抢先进行了相关技术研究，并且形成了关键性技术和系统实现，打破了欧美在该方面新型技术上的壁垒，填补了我国该方面的空白。而我们的团队并不会局限于现有的技术实现，会在现有的基础上继续拓宽，补充，加深，形成国际一流的视频相关技术产业。

　　第二，该国际标准涉及的技术实现有一定的复杂度。因为标准的制定工作都是基于普通的简单实现，并没有任何的大型系统设计考量。

　　第四，该国际标准只是制定相应的指纹提取和匹配，距离大型系统实现和应用还有相当长的距离。例如，视频如何采集，非常规视频流如何分析。

　　3.视频指纹提取：关键视觉信息提取形成指纹，指纹必须针对不同的视频后处理抗干扰，包括视频压缩，缩放，剪辑等等

　　4.指纹对比：分布式实时计算比对和反馈，可以支持超大视频库，例如几十乃至几千万视频内容，包括电视，电影等。结合视频指纹提取，系统反应时间应当控制在秒级。

　　指纹比对的算法对系统的运算时间有很大的影响。非常简单的一个算法是遍历所有的视频指纹序列，而这样的实现对实际系统是不现实的。我们提出设计基于内容的滑动窗，来替换单步比对，也可以使用Dijkila算法来提高系统运算速度。对于大型系统来说zoty中欧体育，这样的快速比对算法可以成千上万的提高运算速度。同时，我们也可以有效利用现有的高性能云计算架构来分布式并行处理对比模块，保证实时采集和对比，以及结果反馈。

　　为了更好的理解本系统设计德视频分析、提取和比对模块设计，下面简单介绍视频指纹子系统，该子系统包括视频分析模块、视频指纹提取和比对模块的实现示意图。

　　该子系统包括视频分析，指纹提取和比对。网络上的视频内容成千上万，而各自的存储和压缩格式也种类繁多。简单估计，视频格式有３０到４０种之多，从常见的MPEG-２TS流，MP4,MKV中欧体育官网，到现今并不常用的DAT等等。因此，本系统设计了高速视频分析模块，能够实时准确的解析解码现有网络所有的视频格式，生成正确的视频文件，以备指纹提取。在本系统的设计中，指纹提取算法非常的高效，不仅可以应用于高性能服务器，也可以安装于个人电脑乃至移动终端。

　　本项目主要研究和开发内容包括：实时视频采集，视频内容分析，快速视频指纹提取，高效实时指纹比对以及分析结果汇集。

　　1.实时视频采集：研究开发高速实时采集卡，以硬件实现为目标，能够无缝接入服务网络（例如通过服务器PCI接口）。另外技术要求快速解析和分类网络海量数据包（例如文本，图片视频等）。后续加强技术还需要涉及加密数据包解密，以及损害数据包重建(Network Loss Reconstruction)等等。

　　此外，团队也正是看到了视频技术发展的广大市场前景，欧美大公司也正积极投入大量的人力物力研发相关技术，譬如说NEC美国研究院，IBM研究中心，英国Autonomy公司。虽然还未见市场产品的推广，但相信不久这些欧美大企业必定会布置相关的产品。不难想象这些产品将会以非常高的价格销售给全球各地。而我们的团队，凭借自身的技术实力，提出自主知识产权的技术实现，性能上不亚于，更加在很多方面优于欧美。

　　图3-1给出了本系统设计的大型视频系统的参考实例。目前互联网上有海量的视频文件传输，本系统通过旁路侦听进入千兆以太网或者光纤，采集数据包中欧体育官网，分类成各种不同的类型，例如图片、文字和视频。视频包重组进入指纹子系统提取指纹，而进行比对和反馈。通常比对参考大型指纹库。为了提高比对速度，除了应用快速算法，大型云计算结构也可以用来进行分布式并行计算，保证实时比对和反馈。

　　本系统整体设计包括视频采集机（硬件），视频实时分析器，视频指纹提取，视频指纹对比和分析结果汇集模块等5个核心模块。本系统的技术原理分析如下。

　　视频采集机可根据需要选择千兆以太网电接口或光接口，前端机采用数据旁路方式接入被监测链路，对于多接口或主备链路可采用前端机接入集群来实现数据接入和内容安全分析。网路视频数据包经过采集重组成常见视频码流，例如MPEG-2 TS流，H.264/AVC MP4流, RealVideo RMVB流等等。

　　（分布式）实时比对：视频比对，可以根据系统性能提供不同复杂的的架构实现。本系统的快速算法可以保证高速的视频指纹比对。例如一个2个小时的电影，本算法可以在分钟级的单位内完成视频指纹提取和比对。当然，借助于多核服务器，大型云计算中欧体育官网，本系统可以在秒级完成视频指纹比对并且反馈结果。

　　用户自定义反馈：分析结果汇总模块可以反馈比对视频，也可以反馈相似视频（假设视频库中并不存在原始视频）。本系统提供用户自定义接口，用户可以根据各自要求，通过系统接口提取反馈数据。

　　本系统设计将采用先进的SOA面向服务的架构设计，系统基于模块化设计理念，不同功能单元（服务）通过这些服务之间定义良好的接口和契约联系起来，便于功能松散耦合，便于系统运行稳定和模块化升级。

　　基于比对结果，分析结果模块汇总数据反馈给用户。考虑到用户的独特性，系统中分析结果汇集模块是用户可定制的。我们可以提供匹配结果，可以显示于电脑，电视，以及移动终端。用户也可以根据我们提供的模块接口，导出反馈数据参数，用于更近一步的数据处理。

　　而各关键技术部分，我们以有专利在申请中，保证我们的系统有自主知识产权。下图给出了系统整体技术原理，而更加具体的关键技术实现和算法在下面的章节中详细介绍。

　　重建视频码流通过视频分析仪解码。现今，我们的视频分析模块可以涵盖市场上所有的音视频标准，例如MPEG-2, MPEG-4, H.264, RMVB, VP8等等。并且系统实现不仅仅可以实时运行大型服务器，还包括个人电脑，乃至普通移动终端。

　　根据视频分析模块的解码视频，视频指纹提取模块提取视频指纹，用于其后的指纹比对。具体来说，指纹特征包括空间和时间性特征，而其中时间特征可以基于空间特征来实现。所以zoty中欧体育，空间特征指纹提取算法的设计是非常重要的。所谓空间特征，是基于一幅幅视频图像的特征提取。可以基于整个图像，也可以基于不同的分块。由于实现的复杂度，目前的系统中多采取基于图像块的特征提取。我们所提出的算法基于图像内容的相关性，对于不同的后期视频编辑有很好的抗干扰作用。此算法可以实现于低功耗的移动芯片。

　　国内并未有视频指纹的显著研究开发和应用工作。我们的工作在一定程度上填补了国内该技术领域的空白。但是国内也具有一些类似的技术，例如图片模糊识别，比如绿坝花季护航的图片过滤。不过，类似的模糊识别技术通常采用一些非常简单的算法，例如肤色的辨别，因此整个系统的精度和性能都不高。此外，现在国内现有的类似于模糊识别的技术并没有涉及到视频内容的理解，因此并不能像本系统一样，在理解视频内容的基础上提出基于视觉的指纹算法。

　　第三，我们首次提出利用云计算来实现并行指纹对比，可以实时反馈对比结果和数据处理。而目前的技术并没有这样的云计算架构设计，因而视频指纹对比需要很长的时间等待。

　　(1)专利权人：包括专利权人名称、专利权人性质（单位、个人）、专利权人与创办公司的关系。如果是单位：专利权拥有单位与创办公司的关系（同一单位，是创办公司的主管单位、存在股权关系、不存在股权及主管关系、合作关系），专利权个人与创办公司的关系（法定代表人、技术负责人、股东、非股东）；