让网络视频“说话”的“福尔摩斯”
- 发布时间:2015-05-27 02:31:36 来源:科技日报 责任编辑:罗伯特
当前,我们正处在一个数据爆炸性增长的“大数据”时代,尤其是随着网络带宽的飞速增长和智能手机等视频拍摄工具的迅速普及,网络视频的制作与传播变得更加方便快捷,呈现出爆炸式的增长态势,但如何在浩如烟海的网络视频中准确快速的找到想要的视频则无异于大海捞针。
近日,由中科院计算所、北京北纬通信公司、北京神州天脉公司共同完成的“大规模网络视频处理与内容分析关键技术及应用”获得2014年度北京市科学技术奖一等奖。该项目通过在高并行计算平台上有效地集成多种国际领先的视频样例检索与视频语义概念识别方法,赋予了网络视频智能分析系统一双“慧眼”,让它成为能够高速高精度分析与检索网络视频的“福尔摩斯”。
海量网络视频的自动分析已势在必行
在大数据时代,互联网充斥着各类良莠不齐的信息。尤其是一些含有色情、暴力或反动信息的不良视频不仅严重污染网络环境,更会成为别有用心者散布反动信息的温床。从“日本核辐射空气抵沪”的无稽之谈、到“甬温线动车事故29人失踪”的以讹传讹,都造成了极其恶劣的社会影响。这些不良视频往往会通过虚假的文本标题来逃避基于文本分析的传统安全监管,对海量网络视频的视觉内容进行快速准确地自动分析与处理已势在必行。
“该课题是在国家863计划、北京市科技计划支持下历时12年开展系列研究并取得突破,建立了快速、准确、及时的网络视频监管系统,并开展了大规模网络视频处理与内容分析关键技术研究及应用。”课题负责人,中科院计算所研究员张勇东说。
为了促进网络视频信息消费的发展,同时加强网络视频内容监管,保障网络视频产业健康有序成长。中科院计算所与北纬通信公司成立联合实验室开展大规模网络视频处理与内容分析关键技术研究,包括视频编解码优化与终端适配技术、大规模相似视频检测技术、大规模视觉语义概念检测技术、网络视频话题检测与跟踪技术和网络视频数据采集技术。
基于关键技术研究成果,课题研制了三款应用系统平台,包括手机视频服务平台(北纬通信公司主导研制)、网络视频内容分析与监管系统平台(中科院计算所主导研制)、基于众核处理器的网络视频分析处理加速卡(神州天脉公司主导研制)。
多项技术实现突破
俗话说:“一画抵千字。”即使是一段很短的视频,想要完整、准确的描述其中的所有视觉信息,其数据量可以抵得上一部大部头小说。由于视频的数据量庞大,实际应用中首先需要进行压缩编码,需要时再解码恢复出原视频数据。由于终端类型多样、网络带宽不一,还需要进行视频编码数据的分辨率、码率、格式进行转码适配。高速的视频解码技术是将视频内容分析技术推向实用的前提条件。
视频数据的编解码和转码适配,通常需要较高的计算开销。为提高处理速度,针对视频编解码及转码的主要模块,包括残差系数解码,环路滤波,变换系数转换等。为此,课题组发明了一系列快速的视频编解码优化方法,更好地满足了实际应用对功耗和实时性的要求。为了有效利用带宽,提高视频编码压缩效率,提出了一种基于视觉特性的视频编码及转码方法,显著提升在带宽受限的条件下解码重建视频的主观视觉质量。为了解决在异构终端环境下,视频解码播放的适应性问题,采用支持音视频解码自适应的方法,有效解决了在资源受限情况下终端播放器对音视频编码格式的限制问题。
“针对QCIF、CIF和HD视频序列,在保证率失真性能的情况下,我们与主流的wavfront和PLPM方法相比,分别可取得平均5—8和4—6倍加速。”张勇东说。
网络视频丰富的用户标签,是用于视频话题检测与跟踪的重要信息。然而,这些标签由用户随机标注,存在数据稀疏,噪声大等特点,直接应用效果差,为此,课题组发明了一种全新的网络视频话题检测和跟踪方法。通过提取时域连续的词频轨迹特征和事件轨迹特征,解决数据稀疏问题;基于轨迹特征提取显著词,并基于显著词进行话题聚类,应对数据噪声;通过基于全局最优路径选择的话题排序方法,不仅能提取内容热点话题,还能挖掘出传播热点话题。
此外,为了满足更精确的视频信息管理和检索需求, 如何跨越语义鸿沟,使计算机像人一样更好地理解视频中的语义概念。课题组发明了一种适用于大规模网络数据的视觉语义概念训练和检测框架。在此框架下,结合特定规则,实现了特定标识、淫秽色情内容等视觉语义概念的高精度检测。
为提升国家互联网视音频监管发挥重要作用
“目前,该课题面向网络视频服务领域和网络视频内容监管领域开展了成功的应用推广。”张勇东说。
在国家互联网视音频监管应用上,课题组为国家研制了一套互联网视频流在线视频内容分析与检测系统,用于检测有害视频,已在一系列网络信息安全重大专项任务中发挥了重要作用。
在手机视频服务应用上,北纬公司负责研发了手机视频服务系统,实现了动态实时视频转码适配,对于网络带宽的波动具有更好的适应性。并被中国移动和央视网选中,作为其合作运营的手机视频服务的技术支撑平台。据了解,本项目近三年的直接经济效益达到1.2亿元。
此外,课题组有效解决了大规模网络视频分析与处理面临的瓶颈问题。针对3大核心发明点,已取得授权专利19项,发表高水平论文60余篇,获得国际会议最佳论文3篇,国际评测成绩优秀。并以此为基础,为国家互联网视音频监管应用提供关键技术和系统,为全面提升国家互联网视音频监管能力发挥重要作用,取得了良好的社会与经济效益。
- 股票名称 最新价 涨跌幅