站内检索

安防存储下的大数据技术
作者:赵彦锋 发表时间:2014年08月26日

 

  近年来,视频监控以每年20%左右的增长率在持续发展,视频监控行业在产值和规模上已取代其他安防行业,位列我国安防行业前列。视频监控从传统安防领域向各类管理和其他新领域纵深发展,进一步带动了行业的进步。与此同时,监控摄像机行业的变化也在潜移默化地进行着。

  视频监控行业更看重大数据管理

  城市安防包括社会和政府两部分,其中政府主导的平安城市是海量数据的主要来源。公安视频应用有四个发展趋势。一是全面建设阶段,以视频监控点建设为主,追求监控数量和图像数量,解决“视频有没有”的问题。二是普通应用阶段,以视频联网建设为主,追求监控图像共享数据和范围,解决“视频用不用”的问题;三是深度应用阶段,以视频智能应用为主,追求视频图像快速、智能的处理,解决“视频处理快不快”的问题;四是全警应用阶段,以个性化视频应用为主,追求视频应用的流程化、简捷化,解决“大家都能用”的问题,实现规模效应。

  这类项目为何会如此看重大数据技术的应用?海康威视的答复或许就有足够的代表性:首先,其所产生的数据无论在规模还是结构上,都是符合大数据定义的——“‘平安城市’应用是视频监控领域规模最大、业务最复杂的系统,其视频接入规模从几千到几万甚至到十几万、几十万都有,它涉及到了治安监控、指挥通信、侦查破案、规范执法、社会服务等多个分区领域,”海康威视副总裁蒋海青表示,“现在视频监控所采集的视频质量也从标清进步到了高清的时代,因此大家可以想象一个大型‘平安城市’项目所产生的数据信息量是何等之大”。安防时代的大数据版图已然形成。

  其次,“平安城市”视频监控采集到的海量数据也和其他种类的大数据一样,基础素材巨大,但有效率低,只有进行了智能、高效处理才更具价值。海康威视副总裁蒋海青指出:“传统的视频监控通常都需要人工监控,可是,人一般对视频只有20分钟的有效监控,之后注意力和关注点就下降了。”相比之下,智能化的监控技术不但不会像人一样产生疲劳,能够不间断的运行,而且它“还能从大量非结构化的视频数据中提取出有价值的信息,将视频监控的应用范围从过去和目前以事后查看为主,慢慢转变为事前预警,这就可以为公安、交通等各行各业提供更为有效的业务信息支持。”

  再次,建立高价值的图像数据库,并提供多部门跨平台方式的共享使用,让数据真正的“流动”起来才是最终目的。“以视频图像信息共享平台建设为核心,全面建设和优化视频监控系统及共享平台,建立和完善视频图像信息深度应用机制,推动跨区域、跨部门、跨警种的视频监控系统有效整合和视频图像信息共享,加强公安机关视频图像信息资源的综合开发利用,拓展和深化视频图像信息在公安业务中的应用,探索警务工作新机制,提升公安机关核心战斗力,深入推进公安机关科技强警工作,预防打击违法犯罪、维护社会稳定”将成为2015年之前,全国公安机关科技强警建设的目标。

  上述这三个特点就确定了“平安城市”视频监控应用必将成为大数据应用,也决定了它需要大数据技术予以支撑。

  海康威视大数据管理技术

  作为领先的安防产品及行业解决方案提供商,海康威视拥有庞大的研发团队,在安防行业大数据管理上有自己的理解和方向。原有的关系型数据库无法支撑海量的非结构化或半结构化数据,经过认真的评估与测试,海康威视最终选择了英特尔的大数据平台,而其核心就是具备大数据组织与管理功能的英特尔发行版Hadoop。

  英特尔发行版Hadoop的优势,从英特尔公司公布的信息来看主要有三点:一是它与其他版本的Hadoop一样,能够为海量数据的存储、管理和处理提供灵活的支持;二是它相比于其他版本Hadoop针对英特尔架构硬件平台做了更多的优化;第三点就是英特尔基于开放的理念,可以为采用它的合作伙伴或用户提供全面的技术支持与服务,而且在英特尔这个开放的平台之上,合作伙伴和用户也可以更加自如地融入自己的创新。

  这些优势,正是海康威视选择它来承载平安城市视频监控应用的原因所在。例如海康威视认为应用端需要的采集点很多、视频通道非常大,因此“处理平台不能是全集中式也不可能是全分布式,而应该是两者的结合”,而Hadoop的灵活性对此非常适用;又如海康威视在Hadoop的数据管理和组织层上加入用于视频数据的图像

  像处理、分析、分类技术,基于语义的分布式视频搜索技术来对它们进行挖掘,英特尔的开放平台也提供了充足的创新空间。而且,由于英特尔发行版Hadoop在开发过程中就已锁定了电信、金融、交通、医疗、制造等潜在应用领域,其开发团队早就着眼于智能交通监控的市场需求与海康威视开展了合作,在产品研发过程中汲取了海康威视的建议,因此能够为视频监控的大数据应用提供更为优化的支持。

  在这些成熟条件的推动下,海康威视基于英特尔发行版Hadoop,并融合可以灵活按需调配IT资源对应用和服务进行支持的开放架构云计算技术,打造出了视频智能云计算方案。该方案目前已在某些城市的智能交通监控领域得到了应用,它不但可以掌控城市交通摄像头覆盖区域中任一车辆的行驶状态、运行轨迹,分析出其是否违章行为或有潜在犯罪可能性,而且还能对海量交通信息进行比对、分析和预测,实现车辆布控、拥堵状态服务、出行最优路径规划、交通管理服务等功能。

  海康威视云存储技术

  先进的存储架构是进行安防大数据管理的硬件基础。针对不同的应用环境存在不同的解决方案。DVR分散存储,DAS直连存储和SAN集中存储技术在不同的监控环境中都已经得到了充分应用,可以满足大中小型监控系统的存储需求。但是对于特大型监控系统,要求达到数十PB甚至数百PB级的存储容量,靠单设备和单客户端的文件系统是做不到的,必须有虚拟化、集群化的解决方案。

  近几年兴起的云计算、云存储技术充分利用了虚拟化集群存储技术,可以实现存储空间的动态扩展、多设备负载均衡、多设备冗余等,为特大型监控系统的建设提供了新的思路。云计算是信息技术发展新趋势,云存储是在云计算概念上延伸和发展出来的一个新概念,是指通过集群应用、网格技术、分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的存储系统。

  海康威视认为,云存储的核心是针对行业应用特征,实现应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。

  “海云系统”是海康威视监控云平台和云存储系统的结合,充分利用在视频监控上的技术积累和自研的流媒体存储技术。专有的基于流媒体的文件管理结构,对于构建针对视频流应用的监控云存储系统具有天然的应用优势。

  云存储系统由云存储管理节点和存储节点共两部分组成。其中,存储节点支持前端设备的直接写入和客户端的直接取流;内部有关云内配置的元数据信息由管理节点统一管理,管理节点还需要负责集群内部的负载均衡、失败替换等管理职能;组建海量的存储资源池,容量分配按需自动分配;并且存储容量可进行线性在线扩容,性能和容量的扩展都通过在线扩展完成。此外,管理节点还负责存储节点的命令流处理;存储节点负责音视频录像数据的存储。

  海康云存储定位于城市级和大中型企业级视频监控应用,如:公安、司法、交通、监狱和金融等。其主要用来处理和大量视频类数据相关的应用,例如对设定条件下数据快速检索和定位分析、数据加工、智能分析。对于公安用户来说,为关键任务、高并发性及基于随机访问视频的应用需求提供高速存储,其作为视频监控综合业务平台中最重要基础支撑部分,也就占据越来越关键的位置,并且发挥出重要作用。

  从技术发展的视角,智慧城市建设要求通过以移动技术为代表的物联网、云计算、分布式文件系统等新一代信息技术应用实现全面感知、泛在互联、普适计算与融合应用。从社会发展的视角,智慧城市包括食品、交通、治安、能源、物流等各个领域,实现以用户创新、开放创新、大众创新、协同创新为特征的知识社会环境下的可持续创新。平安城市只是智慧城市的冰山一角,不断创新的大数据管理技术相信会为社会服务提供更强大的技术支撑,不断得到全面验证。

  作者单位:海康威视存储业务部

首页投稿广告关于我们联系我们

版权:《高科技与产业化》编辑部版权所有 京ICP备12041800号

地址:北京市海淀区中关村北四环西路33号 邮编:100080

联系电话:(010)82626611-6618 传真:(010)82627674 联系邮箱:hitech@mail.las.ac.cn