万博manbetx官网登陆万博manbetx官网登陆提供万博最新的万博体育登入网址,及时更新备用网址,让广大会员用户不再为寻找万博体育登入网址而苦恼,万博感谢您的长期陪伴,感谢您的信任与支持!
当前位置:

学术探讨丨大数据警务应用实战平台

作者: 万博manbetx官网登陆|来源: http://www.hiqq123.com|栏目:万博manbetx体育|    日期:2019-11-04

文章关键词:

万博manbetx官网登陆,性能规约

  浙公院作为深耕警务信息行业多年的标杆企业,一直备受业界的关注和肯定。秉持着行业共享一同进步的理念,浙公院以多年的研发经验为基石,在核心期刊《警察技术》2019年第5期发表了《公安大数据智慧警务设计与应用实践》一文,将智慧警务设计的构建理念,技术架构、关键技术及实践案例与业界同仁共享,期望能够得到大家真诚的探讨回馈。

  针对公共安全领域不断扩大和完备的业务流程和管控需要,逐步利用现有大数据资源,对各项警务应用进行智能化大数据融合治理和实战应用。当前,警务数据还存在数据类型多样、数据来源多方、算法模型各异等特点,统一运用数据规约、业务建模、算法仓库等大数据技术手段,建立适合跨警务业务的大数据融合应用解决方案。

  随着我国经济、技术、人文等社会多领域的飞速发展,城市人口、数字信息等高速增长,社会结构更为多样化,治安形势日趋复杂。需要大力推进社会防控体系的建设,使用更为智能的科技和信息化手段提升社会防控效能,维护社会稳定和安全。

  大数据警务实战平台的核心是融合物联网多种采集感知设备、互联网端信息、公安数字化应用信息等多方数据来源,契合各警种业务的数据工程化治理;统一化、标准化、安全接入大数据平台。实现大数据的多维度规约治理、可信安全存储、智能研判分析、自动预警预案、集约管理共享和应用等。

  以公安部提出的“基础信息化、警务实战化、执法规范化、队伍正规化”的建设指导,结合警务应用的核心关键业务进行多维度抽象化设计。以“情报、指挥、联动、派勤”四个方面的主线业务,以“人、车、物、事、境”为核心元数据的多维度全息感知、智能化建模分析、自动化辅助预案等高度抽象设计实现。

  以“数据模型、流程模型、算力模型”三个关键模型化设计思想为指导,整合各警种业务自身特点,实现多源大数据标准化治理、流程自动化配置、应用服务化发布等技术应用。运用先进的CAAS(容器即服务)服务化思想、将各领域业务应用微服务化实现。通过服务化模块机制,灵活配置成符合各警种业务需求的应用和管理解决方案等,形成一体化警务合成实战平台。

  以公安信息化领域数据来源、警务关键业务流程为主线,结合并围绕着社会公共安全事件,即社会治安事件、公共卫生事件、自然灾害、事故灾难等各领域核心业务数据、流程等,建设 “两个中心、三个体系、四个机制”来支撑整个大数据警务实战平台的实现。

  数据中心和数据交换中心是大数据规约存储、多方数据交互融合的关键。以数据中心为基础建设核心元数据仓库、算法模型库等,支撑宏观分析和智能预案、辅助决策、行政监督等多个方面的业务模型应用实现。

  以服务总线为核心引擎的数据交换中心主要负责消息处理、异常告警、流程编排、监控管理、敏感数据混淆、开放式服务注册、发现、路由等功能。建立起能够支撑跨警务部门业务应用系统之间进行“沟通”的数据信息交换与共享平台。

  主要实现互联网、物联网数据的业务大融合。通过多维度大数据的融合,完善人员全息档案、补全人员时空轨迹,实现融合检索、全网碰撞、全息轨迹、场景预测、关系追踪、辅助预警等功能。

  其一,通过深度学习、人工智能、物联网一体化融合等新技术智能化视频感知、终端探头数据采集实现;

  其二,应用互联网爬虫技术,对互联网敏感数据进行采集研判,结合大数据信息挖掘、语意分析、神经网络等技术,实现社会舆论研判分析、区域流言分析;

  其三,运用警务现有各类报警数据资源、视频数据资源,融合多维度数据模型建设符合各警种业务的标准化数据仓库,支撑上层智慧融合应用体系的建设。

  运用分布式大数据技术架构,使得上述两个体系得以标准化、模型化、组件化、系统化的建立实现。同时,利用先进的区块链技术的特征--分布式账本、共识机制、智能合约等突出特点,建立一套基于大数据的闭环监管体系,以实现关键信息的可靠性、防篡改的监管机制。

  数据标准化机制包括数据归约标准化、元数据高效存储与分布式索引、全局数据共享、异构数据集成与融合;系统随着应用环境变化调整的智能存储技术、数据并行访问优化技术等。

  建立包括物理安全、网络安全、系统安全、应用程序安全、数据资源安全和安全认证。体系将利用现有的安全平台,从安全体系和运行保障机制两个方面为系统提供安全保障。

  运用各种技术手段实时收集和监控网络环境中每一个组成部分的系统状态、安全事件、网络活动,以便集中报警、记录、分析、处理。在加大网络边界防护、数据通信安全、病毒防护能力等外部网络安全建设的基础上,引入运维保障体系与操作监控机制以发现并阻止错误及违规事件。

  大数据平台架构主要采用Hadoop技术生态体系。运用Hadoop分布式文件系统(HDFS)进行多源数据的汇集存储。针对物联网、互联网、政务网等的各方数据源,将各方元数据进行高效的数据抽取、数据清洗、数据转换等,完成各种多方数据源异构数据类型的标准化规约至目标数据库的转换实现。

  平台主要构建在Hadoop大数据架构之上,针对各种不同应用场景,采用HBASE数据库对需要随机访问处理、实时读写的数据进行标准化存储;同时使用基于MapReduce、Spark等的技术体系实现并行计算需求。针对明确的应用场景和业务需求,使用Hive技术手段基于HBASE进行数据主题仓库建设,数据通道建立在以Kafka为基础的消息中间件之上。大数据平台架构主要包括数据采集层、数据治理层、数据处理层、数据应用层来分别支撑前面提到的三个应用体系的建设。

  数据主要来源分别为物联网、互联网、政务内网。根据不同数据来源场景,使用不同的应用采集前置服务来完成。基于微服务架构,结合Docker容器部署,统一使用K8S进行服务容器资源协调来实现整个大数据ETL过程。

  为处理多来源异构环境下的结构化、半结构化、非结构化数据,针对不同的数据来源场景使用不同的采集服务方式处理。

  通过前置服务的环境适配元数据提取,将进行标准化数据转换。通过自定义转换处理模型、关键特征过滤等,实现向高价值结构化数据转换,并结合多维元数据信息,利用关键特征数据结合业务核心算法实现,最终建立适合解决业务主题分析的数据仓库,为实现高性能并行查询分析统计提供支撑。

  根据业务特征关系,将标准化数据进行非范式关系、数据冗余等处理,形成完整的业务数据集。针对不同的业务场景、分析特征进行预制的智能化标签处理,实现多维度大数据融合规约处理。使用大数据处理引擎Spark计算平台,对交互式查询和流处理进行高性能大数据集计算服务。运用SparkSQL结构化即时查询,Streaming实时计算、机器学习、图计算等核心体系,实现高性能分析运算,支撑业务主题仓库的建设。

  应用层主要建设两个方面的内容。首先,使用企业级服务总线技术对各警务、警种等业务系统进行统一集成,并结合Kafka订阅机制,将各业务系统需要大数据平台处理后的主体数据集进行标准化接口集成,各业务系统将共享大数据主题仓库数据集。再者,基于微服务架构的开放式开发平台,实现警务人员、行业专家等开放式开发需要。扁平化、所见即所得的运用大数据资源进行算法模型、技战法运用的定制开发和演练,切实提高各警务人员的侦查手段和经验分享。

  随着国家信息安全技术标准的不断出台和完善,对安全审计的要求逐步成为网络安全管理中的基本要求。如《信息安全等级保护管理办法》、《网络安全等级保护条例(征求意见稿)》中都有相关的明确要求。

  攻击溯源一直以来都是网络安全事件分析中重要的一个环节,安全审计平台一方面对采集到的各类设备和信息系统的日志从时间、空间等多种维度进行深度关联分析和数据挖掘,梳理出安全事件发生的脉络和攻击的路径。另一方面通过集成威胁情报接口可以对攻击者进行实时的定性分析,通过威胁情报库中各类信息的关联查询和分析,帮助用户全面的了解攻击者的来源、手段和以往的攻击行为等。

  公共安全服务总线平台为所有内部部署的应用服务器提供集中管理和监视功能,基于可信计算的信息安全技术研究和在开放集成平台中的应用为切入点,在实现安全服务总线的信息安全检测,信息安全加固、大数据安全访问控制、智能防护和数据防泄露等方面做到智能化管控、安全监控、操作信任跟踪。

  基于可信技术的大数据服务总线由服务总线PSB、数据服务交换主动监控、主动免疫计算、业务总线. 服务总线(PSB)

  实现对各类网数据资源进行接口接入、数据整合、应用集成。接口接入协议支持多样化,包括HTTPs、SOAP、FTP、JMS、DB、IMAP、POP3等,由总线进行统一封装后形成标准化交换。数据整合主要对结构化、半结构化、非结构化数据进行格式转换处理,形成标准化数据结构提供给各目标业务系统使用。应用集成主要完成了各个异构业务系统间的统一对接和通讯业务流程。

  对接入总线平台的数据服务在进行数据交换、业务调研时,构建主动免疫、安全可信的主动防御体系,对原等级保护有关标准及时进行修改和增补。对敏感性数据实行主动告警、审计记录等手段,尤其是对基本数据安全要求和框架性流程监控,智能化主动防御和监控。

  服务总线为大数据平台实现跨应用、跨警种、跨区域的信息共享基础传输通道,通过对多方本地业务接口、数据接口的标准化统一接入,为构建应用系统提供了高效丰富的数据资源服务。

  服务总线按照实际网络环境需要,可分别部署在互联网区、信息网和公安信息网区,分别支撑Ⅰ类、Ⅱ类和Ⅲ类应用的服务接口管理和接入。在部省服务总线节点中,跨网域的服务资源访问可在同一平台的不同网域节点之间进行,同时跨网域和跨平台的服务资源访问由服务总线.Ⅰ类区服务总线

  面向Ⅰ类区应用的共享信息资源服务提供服务接入能力。支撑“互联网+警务”的互联网信息资源服务的引入;同时提供Ⅰ类区移动业务网络服务的共享服务,提供服务目录,用户实名认证以及服务的统一认证授权等运行支撑。

  作为警务应用的核心联通交换区,需要面向Ⅱ类区应用提供共享信息资源服务和服务接入能力,支撑Ⅰ,Ⅲ类区域移动服务总线的跨区域授权访问服务。Ⅱ类区服务总线还要承担汇集Ⅰ、Ⅲ类区域服务目录的功能,并实现与部管理节点注册上报的对接。

  面向Ⅲ类应用提供共享信息资源服务和服务接入能力,支撑Ⅱ类区服务总线的跨区域授权访问服务,同时对接资源服务平台(或其他数据资源池),具备由SOAP协议到REST协议的自动转换能力,满足应用服务演进的需要。

  跨域安全交换平台主要满足跨区域访问等使用场景的管控需求。跨域安全交换平台与各区域移动服务总线之间实现平台级接口对接和授权互信,简化各区域服务在跨区域场景下的对接要求,提高服务接入效率。

  收集人员车辆的历史出行信息,结合人脸、探针、卡口等多维度硬件设备,对时间段进行分割,预测得出在不同时间段内,被查询对象在不同地点出现的概率。

  通过对过车记录的统计可以得到常去位置,在这个基础上计算车辆的活跃期,通过对活跃期的分割,得到常去位置的停留时间和活跃期。结合时间域上的划分得到地点预测,可以得到一个相对全面可靠的预测对象的作息规律分析结果。

  在实际布控行动中,警务亭拥有多种类型的识别和通讯设备并在全城范围内有相对数量和合理的布局,以警务亭为物理依托来进行布控对象的预测预警,可以大大提高布控的速度,降低人力物力的调配成本。

  通过计算可疑路径分别的期望,并查找辐射区域覆盖路径最近的警务亭,通过对该警务亭的覆盖区域到可疑路径的远近和数量,对经过警务亭的概率进行计算。得到以概率为结果的预测信息。

  关系图谱一般从两个维度进行分析,一是亲密关系,包括亲缘关系和人际关系;二是空间关系,包括交通工具的同行、落脚点接近和尾随跟踪等。而与被分析对象有直接关系的关系网络称为一级关系网络,与被分析对象的关系路径需要经过一个另外对象的称为二级关系网络。以此类推,有多级关系网络。在多级关系网络中,不同对象之间的路径有多种结果,同时还有隐藏的路径或潜在联系的路径。

  通过相似度对各个对象链接边进行权重评分,按照权重评分建立新的高分值链接并删除低分值的链接。由此,得到一个新的预测关系图谱,可以帮助识别隐藏的路径或未来潜在联系的路径。

  在很多犯罪活动实施之前,犯罪嫌疑人都会在作案现场有异常的行为。比如来回走动犹疑,或者是在做提前的踩点观察环境。这类行为反应在轨迹上就是明显的徘徊行为。徘徊行为需要满足两个条件:一是在该区域被采集到的次数很高,二是在一定长度的时间内活动。

  数据可视化主要借助图形化手段,使大数据多维度的算法分析、数学建模能够清晰有效地展现和传达应用直观信息。可视化分析主要基于海量数据关联分析、即席查询、人工辅助预案、图表模型关联,组合而成完整的可视化、可操作看板。

  根据各区派出所、接警单位要求,个性化定制区间段内(如一年)警情统计数据展示模块。可通过配置确定需要展示的警情性质、警情类别、警情类型。可掌握各辖区的警情数量和警情级别,实现警情态势跟踪、警情分布展现,为适时启动或调整勤务等级提供决策依据。

  根据各区警务单位要求,个性化定制综合统计数据展示模块。可综合展示车载、通讯、人员等统计数据,对接警任务相关实时定位到已报备的车载、对讲机、通讯设备等。

  大数据警务实战平台充分运用大数据架构、数学建模、容器技术,结合公安实际工作中的业务特殊性,通过多维全息感知体系、大数据基础应用体系、智慧融合应用体系三大体系支持,建设完善数据融合标准化、全局业务一体化、三级联动指挥智能化,为提高警务工作精准化发挥基础保障作用。

  [2]公安部科技信息化局,公安部第一研究所,公安物联网技术发展报告(2016).[3]张敬锋,刘琼,李磊,Hadoop与ETL技术在视频数据中的应用.警察技术,2018(5)

  [4]龚正,吴治辉,王伟,崔秀龙,闫健勇.Kubernetes权威指南.电子工业出版社.

  ——————————————————————————————————————————————

  声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。

文章标签: 万博manbetx官网登陆 ,性能规约

 上一篇:国网江苏2019年第三批物资公开招标采购项目招标

 下一篇:CAN2000变电站自动化系统的性能特点及应用