产品特点
总体架构
系统总体架构分为信息资源统一采集管理和流程控制平台、信息资源综合应用平台、情报研判平台、统一发布展示和对外集成共享平台四个部分组成。
信息资源统一采集管理和流程控制平台解决数据来源问题。数据来源包括公安内部业务数据和部门间信息交换与服务平台接入的社会其他部门业务数据。
信息资源综合应用平台建立综合资源库,通过抽取、清洗整合工具将数据接入到数据中心,从而形成综合信息资源库。同时对综合信息资源库中的数据进行应用,包含各种信息的查询、比对、分析、预警等多种应用。
情报研判平台是在对综合资源库进行深度分析建立各种数据模型的基础上,建立各种分析引擎,从海量数据中挖掘出有价值的情报信息。
统一发布展示和对外集成共享平台是指系统的主要服务群体以及服务方式,对公安内的各业务警种开放并提供服务,可对其他系统提供比对、查询等标准服务,对其他需求的服务群体实行标准接口提供服务。
功能简介
2.1数据整合功能
数据整合支持对结构化数据(数据库ORACLE、SQLSERVER、DB2、SYSBASE、MYSQL等)、半结构化数据(HTML、TXT、EXCEL)、非结构化数据(文档文件、声音、图像、视频等)的全部抽取和增量抽取等多种数据同步方式,并整合到共享资源库中。
2.1.1数据抽取同步
数据抽取同步一方面可实现对公安内网各业务系统中进行数据抽取归集到共享资源库中,另一方面可对归集的公安外资源信息,并整合到共享资源库中。支持跨部门、跨业务的内、外网的信息资源有效整合,实现公安机关内部各业务部门共享数据及与公安工作有关的社会信息资源数据的汇集管理与服务。其具体功能包括建立数据抽取、数据清洗、数据转换、数据集成、数据装载、数据核验等功能。
2.1.2数据清洗整合
数据清洗、转换,目的是提高抽取的数据的数据质量,其中包含对非法字符的过滤、对标准代码的转换、对身份证和手机规则的校验、对身份证15位转换为18位等。
数据整合管理同样主要是依托数据清洗整合系统(ETL)对数据进行整合聚类,通过可发现的确定关联因素在若干数据之间建立物理静态的关联关系,并提取共通信息建立主信息源点,并且依次作为数据集市建立所需直接数据分类源。
2.2数据共享管理
对于公安信息资源库中的各类数据资源,按照不同的应用需求提供灵活的数据共享服务,系统提供多元化的共享接口。
2.2.1共享资源配置管理
共享资源配置管理主要是对可以共享的资源数据进行配置,挂接到系统当中,在需要对数据进行共享的时候管理员只需选择已挂接好的资源即可,其中共享资源配置管理主要有数据源挂接、应用挂接、数据表挂接、字段挂接。
2.2.2共享服务接口
本系统将对外提供数据共享的服务接口,以减少各成形应用系统的开发工作量。其中共享服务接口主要包含FTP数据共享接口、webservice共享服务接口、数据直接引入接口三种。
2.2.3元数据管理功能
对元数据的管理系统将做到字段一级,对每一种元数据都形成对应的配置,例如:配置元数据库的表名称、中文表名称及其他含义,对元数据表字段的管理包含:字段名、字段中文名、标准代码转换、是否提供查询、是否显示、所属元数据、显示顺序、字段级别等信息进行管理。对元数据能与其字段形成映射关系,便于用户使用和理解。
2.2.4数据质量管理
系统提供数据质量指标的统计,包括数据集数据量大小,数据实体数据量大小,记录条数,字段在关系数据库中的空间利用率等。
通过建立完善的数据质量分析机制,实现对综合资源库或业务数据库的数据不断地进行数据校验、比对,完成不规范数据的清洗和过滤,保证数据安全可靠、不丢、不重。
2.2.5运行监控管理
系统提供完善的监控管理功能,支持异常预警。根据不同的监控指标,当系统发生异常时可通过多种方式向管理人员发布预警信息。运行监控管理包括资源状态监控、数据库监控、运行状态监控、数据故障处理、监控预警、日志管理、监控展示等。
2.3数据应用功能
2.3.1超级搜索系统
超级搜索是基于结构化数据、网页数据、非结构化数据的一个全库搜索的系统,其中结构化数据包含了共享资源库中的所有数据以及其他本地的一些资源库数据,非结构化数据包含用户自定义或上传的一些文件例如,txt文件、xml文件等文件形式的数据,网页数据是利用网络爬虫对网页上的文本进行爬行从而形成网页全文库的一种数据。
用户输入关键词后,系统将把与关键词相关的所有信息都给找出来,不论数据存在于哪个库、哪个表、哪个字段或哪个文件中,只要数据库记录内容中包含该关键词信息,系统将把结果全部检索出来,用户可进一步点击分库、分类进行操作。检索出的结果可按照相关度由系统进行智能排序。
2.3.2综合查询系统
2.3.2.1要素查询
要素查询是依据人、案、物、机构、地理五要素的分类原则,针对其中一类信息的查询。例如当用户要查询某人的信息时,如果用户确切知道被查的信息在哪个业务数据库中时,可选择按应用查询方式;如果用户不知道被查的信息在哪个业务数据库中时,可选择人要素查询,即“所有人员”,系统会自动到所有与人相关的数据库中查询。
2.3.2.2综合查询
用户根据具体应用要求,任意选择一个或者多个数据表进行检索,系统将只检索用户选定的数据表中的信息,并提供相关度排序展示。
复合关联是关联查询的一种方式,即复合条件关联。以机动车档案信息为例,在机动车信息中,车牌号码、发动机号码、车驾号码都可以作为关联条件,如果按其中的某一项进行关联,称为“单项条件关联”;如果按三项条件同时关联,则称为复合关联。又如,在常住人口信息中,可以按身份证号、姓名进行关联,如果按身份证号+姓名进行关联,则称为复合关联。
2.3.2.3分类查询
分类查询是在数据归并整理和数据分类的基础上进行的,将各类查询功能进行了统一安排与分门别类,实现了查询项的全面展示与快速查找,满足了民警对各类单一业务的快速精确查询。分类方式可以按五要素分类,也可以按业务警种即部门分类,也可以按数据种类如人员类,以及子级如人员类子级常口类、暂口类进行分类分级检索和钻取检索。
2.3.2.4思维记忆
用户有选择性的将在平台中查询过的业务库查询条件保存起来,在思维管理里面可以将记忆过的思维进行碰撞。
2.3.2.5自定义查询
用户可自定义查询条件,用户组合逻辑关系创建查询条件,对资源库数据进行查询,模块支持对多个关键词的“与”、“或”、“非”、“包含”、“完整匹配”等逻辑关系,用户通过该模块可实现对全文检索的高级应用。
2.3.2.6模糊检索
对于要素查询、业务查询、关联查询等操作系统除了支持普通的精确搜索之外,同时均支持查询字段的模糊匹配操作,系统使用%作为模糊查询匹配符。如查询常住人口信息中姓李的人员信息只需输入李%即可。同时系统可支持左模糊匹配、右模糊匹配、全模糊匹配等模糊查询操作。示例:示例:李%,*明,李?明%,44040?1980*11。
提供用户可以选择具体某数据表的单个/多个字段,形成查询表单,精确查询完全匹配的内容。在实现精确查询的同时也支持模糊查询。
2.3.2.7轨迹查询
根据身份证号、人员编号等关联信息的结果,按照事件的发生时间,进行时间排序,刑侦办案人员,可以迅速的发现一个人员的轨迹信息。每条信息分别来自于什么样的数据源,以及事件的摘要信息内容。轨迹信息包括暂住信息、入住旅馆信息、网吧上网信息、民航空港信息等。
2.3.2.8多库关联查询
系统可在极短的时间内,根据人员身份证号、姓名等,将所有库中与该人相关的信息全部检索出来,并对动态信息按时间排序后展示给用户。包含该人员的基本信息、前科劣迹、活动轨迹、个人财产、相关物品、社会属性和其他附属信息的挖掘,可全面展示个人的所有相关信息。
2.3.2.9业务关联检索
业务关联检索借助数据挖掘及分析工具,理清数据间的联系关系,打通数据间联接的通道,实现能够展示二层以上等较为复杂的关联查询,达到从单一对象到多要素多对象的综合相关关系的多维展现。同时,每一个通过关联查询所获得的新的对象又可以拓展出更多的相关信息。通过提供对单一对象同其他对象相关关系的展现,建立多个对象之间的相关路径。
2.3.2.10档案信息查询
?人员档案信息查询
根据数据库中记录的潜在关联关系,对某个具体人员进行关联查询,形成以此人为基础的七大类背景信息:主要包括人员基本信息、家庭关系信息、社会关系信息、从业情况、活动轨迹情况、通信工具信息、资产类信息。每一类背景通常来自于多个表的多个字段内容,系统应根据潜在关联关系进行检索,并将信息按要求组织在一起,形成人员电子档案。
1)人员基本信息栏目
2)相关证件栏目
3)其他地址栏目
4)其他基础信息
5)前科劣迹栏目
6)个人财产栏目
7)社会关系栏目
8)活动轨迹栏目
9)互联网信息栏目
?车辆档案查询
车辆档案分车辆基本信息、车主信息、违法记录、事故记录、车辆轨迹、被盗抢记录6个栏目展示人员的相关信息。
1)车辆基本信息栏目
2)车主信息栏目
3)违法记录栏目
4)事故记录栏目
5)车辆轨迹栏目
6)被盗抢记录栏目
2.3.2.11批量检索与比对分析
(1)系统提供上传功能,用户可在页面将批量关键词数据文件上传;
(2)根据关键词批量的检索与比对,命中结果的呈分布图展示;
(3)提供任何阶段、任何中间数据结果的分表批量导出功能。
2.3.2.12漫游查询
漫游查询是对异地数据的另一种查询方式,本系统可以通过路由向导,引导用户到不同地点进行查询。如果用户确切知道被查的信息在哪个地市,可选择异地漫游查询方式;本系统可实现“单点登录、全网漫游”。
2.3.2.13异地共享查询
根据各地市资源开放规则,以及有条件对等资源交换的原则,实现异地数据的检索访问。实现思路如下:各地市管理员在本地设置可开放共享资源,并将这些资源的共享方式、共享范围、共享权限(简项或全部项)进行配置,并通过系统同步到中心共享信息存储表。加入共享查询的地市可以通过WEBSERVICE方式,访问其他地市开放的资源。其中各地市需提供一个WEBSERVICE用户,供外地市进行访问,访问的权限也就是各地提供给外地市的权限。
2.3.2.14关系分析
关系人信息是基于人员主体的扩展信息,包含与该人员主题有同户、同事、同机、同暂住地或者同旅馆住宿的嫌疑的人群,帮助民警对嫌疑对象进行深挖扩线。
通过身份证号码查询到一个人之后,可以快速定位到该人员的同学、同事、同行、同住、同上网、家人、同案犯等等。此功能是依照各类数据间的关联关系进行分析,将一个人的社会关系群体定位并可实现基于关系人的深挖和扩线。分析结果以关系拓扑图进行展示。
2.3.3战法模板分析(研判工具集)
在人工经验分析方式中进行总结,找出通用和固化的数据和使用模式,通过分解和归纳目前数据分析的经典方法,形成各类针对单一功能、单一业务的战法模型,形成情报研判工具集,利用战法模型自由组织和灵活利用,实现网上作战的软件要求。包括特征分析、频度分析、推理分析、人案分析、链式分析、时空分析等。
2.4数据安全功能
2.4.1用户、权限管理
用户管理:提供用户名和数字证书登陆两种方式。权限管理:提供针对不同的人员对不同的资源,其使用权限是不一样的,必须提供对用户(用户/角色/用户组)、资源、权限三大块的分级管理和控制,资源的权限控制遵照公安部的标准对数据的基本项、简项、全项有严格的控制,不同的部门、个人对不同数据库、表、字段有不同的权限,同时用户本身拥有数据级别与数据密级。
2.4.2红/黑/白名单管理
红名单:提供红名单内人员信息的高安全控制,绝大部分用户无法查询浏览这些人员的任何数据。用户可向系统导入需保护的红名单(如:一批身份证号)。支持红名单根据等级进行划分。支持万人级红名单。
黑名单:对于窃取系统信息的行为进行审计,如果发现有窃取国家机密信息之行为,则将该用户及其IP地址列为黑名单。
白名单:白名单主要是各业务警钟培养的耳目信息,白名单功能用于保护该类人员,防止经营性案件同普通性一般案件撞线。
2.4.3安全认证管理
在系统使用过程中必须按要求访问,控制步骤如下:
系统能与CA认证平台实现平滑过度,使用者通过CA平台访问本系统,只有通过CA认证系统身份认证的警员才能使用系统功能。
2.4.4日志管理
日志是记录用户在系统使用过程中对系统的一连串操作,掌握各用户对系统的操作细节,有利于系统安全性以及公安信息安全性的需要。日志管理部分将能够提供给管理员查看系统操作日志,删除系统操作日志等日志管理功能。
系统实现记载用户的使用登陆、使用操作情况,记载的内容有:用户名、登陆IP、登陆时间、查询内容、操作方式等;管理员可以从后台对日志的功能进行配置,并可对日志内容进行查询、统计、分析,以掌握用户的使用操作情况以及关注热点。
2.4.5程序管理
程序管理对框架作用方式的管理。
使用作业方式为系统提高运行效率,定义作业代码,作业名称,请求页面,成功响应页面,失败页面;并可为该作业提供数据操作,定义操作顺序,操作类型,表图名称,主键字段,是否记录日志,使系统方便灵活。
2.4.6节点管理
配置系统功能目录菜单项。配置菜单代码,菜单名称,菜单顺序,菜单功能,目标窗口。
2.4.7统计查询
系统支持以表格形式对用户的检索和查询信息进行展示,包括查询数据统计,查询关键字排名,ip查询统计,ip段统计,查询次数统计,查询词分时段统计等报表信息。在查询词分时段统计等一些报表里支持二次过滤查询,得到更为详细的统计信息。并且支持报表的打印和保存功能。
2.5系统接口服务
2.5.1应用开发接口
系统对外提供规范、多样的应用开发接口,支持主流开发语言(JAVA,C++,C#,.NET等),满足应用开发的不同需要。
对于公安信息资源库中的各类数据资源,按照不同的应用需求提供灵活的数据共享服务,结合用户角色、安全授权、数据授权,提供多元化的共享接口。
2.5.1.1查询访问接口组件
平台提供以下四种查询访问接口
1)带有用户认证的http/https
2)标准webservice
3)API
4)基于TCP/IP的自有协议
通过以上四种查询接口,根据用户方不同需要进行平台的无缝连接,包括对基于警务通移动终端的查询连接。
2.5.1.2信息复用接口组件
信息复用接口组件主要包含以下三种接口模式
1)API(包括JAVA接口和数据库级接口)
2)标准webservice
3)http/https
其中以API接口和标准webservice为主
2.5.1.3引擎调用接口组件
引擎调用接口组件主要包含以下两种模式:
1)API
2)HTTP/HTTPS映射
其中以API接口为主
(3)、指标参数
1、综合应用平台性能指标
1、可支持的在线用户数>10000;
2、可支持并发数>600;
3、简单录入、查询、修改、删除操作响应时间<2秒;
4、复杂分析响应时间<240秒;
5、主要单项查询结果返回在2秒以内;
6、主要单项分析功能在1分钟内完成。
2、超级搜索性能
在超级搜索功能上,建立基于语义分析的全文搜索引擎,实现网页及文档搜索的功能。在搜索速度上,全部静态和动态资源(数据库和网页)搜索一遍不超过1分钟。
3、ETL工具性能
本ETL工具对大数据量进行数据抽取,可以保证对大数据量的抽取在正常情况下能较好地执行,在一定时间内完成对大数据量的抽取。
(4)、产品优势
1、本项目已有成熟的商业运营,并经过长达5年的升级改造及不断完善。公司已经与全国18家省厅建立了业务合作,相关综合治安系统曾经获得国家科技进步二等奖,公安部科技进步一等奖;
2、该平台正在利用自主研发的基于高性能分布式内存数据引擎对平台的核心框架进行里程碑性的改造,改造后的平台核心数据层及通讯层将不再依托国外的数据库及中间件技术,大大提高了安全性;
3、项目团队研发了具有专利的实时的分布式内存数据库,能够实现基于海量数据在内存上的快速加载和实时查询,能够在内存中建立索引,以及内存中数据与磁盘中数据的同步,并且能够实现分布式的存取和计算