人脸识别多级架构在公安业务中的应用
人身份确认是社会较为普遍的基本需求，自古以来面相是确定人身份的重要依据。计算机人脸识别技术是一项非常具有挑战性的任务，迄今为止计算机人脸识别的准确性依然受到光照条件、人脸的姿态、表情等因素的影响[1]。相比指纹、虹膜等生物特征的身份鉴别技术，人脸图像信息的获取可以在非合作条件下完成，因此该技术在公安业务中的应用需求非常大。近年来，随着深度学习等新理论和方法的突破，人脸识别技术的准确性有了大幅度提升，在公安业务应用中的巨大潜力有待于挖掘。
当前，国内多家公司都围绕公安业务需求推出了人脸识别产品[2]，能在一定范围内取得了很好的效果，使大规模部署应用成为可能。因此，如何依托现有成熟的人脸算法，将分散采集的人脸数据联动共享，并进行综合研判分析，全面发挥人脸识别技术的作用，是公安机关应该研究思考的问题，本文重点阐述了人脸识别技术与公安实战需求、公安业务应用环境、应用流程融合的研究情况。
一、人脸识别应用需求分析
（一）人脸识别的实现流程
人脸特征与指纹、DNA等一样是与生俱来的独特特征，具有难以伪装的特点。从公安业务实践来看，相比衣着等外貌特征，人脸特征具有相当的稳定性。
计算机人脸识别系统包括人脸身份注册和人脸身份识别两个过程[4]，如图1、图2所示。前一个过程是将已知的人脸图像记录在案的过程，后一个过程是根据现场采集的人脸照片从记录在案的人脸图像中找到为接近的一个或几个。一般来说，注册和识别两个过程又都可以分为：
·人脸检测：从照片中确定人脸部分的准确位置；
·预处理：将姿态、光照等影响系统识别的因素降到低；
·特征提取：利用人脸识别算法提取可以表示人脸独特性的数据；
·特征建库：将注册人脸的特征数据构成结构化的数据库，以便识别应用；
·特征比对：利用特征数据之间的相似性确定采集到的人脸对应的身份。
人脸图像采集的方式目前可以非常灵活，如有从派出所标准二代身份证相片读取、从监控视频提取或从人脸抓拍摄像机获取的人脸图像，甚至利用智能手机摄像头拍照等各种获取人脸图像的方式。前面已经谈到，人脸图像的质量是影响系统识别性能的关键因素，因此在人脸图像采集阶段应当尽可能的排除光照、姿态与标准条件的差异。
（二）人脸识别的公安应用分析
根据公安业务对身份识别的应用场景，人脸识别技术可以在以下情况下发挥重要作用。
1.街面巡控排查
在公安民警的日常巡逻办案中，利用随身配备的PDA、智能手机等终端设备采集人脸，于后台人脸数据库远程比对，核实人员身份。
2.人证合一检验
利用证件照片或者存储在电子证件内部的人脸特征与持有者持有的的证件现场照片进行比对，以判定持有者持有的是否为真。可用于电子证件自助通关、身份证件防伪鉴别。
3.一人多证比对
发现同一自然人持有多个有效身份证件的违规行为。
4.嫌疑人身份比对
利用案件侦破中从证件、监控画面、相关照片中提取的人脸图像，与嫌疑人人脸资料库比对，可以有效甄别犯罪嫌疑人以及有效信息，协助破案。
5.布控预警
由于交通的不断便利，使得人员流通量越来越大，单靠人为的布控排查显然已经不能适应现在的公安工作，利用在公共场所安装人脸识别系统既能起到威慑作用，又能及时识别重点人员并报警，提高民警工作效率。
6.司法人脸鉴定
在刑事司法鉴定中，可以使用在犯罪现场监控录像中获得的视频图像与嫌疑对象进行人脸同一鉴定；在民事诉讼中，可以对检材中的人脸与样本照片或某人进行同一鉴定，从而判断检材中的人脸与样本照片是否同一或检材中的人脸是否就是某人。
（三）人脸识别的公安应用运行环境
人脸识别技术在公安应用的运行环境主要包括多网络承载、跨区域网络、跨网络边界等网络应用环境和计算环境。具体来讲，人脸识别的前端采集设备如监控摄像机、人脸抓拍摄像机等依托于公安视频监控专网。手机、PAD大都依托于专用移动网络环境，而嫌疑人人脸数据库等一般部署在公安业务专网上。而人脸比对引擎运所需的计算资源则位于公安内部网中。人脸识别应用系统的建设必须考虑三个网络的通信能力、接入要求及公安应用系统的安全要求。
二、人脸识别系统多层级部署架构
（一）人脸识别应用关键点或难点
人脸识别技术能否在公安业务中取得较好的应用效果有两个关键的因素。作为一种生物特征识别技术，人脸识别相比于指纹等其它类型的技术具有算法开发难度大，准确率低的特点。因此制约人脸识别应用的基础因素是算法是否，这是一个学术研究的前沿问题。近几年来各大厂商所提供的算法都能实现较高的识别率，能基本满足应用需求。因此，在一定的算法基础条件下能否取得较好的应用效果就首先受制于实际系统图像采集能否满足算法需求，且做到统一标准；其次是系统应用流程能否限度的符合业务应用逻辑，充分发挥各算法的长处。
（二）解决跨区域共享人脸数据思路
X省公安开展人脸比对分析系统建设，是在充分调研当前主流人脸识别算法提供商所提出的公安解决方案的基础上，优选若干代表性算法，尽可能实现对主流算法的兼用和融合应用。根据前述分析，我们重点抓住统一图像采集技术标准和优化多级人脸识别应用系统的架构两个方面的工作，以取得尽可能符合实战要求的应用效果。
在人脸采集规格标准化方面，系统采用前端抓拍和后端截取人脸照片两种方式。每种采集方式都根据现有公安业务中收集比对目标底库时的成像特点，设计前端摄像机的架设角度，选择适当的摄像机机镜头配置，并根据现场条件适当部署补光设备。同时，针对不同类型部署场所的特点，总结形成统一的技术标准以确保图像质量标准化。
针对第二点，重点设计了人脸数据及信息跨区域共享流程。人员跨地区流动特性决定了公安业务中人脸识别应用系统能够聚合跨时空区域的人脸数据，为此，在涉及固定前端抓拍、移动终端图像采集和远程匹配的基础上，重点设计了人脸信息的动态记录汇聚流程、跨区域布控及预警消息推送流程等，形成既支撑后台集中人脸比对分析研判又支撑移动终端的图像采集和远程比对的实用功能。
（三）多层级部署架构技术思路
X省公安人脸应用系统作为视频资源综合服务平台的子系统，建立了以省级数据汇聚分析为中心的省、市、县三级人脸应用体系。依托于公安内外网联网共享平台，整合接入人脸卡口摄像机、移动人脸图像采集终端、人证比对图像采集设备、视频流人脸图像采集设备等系列前端，对接各级视频图像服务总线，该总线包括人脸的存储服务，级联服务和对接服务，实现视频数据、结构化/半结构化数据的级联汇聚。
X省公安人脸应用体系是一个全省范围的应用架构体系，体系中涉及采集、识别、比对、传输、分析等环节，为增强人脸比对实战应用的效果，前端数据采集扩大到了人像(主要为后期开展人体、步态等识别比对提供预留接口，因此本文所指的人像可狭义指人脸对象)，整个系统的主要逻辑模块包括：人像图像采集前端系统、动态人像预警模块、静态人像比对模块、动态库级联下发模块、静态库级联下发模块、人像采集级联入库模块和人脸数据（特征）库等。系统结构图如图3所示。
1.视频传输流
省市县各级视频图像共享平台需通过GB/T 28181-2016协议将人脸相关视频经过人脸级联网关推送至上级共享平台，视频存储在各级视频专网视频图像资源池中。
2.信令数据传输流
省市县各级视频图像服务总线通过视图库级联接口、视图库服务接口实现人脸图像及人脸图像附加信息的级联汇聚或同步；动态人脸比对系统需开发支持视图库采集接口，对接视频专网视频图像服务总线，实现人像图像相关录像、人像图像、人脸图像及人脸图像附加信息智能分析，并推送至公安信息网内视频图像服务总线进行数据存储、应用；同时各级共享平台采用GB/T 28181-2016协议实现视频实时推送至公安联网平台。
3.人脸采集入库流程
前端采集到的视频统一汇聚至共享平台，人脸图片及人脸图像附加信息汇聚至各级视频图像服务总线中。
4.动态库级联汇聚流程
区县和州市动态人像比对系统采用视图库采集接口实现动态库的推送，统一进入各级公安信息网内视频图像服务总线中进行整合。
公安信息网内各级视频图像服务总线采用视图库级联接口实现人脸动态库的整合和汇聚，各级向上推送至上级视频图像服务总线。
5.动态人脸预警模块
全省各级动态人像比对系统部署在视频专网下，对应的人脸识别应用系统实现业务功能部署在公安内网中。动态人像比对系统通过各自系统视图库服务接口推送预警信息至公安内网人脸识别应用系统中，实现预警信息的汇聚整合。所有预警信息需通过资源服务平台级联推送至上级，协助全省高危人员预警防控。
三、人脸多层级部署架构体系典型业务功能
（一）人脸跨区域轨迹查询
X省人脸应用中，人像图像、人脸图像及人像图像附加信息通过图像服务总线的动态级联汇聚流程在省级平台汇总。在各级图像平台可以借助图像服务总线上传图像目标图片到省级平台，利用平台的查询服务功能实现跨区域人像轨迹的查询，并且人像轨迹可以通过电子地图可视化显示。
（二）跨区域人脸布控
依据人脸图像进行布控预警是系统的特色应用之一。基层平台统一通过所属的州市级平台发起人脸布控请求，省级平台负责对通过州市平台上传的申请进行人工审核，审核通过后进行全省布控。省公安厅布控模块下发布控指令到省公安厅的数据库级联接口，数据库级联接口根据布控区域进行路由选择。具体来讲，如果省辖市下设县（市）视图库，布控指令直接分发到县（市）视频库中；如果省辖市下面没有县（市）视图库，则直接在省辖市平台中进行布控操作。各平台实施布控操作后，向省公安厅视图库反馈操作结果完成整个布控指令流程，如图9所示。
人脸布控后，平台实时进行抓拍图像的后台比对，如果比对成功省厅平台自动预警，并以消息方式逐级下发到相应的单位。
三）跨域案件串并
X省公安人像应用系统通过安全接入子系统打通了从视频专网到公安业务专网之间的通路，案件侦破过程中发现的关键嫌疑人的信息除了可以通过各级抓拍人脸数据库进行匹配查询外，也能实现与刑侦业务人脸数据库之间的匹配查询。例如，通过省级平台提供的漂泊人员比对功能在全国在逃人脸库、当地常住人脸库、暂住人脸库进行碰撞比对，人工确认是否为漂白身份人员从而进行案件深挖。
四、应用部署及成效
为能够顺利推行人脸应用平台的省市县三级平台建设和联网服务应用，X省省公安厅在调研技术解决方案，并吸收相关省市公安机关的应用经验的基础上，将应用技术标准作为在狠抓建设落实的保障条件，为此，依据公安部公安视频图像信息应用系统相关标准，研究出台了《X省公安视频监控图像应用体系技术规范（试行）- 第3部分 人像应用体系技术要求》、《X省公安动态人像布控对接协》、《X省公安人像信息汇聚对接协议》等多份标准化文档，确保人脸服务平台建设的技术接口统一，保障了跨域人脸识别应用的实现。2017年1月至9月间，X省利用此架构体系提供人脸比对服务105612次，比中对象764人，抓获犯罪嫌疑人436人，协破案件858起，形成了一批可复制、可推广、可借鉴的经验，应用效果显著。
当前，国内多家公司都围绕公安业务需求推出了人脸识别产品[2]，能在一定范围内取得了很好的效果，使大规模部署应用成为可能。因此，如何依托现有成熟的人脸算法，将分散采集的人脸数据联动共享，并进行综合研判分析，全面发挥人脸识别技术的作用，是公安机关应该研究思考的问题，本文重点阐述了人脸识别技术与公安实战需求、公安业务应用环境、应用流程融合的研究情况。
一、人脸识别应用需求分析
（一）人脸识别的实现流程
人脸特征与指纹、DNA等一样是与生俱来的独特特征，具有难以伪装的特点。从公安业务实践来看，相比衣着等外貌特征，人脸特征具有相当的稳定性。
计算机人脸识别系统包括人脸身份注册和人脸身份识别两个过程[4]，如图1、图2所示。前一个过程是将已知的人脸图像记录在案的过程，后一个过程是根据现场采集的人脸照片从记录在案的人脸图像中找到为接近的一个或几个。一般来说，注册和识别两个过程又都可以分为：
·人脸检测：从照片中确定人脸部分的准确位置；
·预处理：将姿态、光照等影响系统识别的因素降到低；
·特征提取：利用人脸识别算法提取可以表示人脸独特性的数据；
·特征建库：将注册人脸的特征数据构成结构化的数据库，以便识别应用；
·特征比对：利用特征数据之间的相似性确定采集到的人脸对应的身份。
人脸图像采集的方式目前可以非常灵活，如有从派出所标准二代身份证相片读取、从监控视频提取或从人脸抓拍摄像机获取的人脸图像，甚至利用智能手机摄像头拍照等各种获取人脸图像的方式。前面已经谈到，人脸图像的质量是影响系统识别性能的关键因素，因此在人脸图像采集阶段应当尽可能的排除光照、姿态与标准条件的差异。
（二）人脸识别的公安应用分析
根据公安业务对身份识别的应用场景，人脸识别技术可以在以下情况下发挥重要作用。
1.街面巡控排查
在公安民警的日常巡逻办案中，利用随身配备的PDA、智能手机等终端设备采集人脸，于后台人脸数据库远程比对，核实人员身份。
2.人证合一检验
利用证件照片或者存储在电子证件内部的人脸特征与持有者持有的的证件现场照片进行比对，以判定持有者持有的是否为真。可用于电子证件自助通关、身份证件防伪鉴别。
3.一人多证比对
发现同一自然人持有多个有效身份证件的违规行为。
4.嫌疑人身份比对
利用案件侦破中从证件、监控画面、相关照片中提取的人脸图像，与嫌疑人人脸资料库比对，可以有效甄别犯罪嫌疑人以及有效信息，协助破案。
5.布控预警
由于交通的不断便利，使得人员流通量越来越大，单靠人为的布控排查显然已经不能适应现在的公安工作，利用在公共场所安装人脸识别系统既能起到威慑作用，又能及时识别重点人员并报警，提高民警工作效率。
6.司法人脸鉴定
在刑事司法鉴定中，可以使用在犯罪现场监控录像中获得的视频图像与嫌疑对象进行人脸同一鉴定；在民事诉讼中，可以对检材中的人脸与样本照片或某人进行同一鉴定，从而判断检材中的人脸与样本照片是否同一或检材中的人脸是否就是某人。
（三）人脸识别的公安应用运行环境
人脸识别技术在公安应用的运行环境主要包括多网络承载、跨区域网络、跨网络边界等网络应用环境和计算环境。具体来讲，人脸识别的前端采集设备如监控摄像机、人脸抓拍摄像机等依托于公安视频监控专网。手机、PAD大都依托于专用移动网络环境，而嫌疑人人脸数据库等一般部署在公安业务专网上。而人脸比对引擎运所需的计算资源则位于公安内部网中。人脸识别应用系统的建设必须考虑三个网络的通信能力、接入要求及公安应用系统的安全要求。
二、人脸识别系统多层级部署架构
（一）人脸识别应用关键点或难点
人脸识别技术能否在公安业务中取得较好的应用效果有两个关键的因素。作为一种生物特征识别技术，人脸识别相比于指纹等其它类型的技术具有算法开发难度大，准确率低的特点。因此制约人脸识别应用的基础因素是算法是否，这是一个学术研究的前沿问题。近几年来各大厂商所提供的算法都能实现较高的识别率，能基本满足应用需求。因此，在一定的算法基础条件下能否取得较好的应用效果就首先受制于实际系统图像采集能否满足算法需求，且做到统一标准；其次是系统应用流程能否限度的符合业务应用逻辑，充分发挥各算法的长处。
（二）解决跨区域共享人脸数据思路
X省公安开展人脸比对分析系统建设，是在充分调研当前主流人脸识别算法提供商所提出的公安解决方案的基础上，优选若干代表性算法，尽可能实现对主流算法的兼用和融合应用。根据前述分析，我们重点抓住统一图像采集技术标准和优化多级人脸识别应用系统的架构两个方面的工作，以取得尽可能符合实战要求的应用效果。
在人脸采集规格标准化方面，系统采用前端抓拍和后端截取人脸照片两种方式。每种采集方式都根据现有公安业务中收集比对目标底库时的成像特点，设计前端摄像机的架设角度，选择适当的摄像机机镜头配置，并根据现场条件适当部署补光设备。同时，针对不同类型部署场所的特点，总结形成统一的技术标准以确保图像质量标准化。
针对第二点，重点设计了人脸数据及信息跨区域共享流程。人员跨地区流动特性决定了公安业务中人脸识别应用系统能够聚合跨时空区域的人脸数据，为此，在涉及固定前端抓拍、移动终端图像采集和远程匹配的基础上，重点设计了人脸信息的动态记录汇聚流程、跨区域布控及预警消息推送流程等，形成既支撑后台集中人脸比对分析研判又支撑移动终端的图像采集和远程比对的实用功能。
（三）多层级部署架构技术思路
X省公安人脸应用系统作为视频资源综合服务平台的子系统，建立了以省级数据汇聚分析为中心的省、市、县三级人脸应用体系。依托于公安内外网联网共享平台，整合接入人脸卡口摄像机、移动人脸图像采集终端、人证比对图像采集设备、视频流人脸图像采集设备等系列前端，对接各级视频图像服务总线，该总线包括人脸的存储服务，级联服务和对接服务，实现视频数据、结构化/半结构化数据的级联汇聚。
X省公安人脸应用体系是一个全省范围的应用架构体系，体系中涉及采集、识别、比对、传输、分析等环节，为增强人脸比对实战应用的效果，前端数据采集扩大到了人像(主要为后期开展人体、步态等识别比对提供预留接口，因此本文所指的人像可狭义指人脸对象)，整个系统的主要逻辑模块包括：人像图像采集前端系统、动态人像预警模块、静态人像比对模块、动态库级联下发模块、静态库级联下发模块、人像采集级联入库模块和人脸数据（特征）库等。系统结构图如图3所示。
1.视频传输流
省市县各级视频图像共享平台需通过GB/T 28181-2016协议将人脸相关视频经过人脸级联网关推送至上级共享平台，视频存储在各级视频专网视频图像资源池中。
2.信令数据传输流
省市县各级视频图像服务总线通过视图库级联接口、视图库服务接口实现人脸图像及人脸图像附加信息的级联汇聚或同步；动态人脸比对系统需开发支持视图库采集接口，对接视频专网视频图像服务总线，实现人像图像相关录像、人像图像、人脸图像及人脸图像附加信息智能分析，并推送至公安信息网内视频图像服务总线进行数据存储、应用；同时各级共享平台采用GB/T 28181-2016协议实现视频实时推送至公安联网平台。
3.人脸采集入库流程
前端采集到的视频统一汇聚至共享平台，人脸图片及人脸图像附加信息汇聚至各级视频图像服务总线中。
4.动态库级联汇聚流程
区县和州市动态人像比对系统采用视图库采集接口实现动态库的推送，统一进入各级公安信息网内视频图像服务总线中进行整合。
公安信息网内各级视频图像服务总线采用视图库级联接口实现人脸动态库的整合和汇聚，各级向上推送至上级视频图像服务总线。
5.动态人脸预警模块
全省各级动态人像比对系统部署在视频专网下，对应的人脸识别应用系统实现业务功能部署在公安内网中。动态人像比对系统通过各自系统视图库服务接口推送预警信息至公安内网人脸识别应用系统中，实现预警信息的汇聚整合。所有预警信息需通过资源服务平台级联推送至上级，协助全省高危人员预警防控。
三、人脸多层级部署架构体系典型业务功能
（一）人脸跨区域轨迹查询
X省人脸应用中，人像图像、人脸图像及人像图像附加信息通过图像服务总线的动态级联汇聚流程在省级平台汇总。在各级图像平台可以借助图像服务总线上传图像目标图片到省级平台，利用平台的查询服务功能实现跨区域人像轨迹的查询，并且人像轨迹可以通过电子地图可视化显示。
（二）跨区域人脸布控
依据人脸图像进行布控预警是系统的特色应用之一。基层平台统一通过所属的州市级平台发起人脸布控请求，省级平台负责对通过州市平台上传的申请进行人工审核，审核通过后进行全省布控。省公安厅布控模块下发布控指令到省公安厅的数据库级联接口，数据库级联接口根据布控区域进行路由选择。具体来讲，如果省辖市下设县（市）视图库，布控指令直接分发到县（市）视频库中；如果省辖市下面没有县（市）视图库，则直接在省辖市平台中进行布控操作。各平台实施布控操作后，向省公安厅视图库反馈操作结果完成整个布控指令流程，如图9所示。
人脸布控后，平台实时进行抓拍图像的后台比对，如果比对成功省厅平台自动预警，并以消息方式逐级下发到相应的单位。
三）跨域案件串并
X省公安人像应用系统通过安全接入子系统打通了从视频专网到公安业务专网之间的通路，案件侦破过程中发现的关键嫌疑人的信息除了可以通过各级抓拍人脸数据库进行匹配查询外，也能实现与刑侦业务人脸数据库之间的匹配查询。例如，通过省级平台提供的漂泊人员比对功能在全国在逃人脸库、当地常住人脸库、暂住人脸库进行碰撞比对，人工确认是否为漂白身份人员从而进行案件深挖。
四、应用部署及成效
为能够顺利推行人脸应用平台的省市县三级平台建设和联网服务应用，X省省公安厅在调研技术解决方案，并吸收相关省市公安机关的应用经验的基础上，将应用技术标准作为在狠抓建设落实的保障条件，为此，依据公安部公安视频图像信息应用系统相关标准，研究出台了《X省公安视频监控图像应用体系技术规范（试行）- 第3部分 人像应用体系技术要求》、《X省公安动态人像布控对接协》、《X省公安人像信息汇聚对接协议》等多份标准化文档，确保人脸服务平台建设的技术接口统一，保障了跨域人脸识别应用的实现。2017年1月至9月间，X省利用此架构体系提供人脸比对服务105612次，比中对象764人，抓获犯罪嫌疑人436人，协破案件858起，形成了一批可复制、可推广、可借鉴的经验，应用效果显著。
