随着与互联网的高度融合、大数据应用的全面深入和商业模式的不断创新，用户体验个性化、实时化的需求日益突出，传统的T+1数据加工模式已不能满足银行在业务经营、风险管理等方面的数据分析要求，如何高效地实时处理分析海量业务数据已成为摆在银行业面前的一个难题。同时，如何利用集团、关联方、担保圈、担保链等进行风险传导和识别也成为亟待解决的问题。
在11月28-29日由农信银资金清算中心主办，金科创新社承办的“2019农村金融科技创新与共享发展会议暨第三届农村金融科技创新优秀案例评选”上，江苏省农村信用社联合社产品研发部项目经理孙成宇介绍了江苏农信基于实时数据的客户风险态势感知的风险防控实践经验。
一、系统建设背景
1.江苏农信信用风险防控系统建设历程
江苏农信从2015年开始筹备客户风险预警系统1.0版本的建设， 并于当年年底上线1.0系统。系统主要是面对对公客户和个人经营型客户，建设了400多个信用风险信号模型，于2016年完成全省推广。2017年开始筹备2.0版本的建设，解决信贷客户全覆盖的问题。鉴于个人客户量较大，结合1.0系统推广和使用过程中遇到一些问题，拟在大数据平台建设2.0系统。
2018年，2.0版本投产，把个人信贷客户和信用卡客户全部纳入，将网贷风控业务剥离到此平台上。在2.0版本建设过程中，着力整合内外部数据，并且开始使用知识图谱技术，分析客户关联关系和担保圈情况。2019年，根据大数据服务平台的三年规划，着手一市三区的建设（即应用数据集市群、历史数据区、准实时数据区和实验数据区），并利用大数据平台提升业务效能。
2.面临的问题、建设目标与挑战
2.0系统在运行过程中主要存在两个问题。第一是时效性：在逾期欠息客户及其担保人资金催收的业务场景中，最开始是使用T+1的批处理实现的。但是T+1的数据会产生一些问题：一是目标客户日间的资金进出管不住，监测不到；二是时间差带来了误警。使用核心当天下档的数据进行告警，但核心下档时间在夜间2：00-3：00左右，预警系统完成批处理时间点大概为早上7：00-8：00，造成网点开门的时候预警信号报出来但是客户的钱已经转走；第二是如何理清全量关联关系和担保圈情况以及如何利用此关系做好客户间的风险传导。
为了解决以上问题，我们设定了以下三点建设目标，提升行内整体的实时数据处理能力和风险防控能力。
一是建设实时数据中台。将实时数据中台规划为数据总线和实时数据集市两大部分，包含实时数据采集、传输、交换、处理、分析、挖掘、展现、订阅八大功能，为实时应用提供基础集成服务、公用服务、服务管理功能，实现实时数据的“一次采集，个性消费”，逐步完善实时数据的分析、挖掘、展现等功能，丰富总线周边的配套设施，打造一条先进、稳定、安全、高吞吐、低延时、可扩展、便于管理、易于接入实时数据总线以及数据准确、标准、高效的实时数据集市。
二是建设客户知识图谱。通过知识图谱能够快速、系统、全面地展现客户的内外部信息、关联关系、担保圈链以及风险标签，并按照既定路径进行风险传导和预警，解决基层行社在信贷“三查”过程中由于信息不对称造成的误判。
三是建设客户风险态势感知平台。基于实时风险数据集市和知识图谱，建立成熟可靠的风控模型，确定清晰的判断条件和决策规则，实现对客户的高效准确风险感知，体现更快、更高、更远的风控模式，打造与时俱进的客户风险态势感知平台。
实现以上目标，我们面临三个挑战。一是基于江苏农信的8000万左右客户以及约2亿账户，如何高效稳定地实时处理海量数据；二是实时数据的获取，江苏农信核心系统数据库是大机，如何稳定高效地实现大机数据实时下行；三是知识图谱方面，如何组织实体和关系以及分析关联关系和担保圈以及如何更加友好高效地对知识图谱进行展现和检索，提升业务满意度。
二、关键技术解决方案
针对上述挑战我们设计了三套关键技术解决方案。
1.批流结合的系统架构设计
图1 批流结合的系统架构设计
第一个技术解决方案见图1，主要解决海量数据实时处理。整体框架分为五个层。
第一是批处理层，在流处理的同时，不抛弃批处理，批处理的优点是操作成本比较低，可以将涉及加工较为复杂和实时性要求较低的数据放在此层处理；
第二是存储视图层，主要使用分布式技术作为存储的底层技术，其中具体分为4层，①贴源层，为没有代码标准化的一层；②标准化层，作为数据整合、分析和挖掘的基础数据层；③整合层，用于标准化后的数据关联整合；④汇总层，用于实时指标的加工汇总。
第三是管控层，为实时数据处理的核心，里面包括几个主要方面，一是服务注册，将元数据管控起来。二是控制台实现数据处理简单ETL的拖拉拽的方式，三是纠错服务，主要是处理批和流之间的衔接问题。
第四是实时处理层，主要采用Kafka作为实时数据的管道，使用Flink、KSQL等作为流处理引擎。
第五是服务订阅层，支持直接订阅到数据库，只要在管控层进行配置就可以，不需要进行很复杂的开发。支持订阅到文件、MPP，支持订阅到应用等。
2.主机数据旁路复制的系统架构设计
图2 大机数据实时下行的解决方案
图2为大机数据实时下行的解决方案。在现有的环境中，如何实现高效稳定地从大机下数且不影响到现有主机、下移查询等业务？我们使用Oracle Rac搭建了前置库，来补全更新数据的前镜像。前镜像由谁补齐，这个很重要，因为数据库是否开启，数据库日志的大小会差10倍左右。最后，通过OGG for bigdata程序将数据推到KAFKA里，进行后面的业务加工处理。
3.知识图谱查询分析的架构设计
图3 知识图谱的解决方案
图3为知识图谱的解决方案，在此方案中使用Graphx进行图分析，使用neo4j进行图数据的检索和展示，使用OGG实时捕捉舆情、工商、司法等数据的变化，将变化的内容投递到KAFKA中，通过大数据对比加工处理，实时更新知识图谱。前台提供图查询、图分析、机器学习和批量计算服务，并且对外提供SDK和Restful服务。
三、项目架构
图4 项目整体架构
1.整体架构
项目整体架构如图4所示，源端通过数据库采集工具从数据库抽取日志或者从外部数据平台获取消息，通过安全认证后，进入到消息接入控制模块，注册元数据信息，并在Web控制台中管理。经过数据解析工具将日志转换成相应的格式接入数据总线，经过数据处理挖掘模块处理后，将结果集推送到实时数据集市或知识图谱集群，用于实时查询分析和知识图谱的使用；或者通过数据订阅功能推送到客户风险态势感知平台。
其中数据处理挖掘模块是整个架构的核心部分，流处理引擎包含轻度事件处理（关联、存在、差值等）、复杂事件处理、AI模型调用和定时调度工作，以灵活适应不同场景的业务需求。在知识图谱集群中通过批处理和流处理结合的方式，应用社区算法、PageRank等算法加工完成，形成全面、实时的客户标签、关联关系、担保圈链等，在客户风险态势感知过程中，知识图谱集群交互，以判断客户的风险影响和扩展情况，最终将客户本身风险以及扩展风险传导到应用平台，让用户第一时间全面高效地管控风险。
2.硬件架构
图5 物理架构
图5为生产环境中的物理架构，分成四个部分：外网区、DMZ区、接口服务器、爬虫服务器等，为外部数据采集的框架；承载RDDB数据库的ORACLE RAC集群和采集前置集群，为准实时数据的采集端；流处理集群、知识图谱集群、大数据集群是整个大数据的服务中心，提供了海量数据分析处理能力、实时数据存储加工能力，知识图谱能力；风险态势感知平台，包括一些前台、后台、ETL服务器以及外围交互系统。
四、部分功能介绍
图6 实时数据处理功能架构
实时数据中台见图6，包含实时数据采集、传输、交换、处理、分析、挖掘、展现、订阅等功能。
（1）实时数据采集用于采集各类实时产生的数据，比如数据库层面、应用层面、网络层面的旁路复制，用于同步收集数据库日志数据、应用日志数据、应用推送消息、网络包、文件、大报文、半结构化和非结构化数据等，通过简单灵活的配置，以非侵入方式实时采集各类数据，并具备对源端的故障检测和故障切换能力。
（2）实时数据传输能够提供以总线的形式进行数据传输，实现“一次采集，多次消费”的传输方式，传输效率高，能够进行大报文的传输（30M以内），保证传输消息顺序，具备缓冲和峰值处理能力，支持扩展和容灾等。
（3）实时数据交换根据数据类型进行分区规划，对数据报文具有前置校验功能，对各类数据进行接入和交换管理，能够分析数据交换的影响，比如生产者数据发生变化之后对哪些消费者会产生影响，影响什么，同时具备管理监控功能的Web控制台，支持管控数据交换上下游的上述要素。
（4）实时数据处理能够提供多种数据处理引擎，提供可视化的数据操作环境，自带丰富的数据ETL、CEP算子，调用机器学习的模型接口，进行实时模型应用，同时能够提供数据流作业的定时调度，可以对数据进行实时同步和简单预处理。能够提供具备开发调试、上线部署和监控管理实时处理作业等功能的一体化平台。
（5）实时数据分析能够将数据流实时加载到MPP、大数据平台等数据载体的同时，支持业务人员对MPP、大数据平台中的数据或与流数据进行关联的实时分析，实时分析的内容包含不限于简单的SQL统计、轻量的BI分析等。
（6）实时数据挖掘能够提供规则引擎和算法库的功能，用户可以自由集成业务规则和算法，轻松实现流上的业务分析和配置管理等，同时支持发布模型调用接口，让业务系统进行实时的模型应用。
（7）实时数据展现支持报表展示，利用报表工具，将日常经营类等报表加入到展现端，方便管理人员和业务人员进行查看。系统支持PC端、手机端、平板端进行查看。展示的能力应不弱于当下主流的报表工具。
（8）实时数据订阅能够提供便捷的实时数据接入方式，提供数据格式注册、Rest API风格的数据访问服务，支持不同数据源的消息订阅，便于消费方的数据消费。
五、运行情况和建设成效
系统上线后用户数量约为2万户，登陆次数约为300万次。系统共计产生的预警信号数量约为136万。实时数据处理的效率和准确性达到预期目标，平常业务处理效率在秒级左右，结息时产生约1.1亿条数据，2小时处理完毕，QPS 1.2万+。系统上线后实现了经济效益和社会效益的双丰收。
1.经济效益
（1）实时逾期欠息客户账户资金监控：进一步提升数据的时效性，完善逾期欠息账户资金扣划操作规程，用于实时清收部分逾期欠息贷款，为不良贷款清降提供了有力的技术支撑。如9月13日至9月底，系统监测到有资金流入的逾期欠息客户及其担保人共1160人，涉及不良资产总计31.89亿元，提示实时流入金额总计3.82亿元。再如有客户在某行逾期金额为1500万元，9月14日下午14:58-15:20短短20分钟之内，该客户在我行账户中资金流入了958万元，由于系统的准确及时的提示，相关人员及时开展清收工作，不良贷款得到了有效清降。
（2）实时风险态势传导分析：主要是在贷款“三查”流程中，根据系统提示的风险传导，发现客户存在失信行为、行政处罚和欠税公告等情况，及时掌握借款人是否存在失信行为、其他银行有无不良贷款和银监预警信息等情况以及对关联方的影响，分别采取资产保全、压降存量贷款或取消新增授信等，有效防范信贷资产风险。截止目前共触发信号133种，占总设置信号数量比例为83%。信号产生数量约为136万个，按照预警主体来分，其中信用卡类信号23.8万个，信贷类信号102.4万个，担保圈类信号9.8万个。按预警类型来分，提示类信号59万个，监控类信号12.8万个，预警类型号64.2万个，其中预警类信号根据预警等级分为红橙黄三类，红色信号17万个，橙色信号4.6万个，黄色信号42.6万个。
2.社会效益
各农商行以客户风险态势感知系统为抓手，执行明确的风险信号处置和解除的流程，配套相应的组织架构，强化系统在信贷全流程应用考核措施，严把客户准入关，增加了对系统信号处置的考核指标，注重客户风险的处置时效、内容和质量，对解除理由严格把关并在流程中留有“痕迹”，为农商行的风险管控提供了坚强的支撑，为农商行的商务转型发展保驾护航，为社会的诚信体系建设、江苏省经济转型和稳定发展贡献了一份力量。
六、经验总结
此项目内容丰富，创新性强，项目周期较长，实施难度较大，在项目建设过程中积累了不少经验教训，主要总结为以下两点。
1.提前规划，逐项攻破
此项目中存在不少技术难点以及创新之处，这些方面对项目的成败有着至关重要的影响。为了减少项目的风险，在前期论证阶段，项目组对项目中存在的风险点进行了认真细致地梳理和分析，并通过原型实验的方式对这些风险点进行了实实在在论证。以实时数据采集为例，如何合理设计规划主机到实时大数据平台的数据复制通道成为技术论证的关键。考虑以下四点要求：一是数据复制链路满足实时数据平台的业务需求，二是新搭建数据复制链路对现有业务影响最小，三是HA以及有效的监控管理，四是复制链路架构的灵活性和可扩展性。最终通过严谨地论证，项目组采用了适合江苏农信现有架构的方案。目前整体架构运行良好，并且经过了两次结息的考验。
2.“解耦再解耦”
此项目实施范围大，项目组成员较多，行业人员和外包人员混杂，沟通成本较高，管理难度较大。鉴于此种情况，项目组在项目初期通过启动会的形式，与各方明确项目目标，使项目各方对项目目标、边界等重要内容有良好的认识。后续通过集中办公的形式，解决人员组合多、沟通成本过高等问题。在项目管理的过程中，使用敏捷项目管理方法，以实现业务价值为导向，将大模块分解成小模块，在技术和业务层面双重解耦，将系统功能微服务化，通过系统功能的编排组装实现业务价值。事实表明，专注价值，降低耦合性，对后期的高效项目实施帮助很大。
本文来自投稿，不代表本人立场，如若转载，请注明出处：http://www.souzhinan.com/kj/245244.html