【投资风险评估报告】商业银行大数据管理与经营决策
【上海天元项目投资风险评估报告】商业银行大数据管理与经营决策
上海天元项目数据分析师事务所有限公司
地址：上海市徐汇区天钥桥路329号B栋7楼
王经理：02124193019
海量数据对银行监管与银行管理同步提出了挑战，清醒认识银行数据产生与发展的状况，充分理解数据内容，有效管理和应用数据信息、建立精细化分析为基础的科学经营决策体系,将成为信息化时代下商业银行经营管理的核心竞争能力。
随着中国银行业金融机构的快速发展，银行业信息科技建设取得了长足进步，信息系统应用从记录、处理业务，逐步深入到银行业务交易、风险控制和经营管理等各个领域，有效支撑着银行各类经营管理行为。与此同时，商业银行各类信息系统所生产的数据内容日益丰富，电子化、数据化信息逐渐取代传统纸质文本成为银行信息记录的主流载体。银行业进入“大数据”时代。
从商业银行数据的实质意义分析，数据来源于信息系统，是业务经营管理行为的信息化反映。在商业银行不断完善信息系统建设、有效支撑银行经营管理和业务发展的进程中，信息系统所产生的数据内容同步反映了银行收集、整理、生产、处理、分析各类经营管理信息，有效管控各类业务经营活动的整体过程。在过去的十年之内，银行业金融机构的业务规模由约28万亿元增长至165万亿元，业务产品种类日益复杂，银行数据内容日益庞杂。截至2013年末，银行业金融机构在线生产数据超过25000TB。根据央行[微博]公布数据显示，2013年全国非现金支付业务笔数501.58亿笔，银行业金融机构行内支付系统处理业务107.58亿笔，均以超过20%的速度增长。海量数据对银行监管与银行管理同步提出了挑战，清醒认识银行数据产生与发展的状况，充分理解数据内容，有效管理和应用数据信息、建立精细化分析为基础的科学经营决策体系,将成为信息化时代下商业银行经营管理的核心竞争能力。
商业银行数据的产生和发展
银行数据来源于信息系统，与银行信息化建设同步发展。从其形成与发展的历程来看，大致可以分为三个阶段。
首先是记录信息的阶段。反映为20世纪80年代中期开始，银行由手工记账向会计电算化发展的信息系统建设初期阶段。在此过程中，由于银行客户数量、业务种类和业务数量的不断增加，手工记录银行账目和业务的方式难以适应银行业务处理的需要，会计电算化逐步应用于银行经营管理行为。在此阶段中，银行信息化建设以复制手工处理的工作模式、核算基础业务信息为主要特征，提供了银行替代手工记账，以更具效率的方式处理会计账务、提供银行基础报表的信息化工作模式，信息系统功能相对简单，所产生的数据相对单一，数据内容局限于银行机构业务记录和账务信息的电子化记录。
其次是集成信息的阶段。反映为20世纪90年代后期开始的数据大集中趋势。在此过程中，银行法人通过集成各分支机构信息，实现了对全辖数据的集中处理。在掌握全辖整体业务数据的基础上，逐步开展管理信息系统的建设与应用，开始了应用数据的尝试和探索。信息系统建设从核算业务逐步扩展到处理业务交易和管理业务行为，随之产生的数据内容逐步由业务记录扩展至银行客户信息与管理控制行为记录。随着主要商业银行核心系统建设的相继完成，提供了法人整体统一的业务交易与会计账务信息记录，部分核心系统所附带的管理功能提供了银行记录客户资料和处理交易的数据内容，在全辖集中的情况下，奠定了整体审视数据、处理数据的有益基础。
第三是管理应用信息的阶段。随着银行业信息化建设的不断发展，银行管理信息系统逐渐开始功能细分，核心业务系统、管理信息系统的功能框架体系初步形成。通过核心业务系统处理交易、核算会计账务信息，通过管理信息系统核算各类业务产品客户信息和管理控制信息的整体建设框架逐步清晰。随着商业银行数据内容的不断细分和扩展，除经营领域之外，在管理领域逐步出现应用系统数据和处理系统数据的相关管理信息系统，商业银行在数据记录、数据集成的基础上，通过分析、筛选、计算生产出新的数据，系统功能日益复杂，整合业务数据基础上的精细化计量技术逐步引入到管理实践领域。部分银行开始建设统一的数据仓库与数据平台，具备管理、应用数据功能的产品定价系统、风险管理等中后台领域信息系统的相继建设形成，开始了商业银行整体应用数据信息有效支持管理决策的新时代。
商业银行数据管理的问题和难点
从历史发展和现实状况分析，在信息化建设不断完善的过程之中，银行初步建立了功能强大、架构复杂、应用广泛的信息系统支持体系。信息系统建设与数据管理的优势与挑战并存。一方面，随着新技术的不断发展，银行信息系统建设不断完善，整体架构日益清晰，大数据资源逐步形成，云计算、虚拟化等日益发展的技术方法为提升银行系统应用与数据处理效率奠定了良好基础。另一方面，受历史遗留沿袭影响，不同银行系统建设与数据管理健全程度截然不同，银行机构系统建设完善程度差异巨大，建设需求与成本投入能力难以匹配，应用数据实现管理决策的进程仍然处于起步阶段。现实条件下，制约银行数据管理与应用的问题与难点体现在以下几个方面：
一是部分银行管理层未能充分认知信息系统建设与数据管理的重要意义，指导思想与建设目标存在偏差，客观导致系统建设与数据管理缺乏有效动力。从实践分析，银行机构信息科技建设投入差异巨大，在业务经营发展的短期考核目标下，对业务发展短期效益与长远发展的抉择缺乏有效平衡，对决策信息的管理重视程度不足，客观存在重视物理网点扩展与投入，忽略信息科技建设；重视经营效益数据，忽视经营管理数据的现象，难以形成生产、应用数据的基础环境和有益导向。
二是信息系统架构复杂，功能重复重叠，进而形成数据内容复杂、冗余，关联度与逻辑性不足，制约银行数据在经营管理决策中的有效应用。在缺乏整体规划的情况下，信息系统建设以临时性需要为动力，在银行各管理部门条线之间各自独立、各成体系，客观造成系统承载的数据割裂、缺乏联动，难以形成整体关联和清晰的逻辑，未能形成有效应用数据、服务于经营管理决策的基础数据框架，进而制约风险、效益、客户等维度信息的综合关联与整合，不利于整体决策数据体系的建设和应用。
三是数据应用全流程管理不足，数据管理良性机制有待完善，主要信息系统建设不足或功能欠缺，造成管理应用数据内容不足、失实现象客观存在。突出表现在系统应用执行层面、管理运维、管理应用层面尚未形成联动运转，对基础数据采集缺乏统一要求，基层人员录入数据不及时、不准确的现象客观存在，系统运维与持续管理不足，进而形成管理应用职能与积极性缺失的现象普遍存在，从而在源头上、流程上、应用上造成部分数据不足、失实、失效的现象。在大多数银行已建设形成核心系统的基础上，受核心系统功能不足以及相关管理系统建设不足的影响，难以在会计、交易数据之外形成对管理决策所需基础信息的有益补充，信息系统在经营行为、管理分析领域建设的缺失，客观导致数据内容不全、不足的现象出现。
四是经营管理与信息科技管理职能未能有效结合的现实状况下，客观造成决策信息与决策行为割裂，制约银行有效管理应用数据的能力。现有银行管理体系之下，经营管理部门与信息科技部门职责割裂，未能有效运转的现象普遍存在。熟悉系统逻辑和数据结构的信息科技人员难以充分理解数据所反映的业务和行为内涵，而熟悉数据内容的业务人员难以充分理解系统与数据结构，管理职能的割裂客观形成生产、组织、管理、解读与应用数据的壁垒，制约了银行有效管理应用数据的能力。
五是复合性管理职责与决策数据整合层次的缺失，客观造成整体数据在决策与经营层级之间存在断层，不利于在法人、集团整体层面建立高层次决策数据的整合渠道。在条线割裂、缺乏有效的管理基础组织架构的情况下，数据整合与协调运转成本高、效率低，综合运用整体信息的风险管理、信息管理职责所覆盖的领域存在不足，协调力度不足，具备解读数据能力与经营管理决策能力的复合性人员不足，缺乏为高级管理层提供及时、便捷、有效的决策数据服务的职能层级，难以对海量数据实现有效筛选和整合，进而影响了为高管层提供决策所需信息的能力。
构建科学管理下的数据应用决策体系
从管理目标分析，构建科学管理下的数据应用决策体系客观需要在理解数据、规范数据、分析数据、组织数据、应用数据“五个层面”整体完善数据管理机制，从而有效实现以科学运用数据为基础的精细化管理决策。
理解数据：充分理解银行数据内容。需要结合本行信息系统建设进程，整体理解分析本行数据内容，有效解读数据信息所反映的经营管理状况与行为实质。通常意义下，银行数据可简单分类为五大类别，一是交易流水类数据，记录银行业务交易的主要信息；二是会计账务类数据，按会计科目归属，记录银行业务会计核算的信息；三是内部管理类数据，主要包括银行业务流程信息、管控信息、风险信息在内的内部管理数据；四是外部管理数据，包括银行内生信息以外，经营管理所必须的市场、行业、客户等信息；五是系统处理及运算信息，包括信息系统处理、反映业务所必须的过程数据，以及运行数据、日志数据、字典数据等相关数据内容。在清晰的逻辑下，梳理、整合、应用五类数据，将提供银行分析业务状况，解读管控流程与客户、行业、市场风险状况，以及评判信息科技运营状况的有效途径。
规范数据：科学规划系统建设与数据标准体系。需要在科学建设信息系统逻辑架构，统一规划数据标准的基础上，建立清晰、完整、有序的数据逻辑体系，从总体上解决系统数据的逻辑性和关联性，解决数据分散问题。将同一客户办理的不同业务种类信息，同一业务在不同业务流程条线的信息，以及各类业务会计、交易信息和内外部管理信息有效关联，在整体解读、有效运用数据的基础上，进而为建立整体运转有效的信息系统和数据治理架构，保障运营安全，有效记录、生产、积累数据信息奠定良好基础。
分析数据：整体设计数据应用分析框架。在统筹业务经营需求和管理需求的基础上，建立整体设计的数据应用分析框架。在整体设计数据仓库或数据平台的基础上，结合数据状况和分析管理能力建设，整合数据应用分析需求，针对执行层面、管理层面、决策层面，分级建立各类业务数据管理分析框架，科学设计分析管理应用数据分析内容，从而为持续完善数据内容提供有效依据。
组织数据：健全数据管理组织架构。在明确工作职责的基础上，落实数据管理组织职责分工，结合应用分析需要，建立整体覆盖全辖数据的应用管理组织架构。协同科技人员、业务人员，建立综合运用管理数据的组织保障，有效提高银行解读和运用数据的能力；建立决策层数据应用分析机制，在分析数据的基础上，整体建设管理所需的数据仓库和数据平台，建立开展数据整合、协调数据应用、管理分析数据的统筹机制和组织保障，从而为高级管理层充分应用数据分析成果实现科学决策提供有效支持。
应用数据：建立数据应用与管理决策的良性工作机制。提升各层级、各条线人员对数据管理重要意义的认知，积累培养兼具业务经营管理与信息科技知识的复合型人才。进一步完善管理制度建设，强化执行落实，针对分散于各业务条线和机构层级的数据采集、生产、积累、管理、分析、应用环节与职能，明确工作职责和工作要求确保数据来源及时准确，数据内容全面有效，数据积累、管理、运维责任明确，形成各环节联动原装的数据全流程管理工作机制和工作流程，从而为持续拓展数据应用能力、有效应用分析数据奠定良好基础。
上海天元项目数据分析师事务所有限公司
地址：上海市徐汇区天钥桥路329号B栋7楼
王经理：02124193019
海量数据对银行监管与银行管理同步提出了挑战，清醒认识银行数据产生与发展的状况，充分理解数据内容，有效管理和应用数据信息、建立精细化分析为基础的科学经营决策体系,将成为信息化时代下商业银行经营管理的核心竞争能力。
随着中国银行业金融机构的快速发展，银行业信息科技建设取得了长足进步，信息系统应用从记录、处理业务，逐步深入到银行业务交易、风险控制和经营管理等各个领域，有效支撑着银行各类经营管理行为。与此同时，商业银行各类信息系统所生产的数据内容日益丰富，电子化、数据化信息逐渐取代传统纸质文本成为银行信息记录的主流载体。银行业进入“大数据”时代。
从商业银行数据的实质意义分析，数据来源于信息系统，是业务经营管理行为的信息化反映。在商业银行不断完善信息系统建设、有效支撑银行经营管理和业务发展的进程中，信息系统所产生的数据内容同步反映了银行收集、整理、生产、处理、分析各类经营管理信息，有效管控各类业务经营活动的整体过程。在过去的十年之内，银行业金融机构的业务规模由约28万亿元增长至165万亿元，业务产品种类日益复杂，银行数据内容日益庞杂。截至2013年末，银行业金融机构在线生产数据超过25000TB。根据央行[微博]公布数据显示，2013年全国非现金支付业务笔数501.58亿笔，银行业金融机构行内支付系统处理业务107.58亿笔，均以超过20%的速度增长。海量数据对银行监管与银行管理同步提出了挑战，清醒认识银行数据产生与发展的状况，充分理解数据内容，有效管理和应用数据信息、建立精细化分析为基础的科学经营决策体系,将成为信息化时代下商业银行经营管理的核心竞争能力。
商业银行数据的产生和发展
银行数据来源于信息系统，与银行信息化建设同步发展。从其形成与发展的历程来看，大致可以分为三个阶段。
首先是记录信息的阶段。反映为20世纪80年代中期开始，银行由手工记账向会计电算化发展的信息系统建设初期阶段。在此过程中，由于银行客户数量、业务种类和业务数量的不断增加，手工记录银行账目和业务的方式难以适应银行业务处理的需要，会计电算化逐步应用于银行经营管理行为。在此阶段中，银行信息化建设以复制手工处理的工作模式、核算基础业务信息为主要特征，提供了银行替代手工记账，以更具效率的方式处理会计账务、提供银行基础报表的信息化工作模式，信息系统功能相对简单，所产生的数据相对单一，数据内容局限于银行机构业务记录和账务信息的电子化记录。
其次是集成信息的阶段。反映为20世纪90年代后期开始的数据大集中趋势。在此过程中，银行法人通过集成各分支机构信息，实现了对全辖数据的集中处理。在掌握全辖整体业务数据的基础上，逐步开展管理信息系统的建设与应用，开始了应用数据的尝试和探索。信息系统建设从核算业务逐步扩展到处理业务交易和管理业务行为，随之产生的数据内容逐步由业务记录扩展至银行客户信息与管理控制行为记录。随着主要商业银行核心系统建设的相继完成，提供了法人整体统一的业务交易与会计账务信息记录，部分核心系统所附带的管理功能提供了银行记录客户资料和处理交易的数据内容，在全辖集中的情况下，奠定了整体审视数据、处理数据的有益基础。
第三是管理应用信息的阶段。随着银行业信息化建设的不断发展，银行管理信息系统逐渐开始功能细分，核心业务系统、管理信息系统的功能框架体系初步形成。通过核心业务系统处理交易、核算会计账务信息，通过管理信息系统核算各类业务产品客户信息和管理控制信息的整体建设框架逐步清晰。随着商业银行数据内容的不断细分和扩展，除经营领域之外，在管理领域逐步出现应用系统数据和处理系统数据的相关管理信息系统，商业银行在数据记录、数据集成的基础上，通过分析、筛选、计算生产出新的数据，系统功能日益复杂，整合业务数据基础上的精细化计量技术逐步引入到管理实践领域。部分银行开始建设统一的数据仓库与数据平台，具备管理、应用数据功能的产品定价系统、风险管理等中后台领域信息系统的相继建设形成，开始了商业银行整体应用数据信息有效支持管理决策的新时代。
商业银行数据管理的问题和难点
从历史发展和现实状况分析，在信息化建设不断完善的过程之中，银行初步建立了功能强大、架构复杂、应用广泛的信息系统支持体系。信息系统建设与数据管理的优势与挑战并存。一方面，随着新技术的不断发展，银行信息系统建设不断完善，整体架构日益清晰，大数据资源逐步形成，云计算、虚拟化等日益发展的技术方法为提升银行系统应用与数据处理效率奠定了良好基础。另一方面，受历史遗留沿袭影响，不同银行系统建设与数据管理健全程度截然不同，银行机构系统建设完善程度差异巨大，建设需求与成本投入能力难以匹配，应用数据实现管理决策的进程仍然处于起步阶段。现实条件下，制约银行数据管理与应用的问题与难点体现在以下几个方面：
一是部分银行管理层未能充分认知信息系统建设与数据管理的重要意义，指导思想与建设目标存在偏差，客观导致系统建设与数据管理缺乏有效动力。从实践分析，银行机构信息科技建设投入差异巨大，在业务经营发展的短期考核目标下，对业务发展短期效益与长远发展的抉择缺乏有效平衡，对决策信息的管理重视程度不足，客观存在重视物理网点扩展与投入，忽略信息科技建设；重视经营效益数据，忽视经营管理数据的现象，难以形成生产、应用数据的基础环境和有益导向。
二是信息系统架构复杂，功能重复重叠，进而形成数据内容复杂、冗余，关联度与逻辑性不足，制约银行数据在经营管理决策中的有效应用。在缺乏整体规划的情况下，信息系统建设以临时性需要为动力，在银行各管理部门条线之间各自独立、各成体系，客观造成系统承载的数据割裂、缺乏联动，难以形成整体关联和清晰的逻辑，未能形成有效应用数据、服务于经营管理决策的基础数据框架，进而制约风险、效益、客户等维度信息的综合关联与整合，不利于整体决策数据体系的建设和应用。
三是数据应用全流程管理不足，数据管理良性机制有待完善，主要信息系统建设不足或功能欠缺，造成管理应用数据内容不足、失实现象客观存在。突出表现在系统应用执行层面、管理运维、管理应用层面尚未形成联动运转，对基础数据采集缺乏统一要求，基层人员录入数据不及时、不准确的现象客观存在，系统运维与持续管理不足，进而形成管理应用职能与积极性缺失的现象普遍存在，从而在源头上、流程上、应用上造成部分数据不足、失实、失效的现象。在大多数银行已建设形成核心系统的基础上，受核心系统功能不足以及相关管理系统建设不足的影响，难以在会计、交易数据之外形成对管理决策所需基础信息的有益补充，信息系统在经营行为、管理分析领域建设的缺失，客观导致数据内容不全、不足的现象出现。
四是经营管理与信息科技管理职能未能有效结合的现实状况下，客观造成决策信息与决策行为割裂，制约银行有效管理应用数据的能力。现有银行管理体系之下，经营管理部门与信息科技部门职责割裂，未能有效运转的现象普遍存在。熟悉系统逻辑和数据结构的信息科技人员难以充分理解数据所反映的业务和行为内涵，而熟悉数据内容的业务人员难以充分理解系统与数据结构，管理职能的割裂客观形成生产、组织、管理、解读与应用数据的壁垒，制约了银行有效管理应用数据的能力。
五是复合性管理职责与决策数据整合层次的缺失，客观造成整体数据在决策与经营层级之间存在断层，不利于在法人、集团整体层面建立高层次决策数据的整合渠道。在条线割裂、缺乏有效的管理基础组织架构的情况下，数据整合与协调运转成本高、效率低，综合运用整体信息的风险管理、信息管理职责所覆盖的领域存在不足，协调力度不足，具备解读数据能力与经营管理决策能力的复合性人员不足，缺乏为高级管理层提供及时、便捷、有效的决策数据服务的职能层级，难以对海量数据实现有效筛选和整合，进而影响了为高管层提供决策所需信息的能力。
构建科学管理下的数据应用决策体系
从管理目标分析，构建科学管理下的数据应用决策体系客观需要在理解数据、规范数据、分析数据、组织数据、应用数据“五个层面”整体完善数据管理机制，从而有效实现以科学运用数据为基础的精细化管理决策。
理解数据：充分理解银行数据内容。需要结合本行信息系统建设进程，整体理解分析本行数据内容，有效解读数据信息所反映的经营管理状况与行为实质。通常意义下，银行数据可简单分类为五大类别，一是交易流水类数据，记录银行业务交易的主要信息；二是会计账务类数据，按会计科目归属，记录银行业务会计核算的信息；三是内部管理类数据，主要包括银行业务流程信息、管控信息、风险信息在内的内部管理数据；四是外部管理数据，包括银行内生信息以外，经营管理所必须的市场、行业、客户等信息；五是系统处理及运算信息，包括信息系统处理、反映业务所必须的过程数据，以及运行数据、日志数据、字典数据等相关数据内容。在清晰的逻辑下，梳理、整合、应用五类数据，将提供银行分析业务状况，解读管控流程与客户、行业、市场风险状况，以及评判信息科技运营状况的有效途径。
规范数据：科学规划系统建设与数据标准体系。需要在科学建设信息系统逻辑架构，统一规划数据标准的基础上，建立清晰、完整、有序的数据逻辑体系，从总体上解决系统数据的逻辑性和关联性，解决数据分散问题。将同一客户办理的不同业务种类信息，同一业务在不同业务流程条线的信息，以及各类业务会计、交易信息和内外部管理信息有效关联，在整体解读、有效运用数据的基础上，进而为建立整体运转有效的信息系统和数据治理架构，保障运营安全，有效记录、生产、积累数据信息奠定良好基础。
分析数据：整体设计数据应用分析框架。在统筹业务经营需求和管理需求的基础上，建立整体设计的数据应用分析框架。在整体设计数据仓库或数据平台的基础上，结合数据状况和分析管理能力建设，整合数据应用分析需求，针对执行层面、管理层面、决策层面，分级建立各类业务数据管理分析框架，科学设计分析管理应用数据分析内容，从而为持续完善数据内容提供有效依据。
组织数据：健全数据管理组织架构。在明确工作职责的基础上，落实数据管理组织职责分工，结合应用分析需要，建立整体覆盖全辖数据的应用管理组织架构。协同科技人员、业务人员，建立综合运用管理数据的组织保障，有效提高银行解读和运用数据的能力；建立决策层数据应用分析机制，在分析数据的基础上，整体建设管理所需的数据仓库和数据平台，建立开展数据整合、协调数据应用、管理分析数据的统筹机制和组织保障，从而为高级管理层充分应用数据分析成果实现科学决策提供有效支持。
应用数据：建立数据应用与管理决策的良性工作机制。提升各层级、各条线人员对数据管理重要意义的认知，积累培养兼具业务经营管理与信息科技知识的复合型人才。进一步完善管理制度建设，强化执行落实，针对分散于各业务条线和机构层级的数据采集、生产、积累、管理、分析、应用环节与职能，明确工作职责和工作要求确保数据来源及时准确，数据内容全面有效，数据积累、管理、运维责任明确，形成各环节联动原装的数据全流程管理工作机制和工作流程，从而为持续拓展数据应用能力、有效应用分析数据奠定良好基础。
