监管赋能 | EAST总分报送数据服务能力持续提升

EAST报送

企业级数据仓库系统自2018年开始进行EAST报送相关开发工作,从EAST1.0到EAST5.0持续赋能,整体工作从全行数据报送、各个分行地方局专项报送工作提升等。在工作过程中,仓库持续总结,制定了严格的代码走查机制,对问题逐一记录、排查、归纳总结,针对如历史表不存在、表用错切片日期等常见易错问题,开发了自动化工具进行检查核验,降低了问题发生率,提高了需求开发效率,报送质量也持续提升。

1、平台能力提升

2023年初完成了数据仓库平台从Teradata到GreenPlumn的升级,存储和算例能力相较于之前提升10倍,整体作业运行时间大幅度缩短40%,平均供应时间提前60%。对于监管类高时效性需求能在早上9点前完成供数,整体数据时效提升50%以上。提升了平台对EAST数据加工和历史数据存储需求的服务能力。

2、松耦合架构设计

为了提升监管数据服务的独立性与稳定性,数据仓库设计了多日并行作业方法,优化作业依赖和数据存储方案。根据不同作业加工算法设计数据库中各表不同切片的方案,以支持作业独立运行,避免晚到或异常数据影响整个系统的作业和数据。对EAST相关不同类型的表采用不同切片保留存储策略。为提高问题排查和需求开发的效率,在作业链路上尽量将EAST日批代码从仓库中分离出来,以缩减作业链路长度,摆脱对模型表的依赖,以更加高效的方式实现数据处理。

3、回溯自动化能力不断提升

为满足历史数据回溯需求和提高回溯效率,仓库基于“星流”调度系统开发了回溯专用作业流,积累研发了一套自动化历史数据回溯代码工具。根据历史数据时间段进行作业拆分,实现了并行回溯代码执行;根据配置自动回溯规则,实现多时点数据共用一套代码。在代码版本管理,精细化实现EAST报送表历史回溯代码的归档管理,能快速查找代码逻辑历史、版本数量和适用时段的功能。

4、自动化检核能力增强

建立监管关注的40个重点领域模型,形成了EAST“规则库”对相关规则进行部署与优化升级。通过在仓库进行3200余条检验规则每日自动化预检验,通过统计触犯监管规则的数据记录条数、标记触犯规则的明细数据,同时注明监管规则和数据业务部门等方式,提前识别异常业务数据,确保EAST数据报送质量。

在数据仓库数据服务能力不断提升下,总分行报送效率和质量不断提升,数据服务中心也将继续积极响应监管要求,乘着数字化转型浪潮,充分利用自动化技术优化提升数据质量,发挥监管数据价值,不断为EAST报送增质提效。