- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
监管赋能 | EAST总分报送数据服务能力持续提升
EAST报送
企业级数据仓库系统自2018年开始进行EAST报送相关开发工作,从EAST1.0到EAST5.0持续赋能,整体工作从全行数据报送、各个分行地方局专项报送工作提升等。在工作过程中,仓库持续总结,制定了严格的代码走查机制,对问题逐一记录、排查、归纳总结,针对如历史表不存在、表用错切片日期等常见易错问题,开发了自动化工具进行检查核验,降低了问题发生率,提高了需求开发效率,报送质量也持续提升。
1、平台能力提升
2023年初完成了数据仓库平台从Teradata到GreenPlumn的升级,存储和算例能力相较于之前提升10倍,整体作业运行时间大幅度缩短40%,平均供应时间提前60%。对于监管类高时效性需求能在早上9点前完成供数,整体数据时效提升50%以上。提升了平台对EAST数据加工和历史数据存储需求的服务能力。
2、松耦合架构设计
为了提升监管数据服务的独立性与稳定性,数据仓库设计了多日并行作业方法,优化作业依赖和数据存储方案。根据不同作业加工算法设计数据库中各表不同切片的方案,以支持作业独立运行,避免晚到或异常数据影响整个系统的作业和数据。对EAST相关不同类型的表采用不同切片保留存储策略。为提高问题排查和需求开发的效率,在作业链路上尽量将EAST日批代码从仓库中分离出来,以缩减作业链路长度,摆脱对模型表的依赖,以更加高效的方式实现数据处理。
3、回溯自动化能力不断提升
为满足历史数据回溯需求和提高回溯效率,仓库基于“星流”调度系统开发了回溯专用作业流,积累研发了一套自动化历史数据回溯代码工具。根据历史数据时间段进行作业拆分,实现了并行回溯代码执行;根据配置自动回溯规则,实现多时点数据共用一套代码。在代码版本管理,精细化实现EAST报送表历史回溯代码的归档管理,能快速查找代码逻辑历史、版本数量和适用时段的功能。
4、自动化检核能力增强
建立监管关注的40个重点领域模型,形成了EAST“规则库”对相关规则进行部署与优化升级。通过在仓库进行3200余条检验规则每日自动化预检验,通过统计触犯监管规则的数据记录条数、标记触犯规则的明细数据,同时注明监管规则和数据业务部门等方式,提前识别异常业务数据,确保EAST数据报送质量。
在数据仓库数据服务能力不断提升下,总分行报送效率和质量不断提升,数据服务中心也将继续积极响应监管要求,乘着数字化转型浪潮,充分利用自动化技术优化提升数据质量,发挥监管数据价值,不断为EAST报送增质提效。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2023-11-28 15:45:36
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
