• 我的订阅
  • 科技

从一个案例,谈数据分析项目优化

类别:科技 发布时间:2023-02-24 15:00:00 来源:人人都是产品经理

一个数据分析项目,需要怎么搭建、包含哪些内容,才有可能得出有用的结果和建议?在本篇文章里,作者就结合了一个实际案例,对数据分析项目如何做、如何优化等问题分享了他的经验解答,不妨一起来看一下。

从一个案例,谈数据分析项目优化

前言:任何一个数据分析项目,如果想要有所产出,必然要有目标、结论和建议,不然就会流于形式,为分析而分析,久而久之,业务方也不会采用数据分析的建议。

一、分析背景

分析背景应该阐述的是为什么要做这次分析,业务上有哪些问题,本次分析的重点是为了解决这些问题而生的。

比如:本次项目中业务方描述,发现业务在套现方面违规交易频繁,且该风险在A地区发生率尤为严重。因此本次分析着重针对A地址所暴露的问题,结合商户信息和流水情况进行风险分析,给出最终的解决方案或在原来规则基础上的提升方案。并力求能映射到全量数据的防空方案。

二、业务范围与目标

主要说明业务上涵盖哪些业务线,涉及哪些后台业务表,分析涉及的软硬件资源。目标是否有分析报告产出,是否提供新的规则方案,规则上线部署安排等。

如:本次分享涵盖XX公司XX业务渠道的所有数据,涉及业务表XX,数据量XX,时间跨度等(用表格说明)。分析过程在XX平台编写SQL代码完成,针对特征黑样本抽样数据使用EXCEL导出单机完成。产出分析报告。对新的规则进行评估,根据业务沟通安排上线。

三、数据质量情况

描述数据分析过程中数据质量情况已经该质量情况可能造成的影响。

比如:本项目中核查发现交易流水表中的商户未全部包含在商户表中。交易流水表无借贷标识字段,只能通过付款银行字段中credit 标记为信用支付,debit 标记为借记卡支付,但支付卡和微信支付是,有一些字数产品的字符方式,所有并不是所有流水都有借贷标记分类,会对后续借贷规则相关分析产生影响。

四、已有风险规则及评估情况

1)已有规则明细列表,规则运行特定数据的表现情况(命中风险商户数)。

2)第三方黑样本抽样分析情况:抽取样本商户的流水情况,分析流水的金额分布、交易发生时间分布、商户地址信息核实、客户经理发展商户频率等情况。

常见的科工分析的样本主要有三类:上游渠道端提供(支付宝、微信等提供的样本);规则命中稽核后的样本;经验样本(通过sql跑出来的样本)。

3)已有规则命中商户抽样分析:抽取命中商户的一部分,检查其流水情况,根据流水中的付款人、付款金额、借贷支付比例进行分析。

注意流水情况与实际的风险类型对应起来,商户收单业务场景的风险一般有以下5类:套现;疑似赌博、色情等非法交易(如非法异地直播也属于这类);各类刷单;疑似反洗钱相关(平日无流水,突然进行5W以上不合业态的交易);交易欺诈(C端单笔交易,如诱导买家支付从中获取,赌博输了以被骗进行投诉)。

从当前整体风险形式来看,“套现”具有一定规模,其他风险相对可控。同时如果有商户门店照片,可重门店照哦片分析。

五、新增规则

说明新增规则的制定一列,逻辑结构,同时可疑阐述规则特征。

如:此次项目根据黑样本的特征情况,结合过往的银行扫码业务分析经验,已经现有规则抽样分析流水情况制定新的规则。规则分为商户监控型和交易监控型两大类,分别从商户和付款人角度进行风险识别,并未每条规则预设对应风险类型。规则如下:

1. 商户监控

1)特殊金额交易连续支付

需排除商品名称为停车、棋牌、网吧,MCC码为8299学校和教育服务等,收款账户X天内1元以下交易>=X笔。对应风险为违规违禁商户/营销坐标/各类刷单等。

抽查该规则命中的商户的交易流水,根据交易流水情况综合判断是否疑似风险,给出此规则的疑似率为X%.

2)其他相似规则

相同交易金额连续支付(违规违禁商户/营销坐标/各类刷单)、特殊金额交易(违禁色情风险)、尾数含特殊金额交易(违规商户/营销坐标/刷单/套现)、大额连续交易(违规商户/套现)、资金借贷比例异常(套现)、借贷笔数比例异常(套现)、借贷金额差异异常(套现)、贷记交易连续多笔异常(套现)、超大额交易(疑似洗钱类商户)、线上异地交易(以借记卡位置,排除套现可能)。

3)其他特殊场景规则

团伙套现(主要是多商户、多人多次重复支付,且门店为统一客户经理明显商户且联号)、虚假高危商户(如同一设备指纹下登录多家商户、法人都相同)、异地交易(无直播牌照异地直播交易、线上非法投资理财公司)。

2. 交易监控型

付款人短时高频交易(违禁商户/营销作弊)、付款人短时多商户高频交易(违禁商户/营销作弊)、付款人支付宝特殊金额交易(花呗套现)、付款人短时内特殊金额交易(各类刷单)、同一商户同一渠道付款人躲避贷记支付(套现)。

3. 其他风险规则结构

当然,如果是事中识别,也可以按其他结构跳转规则,如:通过经营实际与交易流量识别异常;通过异地交易或登录异常方式识别;通过贷记交易异常识别等。结构上也比较合理。

或者整体上从目的出发架构规则,如合规类型规则(针对合规文件)、商户监控(发现可疑商户为主)、交易监控型(监控高危可疑交易)、团伙类型(监控团伙,可与商户监控合并)。

无论哪种规则结构形式,其中比较重要的是,不同业态的特殊情况一定要排除,防止误报。比如冷链生鲜批发就具有夜间高频,单人重复支付;中高端服务如培训机构贷记比例会明显偏高;某些企业实力雄厚,自身运营手段多样,所有往往后将二维码包装后线上适用,造成异地高频收款的情况。

4. 规则特征

规则特征指的是制定规则时从哪些字段维度去刻画规则。一般情况的商户风险规则可通过7大特征进行刻画。如:时间、金额、借贷、地点、C端、B端网络环境、简单关联关系。

六、规则效能对比 1. 优化前后对比

对优化前后各规则的风险覆盖率和疑似率进行对比(用日记规则检出量和抽样数据疑似率进行展示)。

2. 优化后上线主要事项

比如疑似率未经任何核实,仅作参考,实际准确率应低于疑似率。

规则验收是历史数据,上线后是实时数据,随实际变化,商户违规交易手法、商户体量、业务规则都有可能编码,会影响实际结果。

七、风险处置运营建议

一般风险规则上线后,对风险的处置方式是关键,只有形成一套预警、核查、处置、策略调整的基础风险运营体系才能使得风险规则真正发挥风控的作用。

但目前很多银行采用的方式都是刚性一刀切,即发现-处理阶段(主要是反馈问题给客户经理,客户经理说明情况辩解,避重就轻等)。

可以适当丰富管理收单,如增加“警告、限期整个、流量控制等”由轻到中的方式。如对高危交易实时阻断,对套现商户已贷记额度控制,线上核查与线下调查结合。

八、业务优化建议

在分析过程中发现的业务问题,建议优化改进:

1. 商户入网方面

1)个体商户,商户名称为人名,不好判断,建议进件是记录下商户铭牌,照片等。

如XX早餐店,以便于准确账户该商户的具体行业业态。但照片铭牌要反应实际内容,制定规范,便于核查,如“XX公馆服装店”不能为管理者办公室照片,应该是实际生产、经营场所,必须是实景照片。

2)零售MCC行业标记没有细分、不准确,如都标记为5999,零售体量不一样,行业差别大。在实际分析中发现名称为“XX区兴国屠宰场XX肉食品经营部”,通过商户名称及内景照片,确认为5422肉类水产商量,但实际登记的类目为MCC5322“机动车、农机零配件批发”;登记错误,比如普通百货类的超市或小超市,填写成“仓储型超市”,虽然都是“超市类”但交易实际和交易金额差别交大;标准不统一,如XX加油站,某些归为“加油站”类目,有些归入“燃料出售”,有些还带有便利店,归为“便利店”类目。

3)门店无定位信息,无法识别异地交易行为,最好客户经理现场记录门店定位信息(可以通过门店地址识别??),如果商户仅仅只有名称记录,如“曹XX”共发现多家店,但没有照片信息辅助,实在难以判断商户的真实性。

2. 风险管理组织架构

以口碑公司商户风险管理为例,组织架构分以下:

1)管理主线

围绕“识别-决策-管理”主线展开。识别由“支付报-大安全”下的决策中心体重策略合模型支持,风险识别后通过接口形式下发给“口碑”商户风控管理后台,由口碑商户管理中心-商户风险管理部负责风险商户管理,配备各自自动、手动管控方式。

2)辅助部门

口碑商户管理中心-商户审核/服务商管理两个辅助部门,商户审核辅助商户准入的证照标准正常、类目管理运营;服务商管理管理以交易合门店风控信息为基础,管理服务商,此外还有”为业务发展部“辅助结算返佣和财务审计。

3)外部合作部门

口碑商户风险与花呗业务风控业务部门也有业务合作。

4)触达途径

除APP自动渠道外,人工一般通过客户经理连续客户,一种为”口碑客“采用佣金方式激励外部人员巡查门店(验真)。

3. 核查/处置建议

1)摆脱”问题-答复“的反馈模式

目前遇到商户问题,一般将问题反馈至客户经理处,客户经理会极力推脱、辩解、无限解释,沟通时间成本高效果部理想,建议避免”开发式“问答,采用”选择性“问答。如:凭证反馈截止XX时间,过期等同不提供”。

2)控制信息透露范围,避免根据问题造假

如果给客户提供风险特征情况,那么商户就有可能避免该风险去针对性造假,建议无论何种风险一律以”疑似虚假交易“进行沟通。

3)按照行业特征提供证照模板

不同的行业不同特征,如餐饮需要店内经照片和坐席数量。批发行业往来流水资料;泛行业(美容美发、娱乐场所)会有会员资料、充值记录等。

4)分级管理

借鉴行业先进经验,一般教育为主,限权为辅。如从警告限期整改——交易失败——限额限次——调单核查——关店等。技术商可通过灰名单有效时间控制。

5)特例白名单管理

运行特殊情况提前报备、限期白名单等方式处理,

6)关注客户经理可能存在的风险

针对团伙风险的商户,可能直接或间接与客户经理管理。尤其出现集中的照片非现场审核、集中关店等情况。

7)系统优化

建立多维度的黑/灰名单;允许规则免疫失效,防止误判。

本文由 @产品路人甲 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议返回搜狐,查看更多

责任编辑:

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-02-24 16:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

优刻得:使用USDP实践近实时数据湖仓
...度和运营策略的业务支撑。任务流自动化改造:基于即有数据分析架构,通过引入Flink的事件驱动架构,对现有的任务流进行自动化改造,减少对传统批处理任务调度(T+1)的依赖,从天
2024-05-16 16:00:00
2025好品金融┃作答金融“五篇大文章” 齐鲁银行交实干新卷
近日,“2025好品金融”终评名单公布,齐鲁银行3个案例及产品入围,“金融‘活水’润轴承,‘贷’动产业转起来”案例入围“金融直达基层加速跑”典型案例,可持续发展挂钩贷款入围“好品
2025-06-27 22:58:00
汇付天下AI应用丨LLM在投诉风险管控中的应用实践
...加入之前,我们已经积累了很多标准化流程和成熟的应用案例,应用中使用多种机器学习算法和复杂的规则引擎。 “传统范式”是借助“多种算法”和“代码语言”来开发模型。如借助TF-I
2025-05-14 09:45:00
日照银行:新年“第一赛”,“数智”启新程
...2个项目进入当晚的决赛,包含7个数据场景应用案例与5个数据分析实战案例。比赛特邀北京大数据研究院、山东城商行联盟、京东科技信息技术、上海聚均科技、浪潮智慧供应链科技、杭州观远
2025-02-12 14:28:00
...容易错。现在税务部门直接推出来跟我情况一样的小吃店案例,连哪行填多少、依据啥政策都标得明明白白。”近日,小店区一早餐店老板王先生比照着征纳互动平台的“案例辅导包”顺利完成季度
2025-10-13 07:23:00
数势科技—中原银行智能指标平台建设项目入选《沙丘社区大模型先锋案例Top50》
...后,智能化分析能力欠缺。不具备问答式、智能化的指标数据分析能力,当指标出现异常时,由于缺乏预警归因功能,难以快速定位问题根因,并进行及时分析处理。为应对这些挑战,此次数势科技
2025-01-09 10:22:00
高效解决行业出海风险挑战
...彩的演讲。他首先提及近期315晚会曝光的一起主板机集成案例,揭示了当前网络黑灰产业的猖獗状况。该案例显示,仅需20个手机主板即可集成一台主板机,能够展示上百部手机设备,并在中
2024-04-24 15:04:00
连连国际入选《非银行支付行业年度专题分析2024》典型案例
...槛生态共建项目入选报告,成为跨境支付部分的典型企业案例之一。 同时,为更好地对跨境支付机构服务中国跨境电商卖家的综合能力进行评估,博通分析从支付服务能力、金融服务能力、增值
2024-07-04 16:45:00
【多彩新论】加快推动文旅数字融合
...造一批智慧旅游试点和示范项目,开展虚拟现实先锋应用案例征集、5G+智慧旅游应用试点项目遴选推荐、智慧旅游沉浸式体验新空间推荐遴选暨培育试点项目征集、年度贵州省智慧旅游案例征集
2024-04-07 23:43:00
更多关于科技的资讯:
1月8日,贵州省商务厅发布《关于发放家电产品以旧换新、数码和智能产品购新活动补贴券相关事项的公告》(下称《公告》),明确2026年贵州家电产品以旧换新
2026-01-09 23:02:00
人工智能、物联网与5G技术的成熟迭代,让智能家居家电产品从高端小众走向大众消费,成为现代家庭标配。近日,江苏省消费者权益保护委员会发布专项调查报告
2026-01-09 17:10:00
动漫周边衍生品热销
动漫周边行业作为文化产业的重要组成部分,近年来呈现出快速发展的态势。近日,记者走访位于北京王府井的一家大型动漫主题实体店发现
2026-01-09 17:10:00
“冻鲜互变”仍保鲜 保税区进口牛肉凭啥这么牛?
大河网讯 进口冰冻牛肉,由冻转鲜,再由鲜转冻……虽经多次变身,仍然“鲜”活诱人,这里的牛肉凭啥这么牛?1月8日,记者走进郑州新郑综合保税区首个生鲜产品加工项目——省重点项目南洋优鲜超级工厂
2026-01-09 17:18:00
《文旅短剧活力城市指数》年度报告日前发布,太原和重庆、大同、东莞等8座城市入选“最具创新价值城市”榜单。《文旅短剧活力城市指数》(简称《指数》)由中国人民大学新闻学院
2026-01-09 17:58:00
张宣科技:智维创新赋能氢冶金高效运行
河北新闻网讯(郭晓通、王杨、范俊慧)全球首例120万吨氢冶金示范工程一期项目高效运行,背后有着设备维护创新硬核支撑的努力
2026-01-09 18:13:00
贵定税务:“全链条服务”点亮眼镜零售行业“睛”彩路
多彩贵州网讯 “现在付款后消费者自己在手机上动动手指就能收到发票,节省了消费者的时间,也节约了我们的人力,税务部门的管理服务让我们经营更便捷了
2026-01-09 17:23:00
【劲牌故事荟 大家谈友好】“四个友好”引领劲牌构建健康可持续新生态
□谭金山(湖北省社科联“文安平”团队、宜昌市西陵区市场监管局)企业的发展如同时代浪潮中的一叶扁舟,既需乘风破浪,更需掌舵定向
2026-01-09 14:15:00
UU远程2026远程协助重磅升级:被控免登录、自定义验证码等率先上线
引言:网易UU远程2026年即将迎来远程协助升级三连,远程协助功能实现多场景全面升级近日,网易 UU 远程迎来 2026 年首次重磅版本更新
2026-01-09 14:18:00
清华大学携手阿里巴巴共筑AI安全防线 启动大模型与智能体安全研究
近日,阿里巴巴集团与清华大学签订协议,启动智能体与多模态安全产学研深度融合专项合作。双方此次合作为期5年,聚焦中国AI用户在真实应用场景中面临的核心安全挑战
2026-01-09 14:23:00
中国故事海外热播、“泰国模式”全球复制,爱奇艺探索流媒体出海的“长期主义”
2025年,是爱奇艺海外业务进入稳定期之后,增速最高的一年。第三季度,爱奇艺国际版日均会员数创下历史新高,海外会员收入同比增长超过40%
2026-01-09 14:53:00
为进一步优化知识产权服务供给,打通创新成果转化通道,提升知识产权公共服务效能,上饶市“人工智能+”知识产权大数据服务平台(http://shr
2026-01-09 15:04:00
从五金功能件制造者到智能睡眠守护者,喜安思“守护狮”的觉醒之路!
在珠江之畔制造业奔腾的脉搏里,总有一群敢想敢干敢拼的人,让这片沃土跃动出一个又一个传奇,而喜安思智能床垫就是其中之一,喜安思创始人梁富城与陈傲鹏更是其中佼佼者
2026-01-09 15:35:00
近日,【同程商旅】联合【曹操出行】,聚焦国内企业差旅交通全景,重磅发布《2026中国企业差旅交通出行数据研究报告》。发现价值“新流向”国际出行逆势增长
2026-01-09 15:35:00
悍高集团股份有限公司接待44家机构调研,战略清晰彰显经营韧性
随着家居行业逐步从增量市场迈向存量市场,家居五金企业如何找到新的增长曲线,成为考验企业战略定力与运营能力的关键。近期,悍高集团股份有限公司(董事长为悍高欧锦锋)接受包括百嘉基金
2026-01-09 15:35:00