数据中台的产品架构

最近两年，好像没什么公司说“中台”这种概念了。甚至有人说中台已经不行了。实际情况是这样吗？其实并不是。

一、数据中台的概念有没有过时

2019年中台火爆之后，大厂纷纷建设中台，一些数据服务公司甚至专门推出数据中台相关的产品；后来的文章开始甚嚣尘上，中台的热度逐渐散去。但是数据中台是真的不需要了嘛？

数据中台的核心思想是数据输出能力的组件化、服务化，从而提升数据从采集到赋能业务应用的效率。在经济环境不景气的情况下尤其重要。只是需要平衡业务应用产出的价值和中台能力建设的成本的ROI。AIGC、生成式AI应用也需要依赖于完善的数据资产和中台化数据能力，否则每个GENAI的业务场景的定制化，成本必然很高且难以快速复制。

数据中台的核心思想是将所有的数据资源和服务整合到一个统一的平台上，实现数据的集中管理和服务。这主要是为了解决企业数据管理中存在的“存”、“通”、“生”的难题，即连接数据孤岛，让一切业务数据化，让一切数据业务化。

通过将企业的数据转化为数据资产，数据中台可以提高数据研发效率、数据发现效率和数据分析效率，并解决数据质量问题，包括数仓设计的质量、指标的一致性和数据研发的质量等。

数据中台需要解决以下问题：

数据孤岛问题：企业中不同的部门或系统可能拥有各自的数据资源，形成数据孤岛。数据中台通过集中管理和整合这些数据资源，实现数据的共享和互通，打破了数据孤岛，提高了数据的利用价值。

数据效率问题：在数据研发、数据发现和数据分析过程中，由于缺乏统一的数据平台，往往导致效率低下。数据中台通过提供统一的数据接口和服务，简化了数据获取和处理的流程，提高了工作效率。

数据质量问题：由于数据来源多样、格式不统一，数据质量往往难以保证。数据中台通过数据清洗、整合和标准化处理，提高了数据的一致性、准确性、及时性和完整性，从而保证了数据的质量。

二、数据中台一般架构

数据中台的目标是：效率，成本，复用，业务数据化，数据资产化，资产业务化。

降低业务创新过程所需数据的获取和使用成本，数据分析和大数据人工智能应用更便捷。

很多文章里会讲，数据中台的输出是API，API即服务嘛，但一个API要更加快速高效的输出，要依赖于数据同步、数据清洗加工、资产沉淀等各个流转环节，木桶效应，任何一个部分出现短板，整体的效率都不会高。

因此，我把数据中台的产品架构分为五层：

数据服务层：基于数据资产、平台工具输出的分析服务、数据查询服务，可视化服务、标签、算法服务等

数据资产层：包括数仓模型资产建设、数据治理、资产盘点

数据加工层：基于业务逻辑进行ETL的过程，包括批、流数据的开发、调度、搬运、运维

数据集成层：数据入湖第一步，把不同数据源数据同步到统一的数据仓库或数据湖

基础设施层：最底层是大数据集群服务，包括存储、计算、资源调度和Hadoop生态的各个组件管理

三、数据中台包含数据产品简介1.数据采集

定位：提供企业内、外部数据采集解决方案，为大数据分析应用提高原始数据支持，是企业的“数据原油”，没有数据，大数据就是无源之水。

产品模块：埋点解决方案&埋点管理平台、爬虫系统、数据填报系统

2.组件管理

定位：大数据组件管理平台，以配置化的流程替代人肉命令行操作、运维大数据集群及各个组件。

产品模块：云平台、HDFS管理、Kafka管理、Hbase管理、ES管理

3.开发套件

定位：产品化、自动化数据采集、同步、加工到应用流程，提升数据开发效率，降低开发成本，缩短业务创新数据需求周期。

产品模块：数据集成、离线开发平台、实时开发平台、智能运维平台、机器学习平台

4.数据资产

定位：沉淀数据资产，公开资产目录，助力数据共享，并依制定数据稽核规则监控数据质量，从源头保证数据准确高可用，统一权限管控，保证数据安全。

产品模块：数据地图、数据血缘、指标系统、数据质量监控、模型建设平台、资产管理中心

5.数据治理

定位：治理低效或无价值的数据及任务，释放存储&计算资源，实现数据资产成本的精细化管理。

产品模块：成本优化中心、数据安全中心

6.分析应用

定位：聚合和治理跨域数据以产品化形式封装数据能力，将数据应用于业务决策、产品优化、精细化运营等环节,挖掘数据价值，赋能业务。

产品模块：

数据分析：Adhoc查询、用户行为分析系统、自助分析、敏捷BI、数据可视化平台、智能分析平台

产品智能：个性化推荐、用户画像与精准营销平台

7.数据服务

定位：基于数据中台思想，将数据快速输出API服务，同时具备服务监控及管理能力

产品模块：API服务平台、推荐平台、智能预警&数据订阅(从人找数到数找人)

8.通用功能

定位：抽象各数据产品通用模块，提供统一服务能力，减少各产品重复建设，降低开发成本

产品模块：工单系统、消息中心、帮助中心、统一权限、产品导航、需求中心

四、小结

对于数据中台产品，各家公司都在做很多相似的事情，作为数据产品经理的你，当前在从事哪一产品领域的工作呢？未来职业发展规划又想哪一模块的产品工作呢？

在此明确回答一下一些同学的疑惑，＜AI时代是不是数据产品是不是应该转型做AI产品经理？＞，答案是：AI应用是数据核心价值体现的方式之一，但是想要AI应用更高效，低成本，企业需要持续完善基础的数据产品的中台化基建能力。