• 我的订阅
  • 科技

分库一时爽,维护火葬场,有些数据库最终走向了合并

类别:科技 发布时间:2024-12-26 09:43:00 来源:IT168企业级
分库一时爽,维护火葬场,有些数据库最终走向了合并

从前单机承载高并发

以前做公安系统每秒写入几百上千。几千个终端的写入。然后大量数据检索以及数据分析、挖掘、下钻。那时候没有HTAP。但是我确实在一个数据库上实现了所有。这期间没有用到Redis这样的缓存也没有用到消息队列的缓冲峰值。因为足以应付用不到啊!

也没有用到解耦。不需要解耦。这上面十几个schema有些就是需要相互调用的。

后来微服务和中台来了

开始时候不知道什么是微服务。其实到现在我也不是非常清晰中台能做什么。据说马老师自己听下属汇报也就是觉得达到他意念中的三分之一。所以这种玄学我不了解也正常。

我见到的很多就是一个Oracle拆了一堆MySQL。或者一个MySQL拆了一堆MySQL。要么就是一个Oracle拆成了一堆Oracle。

拆之前都说每个要独立。最后一看,独立的数据基本走不下去。必须和其他数据通过接口或者服务的互动才能走下去。既然如此为何要拆开?见过太多的案例是为了拆而拆。

这种分库好吗?

一时分库一时爽,一直分库一直爽。然后就开始收到漫长的分库带来的反噬。

首先如果要查询的数据在不同的数据库上,这下就无法关联查询了。于是出现了几种解决方案:

1)将这些数据再汇聚到一个地方。可能是一个集中的数据库也可能是hadoop。当通过CDC的技术汇聚到一个数据库的时候,难道不觉得无奈吗?这是何苦呢?

2)通过接口同步一些数据到本地。比如一个系统需要用户的信息,每次调会员的接口。不是慢就是各式各样的问题。于是聪明的开发人员就是调接口后自己也存一下。下次自己有的用自己的,没有再去找。然后就留下了一个坑,数据存储多处。是不是一致?哪里还管得了那么多。

每个服务都有自己的数据库

结果就是自己理解的划分,或者说是抄别人的。合同、订单、发票。诸如此类一个属性一个数据库。结果是新增合同的同时需要新增订单和发票。同时修改其中一个的时候也要修改其他两个。

这个时候如果是要求数据一致的。(好像我说了一句废话,这个怎么允许不一致?)那么又出现了几种方案:

1)分布式事务,一个个去做,做好了再返回。实际上步骤没这么少,不会只涉及到3个库,3个表。真实的世界不是我们可以想象的。一路走来周期有点长。甚至在走的过程中走丢了。一部分成功了,一部分失败。由于不在一个数据库上,原子性没有保障。分布式事务也控制不了N个数据库,其中还是异构数据库的,全体回退。就导致后续数据补偿的压力很大。

2)异步解耦。这就使得系统架构继续增加环节。上面的同步都没解决一致性问题。这个消息队列就更加解决不了。

以前有个故事,三个和尚因为喝水问题。结果导致成立更多的部门,招聘更多的管理者,提拔更多的干部,设立更多的管理岗位,设置更多的考核、激励机制……

终于原本的小寺庙成了个大寺庙,自然大寺庙就需要大寺庙的配套模式:开会、文件、沟通、协调、打分、评比……数据化、信息化、经营分析会、研究部、战略部、决策部……

大家看看这和分了一堆数据库是不是一个道理?没解决本质问题。

这个现象现在正在改观

不知道和我一直潜移默化主张有没有关系。今日有人在网上问我,他们打算把他们两个数据库进行合并。我看了这个两个数据库属性,我就问是不是这两个就是紧密的?开发答道是的。我又问是不是你们自己觉得放在一起更加好?开发答道是的。我再追问,是不是这些合并后,相关的数据再也不会不一致了?开发答道是的。最终还是ACID和CAP获胜了。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-12-26 12:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...的流程重新整理影印,以全新姿态展现在人们眼前。随着数据库的上线启用,这些册页纸张都将化为可全文检索、便捷查阅的数字资源。当日,共有来自全国150多家重点高校图书馆和学界、出版
2023-11-16 08:52:00
TiDB x 云盛海宏丨加速零售系统精细化运营
...海零售系统架构示意图业务价值高度兼容 MySQL 的分布式数据库TiDB 原生分布式架构提供灵活的在线扩容和缩容能力
2023-04-25 20:00:00
文 |真梓封面来源|IC photo2023年夏天的一个午后,向量数据库公司Zilliz创始人兼CEO星爵的头像准时闪动在视频会议中
2023-08-04 11:57:00
跑分库发现vivov40e5g手机踪迹
...14系统。IT之家援引消息源报道,vivoV40e目前已经现身IMEI数据库和蓝牙SIG列表,有望9月发布,售价可能会在3万卢比(IT之家备注:当前约2547元人民币)以下。
2024-08-30 05:55:00
美版三星galaxytabs10plus平板现身跑分库
...141分,多核成绩为6952分。IT之家今年5月报道,基于GSMAIMEI数据库清单,GalaxyTabS10Plus的型号为SM-X828U
2024-06-15 01:41:00
...文转自:四川日报省级影像数字化服务平台“C视觉影像数据库”上线数字赋能用光影展现时代风采本报讯(四川日报全媒体记者 程文雯)4月23日,“C视觉影像数据库”上线仪式在成都举行
2023-04-24 06:11:00
中医药领域大突破!“华中本草多组学成分库”发布
...,形成面向公众用户的人工智能问答系统;通过综合权威数据库靶标信息,基于机器学习算法,部署成分高通量靶标挖掘工具,推动药用活性成分的挖掘与应用,为中药新药和大健康产品研发奠定基
2025-06-23 21:47:00
吉林两名大学生同日成功捐献造血干细胞
...检测,经HLA分型检测后,相关资料将录入到中华骨髓库的数据库中。(完)
2023-08-17 11:55:00
LiveMe x TiDB 简化技术架构 实现数据量单表 39 亿条
...据研发团队来维护,通过 sqoop 和 MySQL Binlog 同步等方式从数据库层面抓取数据到数据仓库,完成一系列业务相关的支持
2023-02-16 12:00:00
更多关于科技的资讯:
聚焦2025中国国际数字经济博览会·现场丨人机协同,赛场上演“机器人总动员”
你见过“机器人总动员”吗?10月18日,记者走进石家庄(正定)国际会展中心6、7号馆,科技感扑面而来。一场场不同类别的机器人赛事激烈角逐
2025-10-19 08:23:00
聚焦2025中国国际数字经济博览会·记者观察|释放数据价值,“乘”出产业转型新动能
释放数据价值,“乘”出产业转型新动能——2025中国国际数字经济博览会探新之二随着新一轮科技革命和产业变革深入发展,数据作为关键生产要素的价值日益凸显
2025-10-19 08:27:00
青春华章丨江苏南京:“宁工品推”,“推”出产业发展新空间
□南京日报/紫金山新闻记者徐宁实习生黄倩通讯员李晓晨陈欣苇俞堃在南京,“政府搭台、企业唱戏、共谋发展”的生动实践持续结出硕果
2025-10-19 09:54:00
二〇二五年广交会设计创新奖出炉在宁企业斩获二金奖一银奖南报网讯(记者黄琳燕)10月18日,2025年广交会设计创新奖(CF奖)颁奖仪式在广交会展馆举行
2025-10-19 09:55:00
产业数字金融发展的创新路径与实践研讨会举办,与会嘉宾建议——找准金融机构数字化转型赋能产业发展路径河北日报讯(记者马彦铭)10月17日
2025-10-19 09:57:00
DCF AI智能商城:智能技术重塑购物新范式
DCF AI智能商城作为一款新兴的电商平台,其核心在于将智能化技术融入购物全程,为用户带来更合规、更真实、更便捷的消费体验
2025-10-19 13:21:00
DCF智能商城商业愿景
DCF智能商城面向农产品场景上线一组功能与体验升级,核心目标很直接:把产地和特点说清楚,把来路和批次摆出来,把配送和售后讲明白
2025-10-19 13:22:00
奢侈品牌梅杜莎Medusa登陆中国,营业范围涵盖实体店及电商
近日,国际奢侈品市场传来重磅消息:顶级奢侈品牌梅杜莎Medusa正式宣布登陆中国市场,其在中国区的运营将由意大利梅杜莎奢侈品集团有限公司全资控股的子公司 —— 广州丹尼尔钟表有限公司全权负责
2025-10-19 13:22:00
面对市场结构性矛盾,安徽省阜阳市烟草专卖局直属分局创新工作方法,从三个维度精准施策,有效激发卷烟消费市场活力。为有效缓解供需矛盾
2025-10-19 15:45:00
中企通信赋能盈科律师事务所荣膺2025 IDC中国未来企业奖项
2025年10月17日,上海 — 中企网络通信技术有限公司(简称“中企通信”)欣然宣布,其创新ICT赋能的盈科律师事务所(简称“盈科律所”)在2025年IDC中国CIO峰会暨数字化转型颁奖典礼上脱颖而出
2025-10-19 15:46:00
10月17日,金投赏商业创意奖颁奖典礼落幕,鲸鸿动能案例斩获3金4银2铜4提名,共获13项大奖。其中《〈抚痕倡议〉社会共创运动——为4亿中国妈妈推动改变》荣获公关整合传播金奖
2025-10-19 15:48:00
2025 杭州科创嘉年华启幕
10月16日,“天堂硅谷・云创未来”2025 杭州科创嘉年华在汇金云创・人才科创综合体盛大启幕。这场以“人文、科学、生活
2025-10-19 15:51:00
牢记嘱托 感恩奋进——安徽往前赶 | 合肥科创生态何以“育林成景”?
大皖新闻讯 从实验室的“量子测量”到医院的“空中成像”,从“00后”团队的具身机器人到24小时登顶全球的AI大模型,合肥这片创新沃土正在上演一场“育苗成林”的生动实践
2025-10-19 21:27:00
海报丨数说津彩“十四五” 天津交出亮眼答卷 扫码阅读手机版
原标题:海报丨数说津彩“十四五” 天津交出亮眼答卷
2025-10-19 23:17:00
聚焦2025中国国际数字经济博览会·访谈|沈昌祥:发挥优势,不断筑牢人工智能安全底座
发挥优势,不断筑牢人工智能安全底座——访中国工程院院士沈昌祥中国工程院院士沈昌祥。 河北日报记者 李东宇摄2025中国国际数字经济博览会的主题为“可信数据赋能产业发展”
2025-10-18 08:25:00