#云化要求下,数据库架构如何演进?#
如今,大型企业如金融企业和银行等,在下一代的微服务架构转型要求下,需要基础软件和数据平台能够实现原生的云化,以满足微服务架构的需求。

微服务,也就是一种面向服务的,有特定边界的松散耦合的架构。

主要特点包括,每一个微服务是一个独立的自治系统,可以不依赖外部组件独立运行;对应用只暴露接口,用户可以灵活的调整过每个微服务的使用;业务粒度足够小。

在企业架构“云化”的过程中,数据库的云化是最为重要也是难度较大的一个部分。数据库云平台(dbPaaS)是一类支持弹性扩张、多租户、自我管理、并能够运行在云服务提供商的基础设施(IaaS)之上的数据库管理系统(DBMS)或存储管理系统。

根据Gartner报告预测,数据库云平台市场份额将会在下一个五年中翻倍,而70%的用户将开始使用dbPaaS数据库云平台。因此,为了满足各类应用程序对数据库云平台的需求,同时为了减少私有云部署中对大量不同类型数据存储产品的运维复杂性,数据库的架构演进将是未来十年数据库转型的主要方向之一。

云数据库的技术需求

在业务和应用进行“云化”的过程中,云数据库因为在整体架构中的重要地位,在云化改造中的重要性不言而喻。云数据库的核心需求有一下几点,主要有:
弹性扩张能力:数据库容量需要根据业务弹性扩展,满足不同业务的容量需求;

弹性部署与随需应变能力:除了数据库的存储,其他数据库功能也需要根据应用的需求,进行弹性的部署调整;

数据可靠性与服务持续能力:数据的可靠安全,全时在线是所有业务的必须要求;

计算存储分离:将计算和存储资源灵活配置,既可以选择多种计算方式也可以同时对应多种存储方式,满足更多业务需求;

多模式存储能力:结构化、非结构化、半结构化和图等多类型数据的存储;

自我管理能力:提供零停机维护、持续集成、以及滚动升级能力,提升开发人员效率;

自我监控以及问题修复能力:故障监控和问题修复,降低运维成本;

是否满足特定应用场景:针对特定场景的可插拔组件或工具;

监管与安全:满足监管的要求,保证数据的安全。

云数据库需要满足这些技术要求,除了在功能上的具体提升,在整体架构上更需要进行升级和“进化”。

云数据库架构方向

云数据库架构是其能否承载应用架构“云化”的关键点,随着技术和业务的发展,云数据库的架构出现了几个主要的发展方向:

在dbPaaS平台中,计算-存储层分离将会成为主流技术方向。通过将协议解析、计算等模块与底层存储解耦,数据库云平台将存储层进行分片以实现存储的弹性水平扩张,同时通过计算层的无状态设计允许计算层通过增加节点数量线性提升计算能力,已达到整个数据库云平台的弹性水平扩张。

多模架构成为主流趋势,Multi-model的架构在一个数据库平台就可以支持多种存储方式,大大减少运维和开发的成本。传统数据库中例如IBM、Oracle等早已经提供关系型、OO、甚至XML等存储引擎。而新一代数据库则更提供NewSQL、JSON、图、对象存储等多种类型数据存储引擎。

云数据库平台将会提供多种混合模式的数据服务 – 关系型与非关系型。该模式使用户能够在同一平台中结合不同数据存储类型的特点,为新一代IT应用系统提供混合数据存储解决方案。

更符合微服务业务架构的要求,微服务要求各个服务模块之间尽量松耦合和可独立扩展。因此对于数据库,也同样会针对不同的业务,进行不同侧重的配置,无论是传统的“读写分离”或者现在流行的HTAP都是围绕这个要求展开的。

针对这几个主要的发展方向,我们就将详细来探讨云数据库的几个重要技术特点。

1)存储-SQL 分离

针对云数据库的需求和架构方向,一种新的数据库架构也在渐渐成为主流,也就是数据库的 “存储-SQL分离”架构。

存储-SQL分离架构,即指数据库的存储引擎和SQL引擎两部分互相松耦合独立工作的架构。通常这一架构,分为存储、SQL和元数据 三个部分。
存储层:即数据库的存储引擎,存储引擎负责处理数据的存储管理。同时包含路由及事务控制,保障数据的ACID特性。此外,存储层还应还具备索引、查询条件过滤、排序等一系列功能。

SQL层:SQL层主要负责处理SQL请求,上层直接面对应用程序,将应用程序的访问请求分发给存储层,并且接受存储层返回的数据结果。

元数据区:元数据区负责存储整个数据库的所有元数据信息。

典型的云数据库架构示意

对于这一架构,其实MySQL数据库当前的架构是有一些类似的。

MySQL数据库的SQL、存储分离的架构,在架构较为灵活,而其开源的生态也支持将不同的产品、引擎和工具进行充分的对接。在存储引擎的架构上,插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。

MySQL数据库整体技术模块架构

如上图所示,MySQL 的存储引擎可以挂载多种不同的产品,每个引擎都能提供不同的技术特性。其中包括InnoDB、MyISAM等架构。

存储与SQL分离的架构,目前在数据库业界十分流行,AWS的Aurora数据库在SQL访问上也采用了类似的架构。SequoiaDB 3.0 目前在MySQL兼容上,主要也是采取“SQL-存储分离“的架构。

SequoiaDB 3.0 MySQL 兼容逻辑架构

SequoiaDB 3.0使用了MySQL数据库原生的SQL解析器,天然支持MySQL协议并可以做到100%语法兼容。在该架构中,MySQL协议解析层作为SQL解析和分发的角色,直接面对应用程序,每一个MySQL服务的接入节点都是一个独立支持读写操作的MySQL进程。

而数据存储和管理层,则完全由巨杉数据库的分布式数据库引擎实现。简单来说,SequoiaDB 3.0作为MySQL的InnoDB替换引擎,在天然支持MySQL的全部语法和功能的同时,提供了数据库存储层弹性扩张的能力。

2)多模Multi-Model

企业使用云数据库对接的应用越来越多,需求多种多样,传统的做法是在dbPaaS里面提供十几个不同的数据库产品分别应对各种需求,这样的方法在系统增加后,整体维护性和数据一致性管理成本很高,会影响到整个系统的使用。

云数据库的“多模”示意图

为了实现业务数据的统一管理和数据融合,新型数据库需要具备多模式(Multi-Model)数据管理和存储的能力。数据库多模Multi-Model是指同一个数据库支持多个存储引擎,可以同时满足应用程序对于结构化、半结构化、非结构化数据的统一管理需求。

通常来说,结构化数据特指表单类型的数据存储结构,典型应用包括银行核心交易等传统业务;而半结构化数据则在用户画像、物联网设备日志采集、应用点击流分析等场景中得到大规模使用;非结构化数据则对应着海量的的图片、视频、和文档处理等业务,在金融科技的发展下增长迅速。

多模式数据管理能力,使得金融级数据库能够进行跨部门、跨业务的数据统一存储与管理,实现多业务数据融合,支撑多样化的金融服务。

在架构上,刚刚提到的多模Multi-model也是针对云数据库需求的,则使得数据库使用一套数据管理体系可以支撑多种数据类型,因此支持多种业务模式,大大降低使用和运维的成本。

3)灾备和多活

对于应用程序来说,开发人员并不希望在设计应用的过程当中花费大量的精力来考虑底层数据高可用、灾备与多活时应用的切换逻辑。一般来说,一个成熟的dbPaaS层应当尽可能将底层的数据多副本同步、灾难切换、高可用接管等一系列操作进行封装,对于应用程序做到完全透明。

在传统的应用程序开发中,开发者使用中间件容器对数据源进行配置,底层使用F5或其他虚拟IP地址对多个数据源进行封装。但是,在云化的演变过程中,底层的数据库从单一节点向分布式节点过渡,对于上层的应用程序一方面希望尽可能减少应用程序设计时对分库分表的依赖,另一方面更希望在数据节点切换,甚至数据中心灾难接管的过程当中做到应用透明无感知。

SequoiaDB 3.0则引入了异地多活的架构,应用程序可以从任意接入节点以读写的方式访问本地数据库。在数据读写的过程当中,巨杉数据库能够从底层有效地进行数据一致性控制,对多个地区本地写入的数据进行远程复制,确保多个站点所读写的数据完全一致。

另外,灾难发生时巨杉数据库提供对应用程序透明的数据切换与接管机制,动态调整底层数据分布拓扑逻辑,能够动态有效地排除故障数据中心内的节点,做到其他站点无感知地继续提供数据服务。

多活相比于传统的高可用来说,不仅在性能和安全性上实现了更大的提升,而这一架构也能在多活数据中心中充分的应用软硬件设备,减少冗余。

云数据库架构优势

在技术驱动的需求下,云数据库架构具备了几项主要的业务价值:

无需分库分表:此前,一种数据库分布式改造的方向是关系型数据库往分布式架构改造,MySQL分库分表就是其中一种方案。如今,存储-SQL分离的架构,在数据存储层已经实现原生分步实施,就避免了复杂冗长的“分库分表”方案。

灵活支撑业务需求:存储和SQL层都可以实现服务、存储的弹性调整,灵活地支撑业务的需求。

多存储引擎兼容:由于SQL和存储层的分离,在保持SQL接口不变的情况下,底层存储引擎可以支撑多个不同引擎,实现多种数据引擎的同时兼容。

完全兼容已有应用:由于SQL层更多使用已有的标准SQL解析器,因此对于原有应用在SQL上可以实现完全的兼容,没有任何应用改造的投入。

数据安全可用:分布式的存储和松耦合的架构,数据拥有安全的多副本,松耦合则大大增强了整个系统的容错性。相比传统单点架构,可以很好的实现数据双活甚至多活的架构,满足“两地三中心”“三地五中心”的合规监管安全要求。

云数据库应用场景

在新架构驱动下,云数据库目前在多个场景下已经开始实现落地应用。

传统交易服务

在传统中心化交易型业务中,高性能、高吞吐量的数据存储与处理能力,ACID以及安全都是非常重要的特性。例如,在一个典型的银行业务中,为了满足高峰时期的在线交易量,交易型数据库需要在亿级记录条数的数据库中每秒处理上千比交易。同时,为了满足生产系统的健壮性与可靠性,传统交易服务对于底层数据存储的安全性、高可用性、两地三中心部署能力都有着非常明确的要求。

因此云数据库既需要将传统交易型业务逐渐转移至云平台,同时也需要在满足安全性和合规监管方面,为用户提供更好的支持。

历史数据服务

近年来,随着IT技术与大数据的不断发展,越来越多的企业将数据作为自身宝贵的资产进行长期保留。这使得一些传统应用程序的历史数据包袱越来越重,最终数据库不堪重负导致应用整体性能低下。另一方面,随着大数据需求的不断增加,曾经已经归档的数据需要重新在线以满足在线化、实时化使用、查询和分析等等要求,这就要求将原有庞大的离线数据进行“在线化”。这些需求使得历史数据管理成为必须。

对于历史数据服务来说,由于对外提供应用程序的直接访问,其健壮性、可靠性、可配置一致性策略、性能与并发能力都是极为值得关注的。同时,相对传统交易服务来说,强一致和ACID反倒并不是最关注的点。鉴于一些企业直接将部分报表和自助查询运行在历史服务平台上,HTAP的能力也是值得关注的特性。

云数据库在扩展性和性能上通过分布式的架构满足了这些需求,将历史数据很好的管理起来。

实时在线服务

当前大部分企业的生产业务系统与后台的数据加工、分析与查询系统都是通过T+1的方式进行数据ETL。而最近随着流处理技术的兴起,越来越多的企业开始基于流处理技术构建T+0的数据总线,以实现不同业务流程之间实时数据对接。譬如说,用户资产视图就可以利用流处理技术,在提供用户全资产视图查询的优秀用户体验的同时,大幅度减轻其对后台生产系统造成的查询压力。

对于实时在线服务来说,数据库的层面最为关注性能、吞吐量、可靠性、与可用性。而对于强一致、ACID、与HTAP来说并不构成其最重要的特性。

在线业务的数据多样化和性能都需要云架构的数据库提供更灵活高效的支持。

影像存储服务

很多行业在业务运营中会产生大量纸质凭证,在信息化处理和监管要求下,这些纸质的凭证都需要扫描成影像文件并长期保存。随着互联网技术以及集中作业中心等理念的深入推广,大量行业普遍需要建设统一的影像管理平台。

对于典型的影像平台来说,其存储的数据总体量极大,使用传统存储的单位成本很高,需要进行生命周期管理时对运维又非常复杂。因此,对于逐年递增的海量影像数据来说,大部分企业都存在查询难、管理难、扩容难的几大痛点。

【1500岁“国保”遭非法拓印,南朝石刻将启动全面考古调查】

现代快报讯(记者 胡玉梅)10 月 6 日,一段丹阳三城巷的全国重点文物保护单位南朝石刻遭非法盗拓的视频在网上引发关注。视频中,一群年轻人,在梁武帝萧衍修陵石刻和梁简文帝萧纲庄陵石刻忙碌着,有的在石刻上铺拓纸,有的忙着拓印 ……

未经审批就私自拓印,这是违法行为。同时,南朝石刻究竟该如何保护?也引发了文物爱好者们的讨论。

现代快报记者了解到,这群拓印者目前已经被劝离。同时,为了保护南朝石刻,国庆节后,江苏省考古研究所将对丹阳的南朝石刻做全面系统的考古调查。

丹阳三处 " 国保 " 石刻遭盗拓

事情发生在 10 月 6 日中午。

文物爱好者 " 若耶溪 " 和朋友一起寻访丹阳位于三城巷的南朝石刻,他看到一群年轻人,正在萧顺之、萧衍、萧纲三处陵墓石刻前忙活,询问他们在干什么,也无人理。于是," 若耶溪 " 随手拍下了小视频,并发在 " 金陵文物古迹群 " 里问:这群人在干什么?

" 若耶溪 " 在得知这些年轻人没办手续,非法拓印后,立刻向丹阳文物部门举报。

中午 12 点多,丹阳市文体广电和旅游局文物科科长张益接到了举报电话,于是,他随即通知了南朝石刻的文保员陶师傅,和陶师傅同时赶往案发地。遗憾的是,张益路上车子爆胎了,所幸陶师傅及时赶到,对拓印者进行了制止。

陶师傅经过询问了解到,这群年轻人自称是上海一高校的大学生,具体什么学校的,他们不肯说。于是,陶师傅记录了车牌照等相关信息后劝离了拓印者。

已经报警,如何处罚看情况

对于只是劝离,文物爱好者们表示,没有办任何审批手续就拓印全国重点文保单位,这是违法行为,应该处罚。

现代快报记者从江苏省文物局了解到,文物拓印需要专门的技术,操作不当会对石刻造成污损和损坏,因此涉及文物的拓印需经文物部门许可,并由专业人士操作。我国《文物复制拓印管理办法》第八条规定:复制、拓印文物,应当依法履行审批手续。依据相关法律,未经许可私拓违法,可以处 2 万元以下罚款,如果对文物造成损坏,可以追究刑事责任。目前,丹阳文物部门已经向警方报案,等待进一步调查处理。

这群拓印者的行为,有没有对国保石刻造成损伤?江苏省文物局有关人员表示,这需要进一步调查鉴定。

南朝石刻保护有待升级

南朝石刻镇守在南朝帝王陵墓前已经 1500 余年,它们和帝陵、神道融为一体,不仅艺术价值高,文化价值、历史价值都非常高。南朝石刻分散在南京、句容、丹阳三地,其中南京 21 处,集中在栖霞和江宁区,句容 1 处;丹阳 11 处,石刻的造型生动,气势雄伟,是中国古代石刻艺术的珍品。

但当下国保石刻的保护不尽如人意。

不仅是丹阳的国保石刻遭非法拓印,2014 年,南京 " 国保 " 萧景、萧憺陵墓石刻也遭非法拓印。警方在调查后,对盗拓者作出拘留 7 日罚款 500 元的处罚。

文保志愿者方青松说,非法盗拓对文物的伤害很大,由于大量墨汁流淌并渗入石刻内部,导致石刻图案无法辨识,于是,拥有 1500 岁高龄的南朝石刻,被人留下了洗不掉的黑色墨迹。为了尽量去除污迹,文物部门委托宜兴金陵文物研究所对萧景、萧憺陵墓石刻墨迹污损进行了清洗,前后共花费 3.5 万元,尽管墨迹污染基本清洗干净,但碑文阴刻字体已经受到墨汁侵蚀 ……

该如何保护?

江苏省考古研究所将进行系统性调查

丹阳南朝石刻遭非法拓印后,国保石刻该如何保护?引起了文物爱好者们的讨论。有文物爱好者建议,丹阳的南朝石刻应该像南京的南朝石刻一样,加玻璃罩或者建亭子保护起来,这样不仅可以防酸雨侵蚀,还可以防止遭非法拓印。

对此,张益解释说,10 多年前,丹阳市曾经邀请全国各地权威文保专家,就丹阳的南朝石刻保护问题,进行了讨论。当时,也有专家建议给南朝石刻加玻璃罩或者建亭子,但也有专家提出反对意见,认为加了亭子或者罩子之后,会破坏周边环境,加速风化等。" 由于专家们的意见不统一,最后,不了了之。"

张益告诉现代快报记者,为了监护南朝石刻,他们在石刻周边安装了监控摄像头,24 小时实时监控,文保员通过手机 APP 随时监控。

除了监控摄像头外,有没有更好的手段?张益介绍说,为了对南朝石刻更好地保护,他们委托江苏省考古研究所对南朝石刻进行全面系统地进行调查、勘探,之后,根据调查情况,形成保护方案,上报国家文物局。

对于这一说法,江苏省考古研究所所长林留根给予证实,他说,南朝石刻的保护问题一直是两难境地,而事实上,南朝石刻意义重大,它们的基础考究,而且是研究汉代以后、唐代之前陵寝制度的重要依据。" 需要系统地规划,科学地保护起来。"

图1 在梁简文帝萧纲庄陵石刻盗拓 图片来自古迹爱好者东东
图2 当地文保员复述情况 图片来自古迹爱好者东东

【把儿子的名字P成“韦我独尊”还炫耀,奶爸被行政拘留5天……】近日,广西柳州市柳江区拉堡镇的男子韦某,通过软件修图将户口本上儿子的姓名改成了“韦我独尊”并发到网上,引发众人关注。结果……玩笑开大了,韦某因自己的无知,被警方行政拘留5天。正方律师:发布虚假内容并传播,扰乱公共秩序。反方律师:不具备一定社会危害性,可批评教育。你怎么看?https://t.cn/AiRLXLJU


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 诚然,这是一个工作号,但是时常发起东西来比自己的私人号都起劲~我们拍了把自己感动到一塌糊涂的创作,我们遇到可爱到不行的客人,(或者什么糟心的事情,会第一时间分享
  • ”小道童刚要反驳,道爷又说:“对我们来说,大众也是来度我们的神仙。对于大众来说,我们就是他们的神仙。
  • M:玉玉,你觉得你和哥哥谁最聪明?于是问了她如下问题:“你们班谁最可爱?
  • 三月里的桂花开,就像你的笑脸绽开,感受着你的气息感受着你的柔情!《心理学家:当你想念一个人的时候,对方也会有感觉》心理学家:当你想念一个人的时候,对方也会有感觉
  • 详见:#贵金属[超话]##财经[超话]#2021.11.10号黄金操作建议:昨日黄金开盘于1824.06的位置上后亚盘以及欧盘行情围绕1727到1719小幅区间
  • 在为百万商家提供全面的渠道供应与服务的同时,巨食阵在好食期的基础上进一步提升食品快消品行业流通效率,为我国食品快消品行业做出重要贡献。巨食阵隶属于阿里巴巴集团
  • #张楠zz[超话]#[鲜花]#三十天安利张楠# [心]Day 30:第陆拾肆日诉情 给最爱的楠宝: [菊花]没想到已经第六十四天了,我从小就是一个现实主义者
  • 普洱茶的泡法,主要从以下5个方面把握:一、普洱茶冲泡器具1、紫砂壶(好):由于普洱茶适宜用高温来唤醒茶叶及浸出茶容物,而紫砂壶内部有气孔,所以具有良好的透气性好
  • !然后就是我最难过的了,我这次的位置特别好,属于靠前的那种,看舞台一清二楚的那种……就是可以看到声优表情的那种,结果我的推……白井老师,怎么就你没来啊!
  • #江西日志# #江西是个好地方——天下英雄城#【冈上镇开展家训牌匾送上门 优良家风代代传】为探索基层关工委加强青少年思想品德教育的新路径,弘扬中华民族传统家庭美
  • 暖黄的灯光晕染着看着就很可爱o(*////▽////*)q(但是由于我从家里带来两个刚吃完 所以没有买 还好我没有买的念头 这是后话了 一会揭晓[doge])然
  • 对于京东平台来讲,并没有法律规定对具体商家的行为承担连带法律责任,但是应当负有审核审查入驻商家的资质和相关条件能力的义务,如果是因商家正常经营问题而出现破产等情
  • 期间被很多人嫌弃过,但是我的家我喜欢就好[挤眼]还有很多东西没有置办齐,那就在以后的日子里,慢慢把房子布置成理想中的家吧[心]#日常[超话]##生活的模样##家
  • 以知文义为实证之狂徒,定规说空行有,以身谤法,将来必堕三恶道,为愚夫愚妇念佛往生西方者所怜悯,而莫能救济也。凡一切亲故并有缘之人,亦当以此教之。
  • 有想扩列的妈咪可以留QQ号我来加您#永劫无间[超话]# 昨日带着亲友和打劫里的小伙伴第一次线下面基,大家纷纷感慨我是反差最大的[裂开]游戏里虽然又菜又肝,但是仿
  • 咸阳高新区商业综合体建设#咸阳 一路向阳# 根据咸阳市城市总体规划,高新区域内中华路北侧与咸平路交叉口东北角区域规划35亩商业综合体,建筑面积不小千10万平方米
  • Respect!就你跟我说这种人会假赛?
  • 《苍穹之法芙娜》10~12集 最终话剧透 所有的旅程,终点都在家乡。而新的路途又将从家开始。 Beyond是对所有人的祝福。 ﹍﹎﹍﹍﹍﹎﹍﹍﹎﹍﹍﹎﹍ 以下流
  • CUcCI 品牌时装一向以高档、豪华、性感而闻名于世,以“身份与财富之象征”品牌形象成为富有上流社会的消费宠儿。 CUcCI 品牌时装一向以高档、豪华、性感而
  • 不过今天市场上新能源反应比较平淡,仅仅是小涨,并且累计涨幅也比较大了,短期回调风险大于上涨机会,稳健的投资者等估值消化一些后,再考虑慢慢进入。4、新能源也是冲高