【金融业分布式数据库选型及HTAP场景实践】作为数据基础设施的重要组成部分,数据库在其中扮演着重要的角色。近些年来,数据库整体发展也呈现出较之以往很大的不同。其一、是开源数据库受到更为广泛的关注,从多家机构的最新报告来看,开源数据库无论从产品数量还是受关注程度都超过商业数据库。开源这一新模式,正成为未来数据库发展的主流。其二、是云计算成为未来主要资源供给方式得到普遍共识。已经有越来越多的企业选择在云上构建基础环境,包括云上数据库的发展速度也远高于非云环境。据乐观估计,在未来5~10年云数据库将占据整体数据库市场的七成以上。此外,对迁移到公有云、使用多云环境等问题,也普遍被企业所接受。其三、是数据融合趋势,针对数据多场景应用,使用融合技术简化访问,提升效率。作为数据使用高地,金融行业一方面对数据库有着极高的要求,一方面又面临很多来自数据新的挑战,诸如海量规模、高并发、数据安全、实时分析等诉求亟待解决。分布式数据库的出现,迎合这一发展趋势,对于金融企业解决上述问题带来新的解决思路。本文从金融用户角度入手,对如何选择分布式数据库及选型后的最优实践进行阐述。

1. 金融业数据库选型背景
随着企业数字化转型深入,对于数据使用场景也呈现多元化趋势,正有越来越多数据被企业利用起来。金融行业作为数据库应用“高地”,这一趋势表现更为明显。同时我们也看到,近些年来数据库领域也发展迅速,有分布式数据库、多模数据库、云数据库为代表的产品不断涌现。这些新兴数据库在特定场景有很好的使用前景。基于上面两种趋势,金融行业很多企业都在面临选择数据库的问题。
1).选型技术层面要素分析
从技术角度来看,在数据库选型中有哪些要素需要考虑呢?下面以近期比较关注的分布式数据库的选型为例,说明下重点考量的技术要素。
分布式事务
分布式架构,自然会带来分布式事务的问题。由于需要跨节点的网络交互,因此较单机事务会有很多损耗。随之带来的是事务处理时间较长、事务期间的锁持有时间也会增加,数据库的并发性和扩展性也会受到影响。针对单笔事务来说,分布式事务执行效率是肯定会有降低的,分布式带来的更多是整体处理能力的提升。
性能
由于分布式数据库通常使用的二阶段提交和各节点之间的网络交互会有性能损耗,分布式数据库优势不是单个简单SQL的性能,而是大数据量的SQL查询,每个节点会将过滤之后的数据集进行返回,会提升性能,并且分布式数据库的优势是并发,大量的SQL并发也会比单机数据库强大,应用需要做分布式架构的适配,将串行执行机制尽量都改造成并发处理。对于含有需要节点间数据流动的SQL语句的事务,OLTP类的分布式数据库处理效率一般较差,事务处理时间会较长,事务期间的锁持有时间也会增加,数据库的并发性和扩展性也会受到影响。建议尽量改造存在跨节点数据流动的SQL语句(主要是多表关联)的事务。
数据备份
分布式数据库的一致性保证通过内部时钟机制所提供的全局时间戳,所有节点都会遵循该机制,所以备份恢复的增量也是基于全局时间戳,但是分布式数据库的备份解决方案最重要的标志为是否支持物理级的备份,物理级的备份会比逻辑的备份性能吞吐大很多,还有就是是否支持一些分布式备份方案,比如S3协议接口,是否支持压缩等功能。分布式数据库基本都具备备份和恢复方案,通常从备节点进行连续备份(全量+日志),恢复的时候指定节点进行恢复到指定时间点,整个过程可配置自动任务、自动执行。
高可用
分布式数据库大多都是基于多数派协议,同城双中心不适合多数派的要求,同城数据级多活建议采用三中心部署。如果同城主备可以采用集群级的异步复制,异地建议采用集群级的binlog异步复制,建议实例的主备节点设置在同城两个双活数据中心,仲裁节点三机房部署;异地灾备单独启实例与本地实例进行数据库间同步,也可以将本地备份文件T+1恢复到异地灾备。
数据一致性
分布式数据库大多都是通过获取全局时钟时间戳,采用二阶段提交,可以实现一致性的保证,分库分表架构对于事务的一致性,需要应用层考虑,比如通过合理的分区键设计来规避。部分分布式数据库对于跨节点事务目前还是实现的最终一致,对于全局一致性读,一般通过引入类似全局时间戳的组件统一管理全局事务,在数据库选型时可以重点关注厂商对这一块的实现。如果目前暂时无法提供全局一致性读的分布式数据库,对于要依赖分布式事务“中间状态”的业务,优先进行业务改造进行规避,其次通过合理的数据分片设计让其在单节点内完成。
数据分析
分布式数据库,多采用存算分离架构。针对数据分析场景,需要对数据从下层存储节点上移到计算节点,这对分布式数据库提出了更高的要求。一方面可通过算子下推等技术,减少需传输到计算节点的数量;一方面针对汇聚后的结果需要通过流式处理等方式,规避诸如OOM的问题;此外也可采用如MPP等并行处理技术,加速数据分析过程。
2).选型过程问题痛点分析
在选型过程中,会遇到来自以下几方面的痛点。
一是由于分布式数据库整体架构还比较新,也是近十年来逐步发展完善的。针对新型架构的诸多特点,包括厂商和用户还都在不断摸索积累之中,还需要有个长期实践的过程。此外,新架构也需要有个逐步成熟完善的过程。
二是大量产品来自国内数据库厂商,其发展周期相对较短,还需要在产品成熟度、稳定性、周边生态等方面不断完善。对于用户来说,一方面需面临产品多、技术栈多的现状;另一方面还需面对成熟度不足等问题,存在较多痛点。
三是近些年金融行业发展迅速,各种新的业态产品不断涌现,这些对作为底层数据基础的数据库也提出了更高的要求。
四是随着内外部环境的变化,自主可控等问题受到更多的关注。金融行业首当其冲,针对上述问题也需要引起足够的重视。在数据库选型问题上,也需要考虑这一因素。这无疑对用户选择带来一定困难。

2. 数据库选型技术架构
1).分布式路线分析
针对分布式数据库的发展路线,大体可分为两种:
分布式中间件
这种架构是从中间件路线演进而来。其采用存储与计算分离架构,底层采用标准单机数据库,副本间基于数据库主从复制机制。上层承担计算,并可将部分计算下推到存储节点执行。这种架构在分布式事务、全局MVCC等方面,往往存在一定难点,各厂商也有各自解决之道。
原生分布式
这种架构正是受到Google论文影响演进而来。其采用存储与计算分离架构,底层采用单机库(不一定是关系型),副本间采用分布式一致性协议完成复制,支持多数派提交。上层承担计算,并可将部分计算下推到存储节点执行。
2).重点需求满足情况
针对上述遇到的痛点,两类产品实现逻辑也所有不同。

3). 路线场景分析
从数据使用场景来讲,可大致按下面进行划分:

针对不同的场景,不同分布式数据库路线产品各有所长。
针对事务类场景下,强调高并发联机交易、对分析能力要求不高的场景比较适合分布式中间件路线产品。
针对事务类及事务/分析混合类场景,既要满足常规联机交易场景的同时,还需满足分析类的一部分能力,这种情况比较适合原生分布式产品。基于原生分布式的 HTAP 数据库,用一个数据平台应对规模化交易和实时分析,提升业务决策的时效性,降低数据技术栈的复杂性,越来越多的混合负载需求推动了 HTAP 在金融场景的落地。
3. 金融业 HTAP 应用场景实践
1). 金融场景下 HTAP 的分析
在金融企业数字化转型的过程中,各类业务对“海量、实时、在线”的数据需求变得愈发迫切。在金融企业运营场景中,实时推荐、精准营销是企业提升竞争力的一大因素。在企业风险控制场景中,实时风控、反欺诈等业务开展可以更早地识别和阻断风险可以让企业减少损失,HTAP正是基于上述背景诞生出的需求,为各类实时数据处理需求提供了解决方案。
2).某金融用户 HTAP 的架构设计和实践
随着金融市场同业业务的蓬勃发展,业务部门对于交易数据的实时统计分析和展现有了急切的需求。基于大数据技术栈的 T+1 报表模式,已无法满足业务部门通过实时分析交易发生情况来防范风险以及提供决策的需求,迫切的需要找到一种能让数据实时变现的解决方案。结合金融行业特点,在技术选型过程中,重点考察待选产品如下能力:包括承载业务复杂查询处理、海量数据容量存储、应用透明无侵入、开发协议可适配及混合负载下的表现等。经过测试,选择 TiDB 作为基础数据库平台。通过一段时间上线使用,满足业务场景,基于其 HTAP 的特性,打造金融市场实时数据平台,目前已投产了灵活报表和交易对手分析等功能。整个处理流程包括:
Flink 消费交易系统产生的实时增量数据,对部分事实表进行拉宽处理并写入TiDB
维表和其他明细表直接写入 TiDB
BI 工具直接连接 TiDB,提供秒级的实时计算和分析能力

这一案例中,构建千万及以上数据规模、超过五张表的复杂关联实时查询能力,让业务人员在极短的时间内(大部分报表执行时间为几十到几百毫秒、个别报表秒级别)获得实时交易的详情。
3).未来 HTAP 的场景发展
实时数据处理技术还以某些具体的应用场景为主,从现状来看以事件驱动类、流式管道数据计算类为代表的场景,已经开始使用 HTAP 场景的。未来随着 HTAP 计算能力进一步的提升,实时全量数据的计算将带来更多场景。

4. 面向未来的架构趋势
1).云原生
从未来的发展趋势来看,云方向是一个大的趋势。

从上图可见,云数据库的发展经历了几个阶段,从云托管、云服务、云原生之路。
云托管,是最接近传统数据库系统的部署模式。本质是将原本部署于IDC机房内物理服务器上的传统数据库软件部署在了云主机上。这种模式下,云平台提供诸如高可用、异地灾备、备份恢复、数据安全、SQL审计、性能优化和状态监测等企业级数据库管理能力,用户可减少运维投入即可享受之前同等的服务水平。
云服务,之前的托管架构中,受限于传统数据库架构的局限,未能完全发挥云计算的优势。在诸如弹性扩展、高性能、高可用等方面,均有不足。到了云服务时代,充分利用云基础设施的底层能力,提供定制化的数据库产品。
云原生,与之前的云服务架构不同,这一阶段产品将更为充分地利用云基础设施的能力,通过多层资源解耦,可享受云带来的弹性扩展、按需供给、超大规模能力。真正做到了数据库与云的深度结合。从长期来看,金融机构逐渐把业务和技术向云原生演进,实现传统应用迁移上云和云原生改造是重要的方向。在这个过程中需要考虑分布式数据库对 K8s、微服务应用的支持,提供高效、弹性调度能力,同时需要兼顾开发运维和敏捷度。
2).多云方向
云作为未来主流的资源供给方式,多云必然是企业不得不考虑的问题。多云通常指金融机构同时采用多种不同的云环境组合来满足业务需求的多样性和金融业监管的要求。如何围绕数据打造面向未来的多云 IT 架构,满足在多云之间提供数据服务能力,摆脱单一供应商的弊端,是必须考虑的问题。多云架构对分布式数据库的考察重点聚焦于跨地域、跨公有私有云、跨本地 IDC 和 K8S 的部署、服务提供与统一运维能力等。

#表老师小课堂#
弯道超车的硬核护肤技术
可丽金
健肤系列

要我押宝下一个十年的核心抗衰技术,生物多糖类和胶原蛋白类绝对是主角,前者已经崭露头角,像β-葡聚糖类、玻尿酸类、玻色因&鼠李糖以及他的兄弟姐妹们都已经广泛铺开,赢得了大家的认知,而后者胶原蛋白类则依旧处于大部分人傻傻分不清楚的状态里。

而其实这两者能成为次世代护肤主流,原因就在于这才是真正的技术精进。为什么总说要补充胶原蛋白、玻尿酸,实际上是因为皮肤内部的充盈基质,是这两个相互缠绕所形成的蛋白聚糖,生物糖与胶原蛋白之间相互交织形成了特定的蛋白聚糖种类,来提升皮肤的充盈度,你可以理解为填充在皮肤里的是一些鱼,胶原蛋白是鱼骨,生物糖是鱼皮,他们共生出来的结构更加稳固,从而填充撑起皮肤。

最早的时候大家的关注点都是胶原蛋白,而后来慢慢发现皮肤中的玻尿酸含量关系着皮肤的紧致程度,以及跟松垮程度,但是光有玻尿酸没有胶原蛋白,依旧会导致不同程度的凹陷、干瘪,这也是为什么我提倡VA【刺激胶原蛋白】的产品和玻色因联用【产生糖胺聚糖】,让皮肤的整体观感更加紧致充盈。

皮肤中的蛋白聚糖含量随着时间、炎症等因素降解,同时生成又需要木桶效应,缺一不可。蛋白聚糖的功能很重要,负责皮肤的炎症拮抗、组织再生、同时自我产生相近物质【也就是熟人多合成】等作用,同时还有一些类EGF的作用,帮助角化细胞活跃工作。如果你的肌肤中的蛋白聚糖水平较低,或者说品质很差【AGEs产生】就会有连环效应,像多米诺骨牌一样一个接一个的崩塌,衰老就这么开始了。

以往来说,我们仅仅只能用破皮补充水光玻尿酸+外用涂抹信号肽的方式补全这两种物质,前者已经有很多解决办法,后者则一直处于一个瓶颈阶段,信号肽的方式昂贵且效果差,同时胶原蛋白的很多其他功效也一直都没有发挥出来【修复组织等】,并不是说没有这个意识,而是真的做不出来。

20多年前,国内国外首先在动物中提取胶原蛋白,无奈动物和人源的序列虽然可以保证部分相似,但是结构上相差甚多,人体属于双螺旋结构,而很多动物可能是单或者三螺旋,使用率差很多,同时还可能有病毒蛋白的问题,另外运输和保鲜也是问题,普通化妆品基本不可能用到,要用也是非常严格的在医美产品+冷链运输中才能使用,我拜访过一些国内做动物胶原的大厂,提到保鲜都面露难色。

可丽金的重组胶原蛋白就和这些动物源的胶原蛋白不太一样,之前在一条随聊微博里提到过,通过基因编译的方式,将特结构的蛋白质转录出来,相当于你想得到什么样的结构,就能得到什么样的结构,具体的准确率还要看到研究所的实力,比如可丽金的重组-类人胶原蛋白,就是编辑的人类I型的基因进行复制,达到一种特殊的线性结构,并且与人体胶原蛋白氨基酸序列100%一致,不仅可以修护,同时抗衰性能也得到了验证。

而且转录得到的胶原类成分,比起动物提取来说,溶解性更佳,同时渗透性也更佳,比起大分子胶原在皮肤表面需要生物分解再吸收,可以直接被“吃进去”,相当于空投营养包,省去了繁琐效率低下的侧面补充,让这种胶原成分得以踏入微损伤修护和抗衰充盈领域,对于屏障有破损,不稳定的肌肤来说多了一种抗衰和修护的选择。

所以应运而生了可丽金健肤系列的产品,健肤喷雾、贴片的健肤面膜都是极为优秀的产品。喷雾作为舒缓+修护的产品,不仅添加当家的重组-类人胶原蛋白,同时还有促进皮肤组织修护的菱锌矿提取物,离子指导成纤维细胞分化,同时还添加了β-葡聚糖负责了舒缓和协同促进胶原蛋白修护的作用,属于救急和保湿两相宜的喷雾。

健肤修护面膜更是我对敏感肌、光电术后的修护推荐之选,充足含量的重组-类人胶原蛋白,加上生物纤维膜布的亲肤柔软,可谓一夜回春也不夸张,不过这种面膜没必要大材小用,在你不脆弱想保湿的时候没必要用这种面膜,因为它并不是那种保湿剂非常丰富的补水面膜。如果想用那种护肤类型的补水面膜,他们家自己也出了一款专攻保湿的健肤保湿面膜,不过胶原修护效果就没有那么针对性,毕竟对于特殊时期的肌肤,越精简的配方越安全。

总的来说,如果你是一个对于护肤有长久的坚持,并且有医美规划和尝试新东西的心态,同时皮肤比较脆弱的用户,那么可丽金值得一试。在护肤领域中,可丽金背靠巨子生物,这种国内重组胶原蛋白的龙头企业,有着无与伦比的技术优势。核心技术的掌握程度决定其靠谱程度,想体验胶原蛋白的修护能力和抗衰性能还是要优选掌握基础研究实力的头部品牌。

#江南百景图[超话]#

天赋人物攻略分析No.3 | 外出探险哪家强❓

已经困惑到知识盲区,甚至怀疑已有的91/132张人物卡牌里至今没有抽到真正的【驿站&桃花村】探险大佬,求各知府分享推荐QAQ...[苦涩][苦涩]希望可以继续蹲到ZUI优解,少走弯路!
*未推荐人物是本龍还没抽到~欢迎留言交流安利!

说下我对【外出探险】人物的困惑:
1️⃣ 某些位200-400的体力值是真实的吗?[疑问]QAQ还是因为没满级?从体力值看甚至让我怀疑【徐霞客】、【戚继光】等一披天级人物才是隐藏的探险大佬。
2️⃣ 外出探险除了各城市驿站+应天府同乡会馆桃花村活动之外,还有别的用途吗?探险人物的玩法难道是一块砖,哪城需要哪里搬?[费解](基于徽州、扬州和鸡鸣山还没建起来,本知府很迷茫)

整理了手上拥有的7个【外出探险】天赋人物,个人常用的是聂隐娘、阿朵、郑和,其他人物新抽到等级都很小。怎么说呢...做驿站探险时总觉得没做几个任务体力就用完惹,因此实际体验感受不大。毕竟实际操作时,就选体力值最高的人物完事...[二哈][二哈]
⭕️ 其他说明:探险必备天级珍宝【风火轮】,侯级平替珍宝为【焦尾琴】。花晚照的属性实在有些数值偏科,建议可配哮天犬。

下一期盘一盘探险人物中的开荒大佬。需要更多实用基础攻略和城市生产建筑布局的指路▶️【我的首页搜索“百景图”】~友好帮助新手不懵圈~
#江南百景图#


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 农资价格上涨明显,农用柴油价格大幅上涨……2022年一季度,黑龙江省克服重重阻碍,农业经济开局良好,13个市(地)中,有11个一产增加值增速达到或超过全国增速。
  • 我自私地希望它就躺在梦境里,朗月曾入我怀,清风吻过我脸,这就够了,我们都做赶路人,追风赶月莫停留。高明的演员,先把观众留在原地,当你足够耀眼,自会有人翻看你来时
  • 虽然昨天接走阳性消杀了,但今天接走密接没消杀,而且这栋楼依然是按阳性楼栋去管理的,足不出户,又有什么不对呢。其实我也是很委屈,感觉我好像成为一个刁民,但是其实我
  • 精彩随心,自在一夏~每一件都助力你占据潮趴C位!#初夏的燥热需要纯氧的Cool感,冰感的蓝调付能清爽体验~☁️透气!
  • 冥冥中,我们最大的本事是理解我们的孤独,沉默就已经足够了,不孤独便没有沉默、聆听和沉思,孤独将我们个体的存在,抛入所有到场事物本质而确凿的近处。大地是一张白纸,
  • 5.1 周日|循环 五.一篇‍我们将一些本地厂牌的主理人们联合起来,在这个五一国际劳动节呼唤俱乐部场景的所有参与者们齐聚一堂,用音乐为每一位在自我岗位上默默耕耘
  • 看到采访你说你快忘记大航海时候的场景了,呜呜我也真的好想你啊救咩啊... 我们约定:到了60岁,我还能抛开你枯萎腐朽的躯壳,为自己年轻时的热爱再心动一次。 除
  • 老大,今天牙龈有没有消一点啊我又来吊水了,吊水是真的消的快希望我们都快点好起来,我想看到活泼的你,等你好了一定要发微博告诉我们一下哦@摩登兄弟刘宇宁 ୧⍤⃝刘宇
  • 「Jinny(吴若希)经常都会跟我说,红了不要变,否则一巴掴下去,不把女儿嫁给我,虽然她只是讲笑,但长期有人提醒自己,要做回自己,不要忘记当初为什么会想做演员这
  • 从专业体重管理教练的角度看,减肥一开始没有设定目标,90%以上的人都不会减肥成功。减肥前的首要任务就是设定目标,大部分减肥的人都是少吃点,多运动。
  • 如花以为不能和心爱之人在世间生存,那么就去黄泉之下等他,但是她其实被眼前的感觉蒙蔽了头脑,作为有脸面的人家的十二少,他又怎么会一起为爱赴死呢?[玫瑰][玫瑰][
  •   俄罗斯国家航天公司说,俄方每年都要多次调整国际空间站轨道高度,以免空间站与太空垃圾相撞。  俄罗斯卫星通讯社援引俄罗斯国家航天公司的声明报道,对接在空间站的
  • 我妈今天在田埂上还挖了一袋子野菜,我之前一直想跟我妈学这项实用技能,在伦敦的时候,Foraging的课大概是40-70磅两小时,就教你认认啥能吃…. 以下分别为
  • 其中2014年,99%的消费者不愿意购买电动车;2017年麦肯锡调查显示,70%的人不愿意购买电动车(续航和充电);2019年,麦肯锡调查显示,45%的人不愿意
  • 另外,一些烟民可能认为既然抽烟很久了,已经损伤肺功能了,不如不戒烟了。研究人员提醒,如果能在没患病前戒烟,10~15年后,戒烟者的死亡率将与不吸烟者没太大差别。
  • 相对于本人,他更希望观众记住并喜欢他的作品和角色,嗯,所以带着这样互相理解的心情,去支持他的作品,喜欢他的角色吧,一定会收获更多的快乐[虎爪比心]今天心满意足咯
  • #摩登兄弟[超话]##刘宇宁且试天下主题曲无双# 刘宇宁为了梦想坚持到底逐梦的路程总是那么遥远但你身后始终有我们陪伴见证着你的成长见证着你的梦想我会 一直在一
  • 前天晚上回家下雨没带伞我妈:你哥说来车你到了就说我:快到了,我没带伞五分钟后我妈:你哥让你下车告诉他我:我到了,在走回来(淋雨中)五分钟后我妈:你哥说现在出来我
  • 这套布艺童话绘本是她专为2-6岁儿童创作的精心之作,欧洲风情和日式审美紧密结合,讲述9个精彩的童话故事。9个可爱的童话故事,画面全部由精美而复杂的布画拼贴而成,
  • 17、美联储公布的最新褐皮书显示,美国经济从2月中旬至4月初以温和速度扩张,高通胀和工人短缺对企业的影响几乎没有得到缓解。2、国常会4月20日指出,要在严监管、