AWS(Amazon Web Service) 开始于 2006 年 3 月 14 日 Amazon S3 的发布,距今已有十年时间。回首过去十年,我们在构建和运营 AWS 云计算服务中积累了大量的经验教训——这些服务不仅需要确保安全性、可用性和可扩展性,同时还要以尽可能低廉的成本提供可预测的性能。考虑到 AWS 是世界范围内构建和运营此类服务的开拓者,这些经验教训对我们的业务来说至关重要。正如我们多次重申的,“经验不存在压缩算法”。考虑到 AWS拥有每月超过一百万的活跃用户,而这些用户也许会为数以亿计的自家客户提供服务。因此,积累上述经验教训的机会在 AWS 比比皆是, 在这些经验教训中,我挑选了一些分享给大家,希望对各位也能有所帮助。

1.构建可持续演进的系统

从做 AWS 的第一天开始,我们就清楚地认识到,我们在做的这套软件不是一劳永逸的。现在可以用的软件,一年之后很可能将不再适用。我们的预期是,随着(用户)数量级的增加一或两次,我们都需要重新检视和适当修改我们已有的架构,以便解决扩展性的问题。

但是我们无法采取过去常用的通过检修停机进行系统升级的方式来实现上述目标,因为世界各地诸多业务都依赖着我们平台所提供的7 x 24 小时的可用性。因此,我们需要构建一个在引入新的软件构件时不会引起服务瘫痪的架构。Amazon 杰出的工程师 Marvin Theimer 有一次开玩笑说,Amazon S3 这项服务的持续演进用开飞机来形容最为贴切。我们最开始开的是一架单引擎的赛斯纳,一段时间后升级成一架波音 737,之后又换成了一支波音 747 小队,而现在更像是由空中巨无霸空客 A380 组成的一支大型机队。自始至终,我们一边通过空中加油确保飞机的正常飞行,一边在万米高空上将 AWS 的用户从一架旧飞机挪到另一架新的上面去。同时,AWS 的用户对此毫不知情。

2. 预料到不可预料的情况

故障是注定的;随着时间的流逝,一切终将归于失败:从路由器到硬盘,从操作系统到存储单元损坏的TCP数据包,从瞬时误差到永久失效,无论你用的是最高质量的硬件还是最低成本的组件,这都是理所当然的。

在服务规模变得很大之后,这个问题愈加地凸显:举例来说,当Amazon S3 服务处理万亿级存储交易时,即使误差概率极小的事件也将成为现实。在设计和构建阶段,这些故障场景中的一部分事先会被考虑到,但更多的则是未知数。

因此,我们需要构建的是将故障视为自然发生的系统,即使我们并不知道故障是什么。这个系统应该要做到,即使在“后院已经着火”的情况下依然可以继续运行。重要的是在不需要引起整个系统宕机的情况下就能管理好受影响的局部组件。对此,我们已经发展出一套控制故障发生影响范围的基本技能,以期系统的总体健康状态得以维持。

3. 提供基元而非框架

很快我们开始发现,用户大都喜欢在 AWS 提供的服务上持续构建和演进自己的业务系统。在摆脱了传统 IT 硬件和数据中心的束缚之后,他们开始以一种全新、有趣的、之前从未出现过的使用模式开发自己的系统。也正是因为如此,为了满足用户多样的需求,我们的架构需要保持高度的灵活性。

关于这一点,最重要的机制之一就是,我们提供给用户的是一系列基元和工具,用户可以选择他们喜欢的方式来使用AWS云服务,而不是由我们提供一个大而全的统一的框架。这个机制给我们的用户带来了巨大的成功,甚至 AWS 自身后续的一些服务也用上了这套机制,就像我们的普通用户一样。

同样重要的一点是,我们很难在用户还没开始使用一个服务之前,就准确预知到对用户而言该服务需要优先考虑的问题。这也是为什么所有的新服务最初都会以最小的功能集发布,然后借助用户的反馈,再对该服务进行后续的扩展。

4. 自动化是关键

开发一个需要持续维护的软件服务和开发一个最终交付给客户的软件有着巨大的差异,管理一个像 AWS 这种规模的系统,需要一种完全不同的观念,才能确保满足用户对可用性、性能以及可扩展性的要求。

实现这个目标的一个主要的机制,就是避免容易产生误差的手工操作,尽可能地将管理工作自动化。为此,我们需要构建一套可以控制主要功能的管理 API。在这方面,我们同时也对自己的用户给予帮助。通过将应用分解成一个个独立的模块,每个模块都有自己的管理 API,你可以很方便地定义自动化规则来进行大规模的维护。判断自动化做的是不是到位,可以思考一下你是不是还需要使用SSH登陆到某台服务器进行运维操作?如果答案是 yes,说明你的自动化做得还不够好。

5. API 定义要严谨,因为一旦上线就无法更改

我们在 Amazon 零售项目中已经接受过类似的教训,但对于 AWS 这种以 API 为中心的服务,这个原则变得更加重要。一旦用户开始用我们的 API 开发他们的应用和系统,我们就不可能再对这些 API 进行变更了。因为 API 的任何改动都会影响到用户已有的项目。因此我们充分意识到,在 API 给到用户之前,我们只有一次将 API 做对的机会。

6. 监控你的资源使用情况

当你为一项服务确定计费模式的时候,请务必确保你有一份关于该服务的资源成本和运营的数据。对于边际成本很低的业务尤其如此。作为服务提供 商,AWS 需要对服务成本保持足够的敏感,以便我们能清楚地认识到我们是否承担得起某项服务,同时也能够定位到一些可以通过提高运营效率而进一步降低成本的地方,并借此降低服务价格,最终惠及用户。

举一个例子,早期的时候,我们对于 Amazon S3 服务所用到的资源成本并不是很清晰。我们当时假定,存储和带宽应该是我们首要考虑的收费点;后来运行了一段时间之后,我们才意识到,请求数量跟存储与带宽同 等重要。如果某个用户有大量的小文件要存储,这种情况下,即使是百万量级的请求,都不会占用太多的存储和带宽资源。最终我们做了调整,将请求数量也纳入了计费模型,以便 AWS 在收支上可以保证这项服务的可持续性。

7. 从头开始建立安全机制

保护你的用户,这一点的优先级永远都应该排在第一位,在 AWS 也不例外。不光要从运营的角度,还要从工具和机制的角度保证这一点。对此,我们也将继续保持最高的支持与投入。我们很快就学到的一个经验就是,为了实现安 全的服务,我们需要在服务设计的最初阶段就抱有这种安全意识。安全团队的任务不是在一项服务实现完了之后才开始安全检查,相反地,安全团队的工作应该和开 发团队一道,贯穿于整个项目的生命周期,以确保项目的安全性。总之,涉及到安全的问题,没有任何妥协的余地。

8. 数据加密是头等大事

数据加密,是保证用户数据安全的重要机制。十年前,数据加密相关的工具和服务还不够完善,直到 AWS 刚开始运营的最初几年,我们才逐步积累了很多关于在服务中集成数据加密的最佳实践。

Amazon S3 最初提供的,是服务器端的加密机制。当我们在数据中心移除带有用户数据的磁盘的时候,这些数据就无法被访问到了。但是后续上线的诸如 Amazon CloudHSM 和 Amazon Key 管理服务,均向用户提供了自定义加密密钥的机制,这样一来,AWS 就不需要替用户维护这些加密密钥了。

现在,AWS 所有的新服务,在原型设计阶段就会考虑到对数据加密的支持。比如,在 Amazon Redshift 服务中,每一个数据块都通过一个随机的密钥进行加密,而这些随机密钥则由一个主密钥进行加密存储。用户可以自定义这个主密钥,这样也就保证了只有用户本人才能访问这些机密数据或敏感信息。

数据加密在我们的业务中的优先级一直非常高。我们也会持续改进,让数据加密机制用起来更简单,最终,让用户能更好地保护自己的数据安全。

9. 网络的重要性

AWS的服务支撑了各种各样的负载场景。从高并发处理到视频转码,从高性能并行计算到海量的网络请求。这些不同的负载场景,对网络的要求也各不相同。

关于数据中心的设计和运营,AWS 开发了一套独特的机制,这套机制提供了灵活的网络基础设施,以便满足任何用户的不同负载场景的需求。在这个过程中,我们也认识到,为了让用户达成自身的目 标,我们必须开发自己的网络解决方案。这样也能满足我们自身的一些定制化的需求,比如在保证高安全性的同时,通过网络来隔离用户的能力。

AWS 自主开发的这套软硬件解决方案,也能给用户带来进一步的性能提升。关于这一点,有一个成功的例子,那就是虚拟机之间的网络通信。由于网络通信是一个共享的资源,在使用 AWS 自己定制的解决方案之前,用户时常会遇到网路拥堵的问题。最终,AWS 通过开发支持单个根 IO 虚拟化技术的 NIC,实现了给每个虚拟机虚拟出自己的 NIC 的解决方案。这一改动成倍地降低了网络延迟,同时提升了高达十倍的网络性能。

10. 不设限,保持平台的中立与开放

随着时间的推移,AWS 团队提供了越来越多的服务和功能,这也给我们的用户创造了一个广阔的开发平台。但是 AWS 远不止我们团队开发的这些功能与服务,一些合作伙伴基于 AWS 提供的服务进一步扩大和丰富了整个系统的生态。比如,我们的合作伙伴 Stripe 提供的支付服务得以让 Twilio 在 AWS 上支持电话业务。

很多用户基于 AWS 本身的服务,开发出自己的产品,用于解决特定的垂直领域的问题。比如,飞利浦开发了用于健康数据管理的 Healthsuite 数字平台;Ohpen 则基于 AWS 开发出自己的零售银行平台;Eagle Genomics 开发了自己的计算平台用于基因处理等等,这样的例子不胜枚举。AWS 并不会限制我们的合作伙伴,规定他们什么可以做什么不可以做。“不设限”的原则释放了创新的动力,为意想不到的创新敞开了大门。

对于在接下来的十年里, AWS 的团队会学到哪些经验教训,我们的用户又会创造出什么样的价值,我充满了期待。

永远记得,对 AWS 来说,这仅仅是一个新的开始。

不得了!煤炭行业正发生巨大转变,将形成多元产业结构“新格局”

2月2日,淮南矿业集团公司煤业分公司正式揭牌,标志着淮南矿业集团走出了组织管控模式调整,推进企业整体改制上市的关键一步。

淮南矿业集团试水改制,是国有煤炭企业在新时期转型发展的缩影。自2017年12月19日《关于进一步推进煤炭企业兼并重组转型升级的意见》发布后,煤炭行业兼并重组成果迭出,煤炭产业业态及企业运营和管理模式也正发生巨大的转变。

业态变化形成多产业结构新格局

作为华东地区最大的煤炭企业,淮南矿业集团从2018年开始积极筹划上市。目前,淮南矿业集团已由原来单一的煤炭产业布局,发展为煤炭、电力、清洁能源、物流、技术服务、金融等多产业格局,管理区域也不再局限于淮南本土。

不过,以煤起家的淮南矿业集团,一直以来建立的以煤为主的管控模式制约了其进一步做大做强。此次成立煤业分公司,打造淮南本土煤炭产业板块专业化管理运营平台,做精做优做强煤炭主业,更符合淮南矿业多产业发展的现状,利于企业整体转型发展。

放眼全国煤炭市场,进行多产业布局,构建多链条协同发展已成为煤企普遍的选择。

煤炭企业纷纷将自己的角色定位为现代化大型综合性能源集团:

由国电集团和神华集团合并重组而成的国家能源集团,已拥有煤炭、火电、新能源、水电、运输、化工、科技环保、金融等8个产业板块;

中煤集团布局煤炭全产业链,立志做具有国际竞争力的清洁能源供应商和能源综合服务商;陕煤集团多年来通过投资新建、收购兼并、资产划转、内部重组等多种途径,形成了“煤炭开采、煤化工”两大主业和“燃煤发电、钢铁冶炼、机械制造、建筑施工、铁路投资、科技、金融、现代服务”等相关多元互补、协调发展的产业格局;

兖矿集团以煤炭、化工、装备制造、金融投资为主导产业,发展成为我国唯一一家拥有境内外四地上市平台的煤炭企业……

“经过前期的发展,我国多数煤炭企业己形成多产业结构、多区域分布和多产业链条融合的新格局。”煤炭领域战略管理专家牛克洪在接受采访时表示,“十三五”时期,我国煤炭市场已发生巨大的变化。

他总结道:
一是煤炭市场发展的基本条件出现差异。“十一五”和“十二五”期间煤炭市场总体处于供应趋紧状态,当今市场则处于供应相对宽松状态;
二是发展战略方针有差异。此前是做大布局、扩大产能,当今则是优化布局和去过剩落后产能;
三是产业结构形态有差异。此前是以煤基产业链(拉长)为主要形态,当今是产业链“长”与“园”(产业园)结合、结构优化、融合、跨界产业形态;
四是发展业态要求有差异。此前是一煤独大、追求多产量和大规模,当今是产业多元化、产品清洁化和发展绿色化;
五是发展动能有差异。此前主要依靠多投资、多用人,当今靠科技创新、管理创新和改革驱动发展;六是企业发展模式有差异。此前追求规模扩张、以大为主和经营粗放式,当今是内涵挖潜、提质增效、经营集约化和做优做强做大。

“‘十三五’时期煤炭企业要从过去的抢占煤炭资源、募资上项目、兼并收购和一味求大扩张的发展模式,转向三种发展新模式:转向煤电、煤油、煤气多元化及传统能源与新能源并行发展的综合能源企业模式;转向清洁化、低碳化、高值化为特性和竞争力极强的绿色高端能源企业模式;转向实施跨国发展、跨产业融合发展,有的甚至会完全蜕变为非煤企业、或轻资产运营的跨界发展模式。”牛克洪表示。

转型升级协同融合是重要命题

在“黄金十年”发展期,许多煤炭企业盲目扩张,陷入产业多、摊子大的困局,亏损严重。因此,在构建多元产业结构的同时,如何做好优化升级、协同融合,是煤炭企业必须要思考的问题。

按照《煤炭工业发展“十三五”规划》要求,全国煤炭开发总体布局是压缩东部、限制中部和东北、优化西部。通过煤炭化解过剩产能、等量置换等工作的开展,当前我国煤炭优质产能持续向晋陕蒙新地区集中。

牛克洪认为:煤炭企业进行产业优化,首先应顺应大势,按照国家煤炭开发战略部署进行地域布局调整。并按照集中化、规模化、园区化、链条化和协同化的要求,将产业区域划分为创利区域、开发区域和后备区域,区别对待进行资源优化配置,分类布局与协同有序高效发展。

其次,在产业链扩张和整合过程中,煤炭企业应明确主次产业定位和排序,按照主业做强做优做大、次主业适度发展、辅业转型发展和新兴产业适时介入的思路进行产业结构调整,分类施策。

另外,在跨界、转变的过程中,融合是一个重要命题。“为了保持市场竞争优势,煤炭企业应着力推进经济结构、产业结构可持续的革命性融合。

”牛克洪表示,一是从纵向上推进经济结构、产业结构融合,做好“四化一升”:深化———煤炭调配、洗选深加工;细化———根据用户要求细分产品;转化———向气、电、油、化工等转化;净化———循环经济方式,实现高碳产业低碳发展;升级———提升产品附加值和市场适应度,满足用户需要。

二是从横向上推进融合,一方面从煤、路、港、航上进行产业嫁接融合;另一方面可以推动煤与金融协同融合、煤与钢铁协同融合、煤与物流协同融合。

三是纵、横交合推进融合。在为用户创造新价值和为企业开辟盈利增长新途径“两为”上寻求融合物,选择推进组织融合、产业融合、技术融合、功能融合等。在推动产业跨界融合中,以信息技术和资本运营为手段,配套开发服务业与国家新“四化”融合升级,同时带动员工素质提升与转型发展。

管理创新企业治理结构发生根本性变化

2017年12月19日发布的《关于进一步推进煤炭企业兼并重组转型升级的意见》,提出通过兼并重组,实现煤炭企业和市场高质量发展,要求到2020年底,争取在全国形成若干个具有较强国际竞争力的亿吨级特大型煤炭企业集团,发展和培育一批现代化煤炭企业集团。

何为现代化煤炭企业集团?牛克洪分析认为,今后混合所有制经济发展成为主流趋向,必然带来企业治理结构的创新。现代企业制度将成为企业的主流企业制度,这与过去国有煤炭企业改制所建立的独资性公司制有很大的不同。

过去国有煤炭企业虽然改制建立了现代企业制度,但一定程度上还是“穿新鞋走老路”,名义上是公司制企业,实际行的还是矿务局体制。今后由这种混合所有制经济而建立的公司制,其治理结构的建立及运作必然是真正按“公司法”规范的现代企业制度。

发展现代化煤炭企业,要实现由规模经济发展向高质量和高效益发展的转变。

“新时期我国煤炭企业要实现外延规模扩张和内涵价值提升并重的科学发展方式。

一方面,强势企业通过对弱势企业兼并重组,实现量的规模扩张,提高产业集中度和规模效益;另一方面,煤炭企业要努力进行技术创新、装备更新、产品转化升级以及生产方式改进,用先进的理念、工艺、技术、装备改造和提升传统的煤炭产业,以技术、产品创新和文化品牌塑造内涵式发展带动企业价值的增长。”牛克洪表示。

现代煤炭企业还应更加注重资本运作价值。“新时期,煤炭企业的产业运营主要体现在四个方面:高效生产、集约经营、本质安全和绿色发展。

资本运作主要体现在三点:搭平台,即建立上市公司、财务公司及控股、参股金融业等融资平台;多渠道,即开通市场融资、银行借贷、债券发行、战略合作及自我盈利积累等融资渠道;活方式,即根据项目性质及资金用途、用量,本着满足需要和节省融资成本的要求,采取宜长则长、宜短则短等灵活多样的融资方式。”牛克洪认为,“煤炭企业要走好今后发展的道路,必须坚持产业运营与资本运作相结合,这样才能实现企业实力的快速增长、规模的迅速扩张和效益的大幅提升。”

#占星问答[超话]# 【3.4-3.10 最塔罗双子座周运势】本周双子整体状态相对比较低迷,可能因为受到即将到来的水逆期影响,很多事都让双子感觉到很难把握,做事时也容易烦躁和不知所措,面对突发事件也很难灵活应对,建议双子要调整好自身的心态和状态,不要因为外部环境的影响而自乱阵脚;人际上,避免过分相信他人;财运上,注意有破财漏财的可能,本周不宜大额投资或消费,量力而行,能省则省。#运势君[超话]# 更多十二星座运势点击并关注https://t.cn/EI6YDur


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 觉得自己真的活不过今年了最近会把一些以前有些文字发出来 看了几遍 发现还是微博里的文字留下来更合适些心血来潮买过本子 写了几十张 没写了一直是在备忘录里记录的
  • 即便是最亲最近的家人,如果我们不知道感恩,那么感情也是凉薄的,那么相处也是累心的。 02、有来有往,才是正确的回礼,不要锱铢必较 有些人,别人帮了他,他就想
  • #目标乌鲁鲁#Day5Kata Tjuta - Valley of the Winds传说中的风之谷 今天真是从早到晚的不顺啊早6:30就起床奔着日出去结果来了
  • 鉴于对暑期亲子游市场的信心,携程游学业务上线了数百条亲子、研学旅游产品,产品数量是2019年的1.7倍;其中儿童独立出行的产品占全部产品的22%,亲子出行占78
  • 【不可不知的环保纪念日】6月5日 世界环境日——世界环境日为每年的6月5日,它的确立反映了世界各国人民对环境问题的认识和态度,表达了人类对美好环境的向往和追求。
  • 早上还在纠结明天要不要开工,要不要外出,看到这个消息,决定继续闷在家里,连小区都不去,闷死病毒,熬死病毒! ​ #16省份一省包一市支援湖北# 中央还是厉害,让
  • 歌筵畔,先安簟枕,容我醉时眠。歌筵畔,先安簟枕,容我醉时眠。
  • 足球市场中的所有参与者都很了解他们的能力和策略是怎么样的,但现在国际足联关于允许球员暂停合同的这个决定是对所发生的事情的一种歇斯底里的反应。现在最重要的是,我们
  • 训练目标:订单显化4月23日24点截止1.收到30个红包(感恩送来19个)2.耳机顺利转出(等待送货中)3.意外的礼物(感恩在路上)4.宇宙哥哥送来一位一级宝宝
  • 真的好温柔我产品真的好温柔几年前做过的三指比心 几年前直播随口编的冷面歌 哎呀 在旁边默默跟着笑的人原来全部都记得 嘴上哼哼唧唧别扭得要命 你不可爱了你让人累睡
  • #杨洋王一博王鹤棣杂志封面#杨洋杂志成绩:1⃣五大二小女刊准满贯总刊数达到10刊14封2⃣五大男刊满贯总刊数达到19刊23封,完成二轮满贯3⃣拥有时尚先生、时装
  • 当年的大男孩现在也是两个孩子的父亲了,余文乐的儿子也是非常可爱,会经常在微博上分享与自己孩子的日常。 照片中,女儿小小的手握住余文乐的手指头,温馨而美好,妻子
  • 我的桃橙TOP 逢人就推[打call]泰线类似于电影你的名字 反正就是时之恋人 果线是校园单相思竹马 本人认为旻线是最虐滴 相爱却不能相守一生 5是悲情自负人设
  • 我刚工作的时候我觉得我到M就可以了,现在都超额完成了[思考]土豆:哦,那我明白了,你的职业规划是到D然后我养你! “谁是你的导师,塞伯斯蒂?
  • ⭐用真我手机,加冕亚洲车神!⭐用王卡,见证亚洲车神!
  • 姐弟两人在最黑暗的时刻为生存而斗争,开始逐渐了解、信任彼此,并寻找自己的意义。《瘟疫传说:安魂曲》将展开第二段情感旅程,法国瘟疫肆虐,玩家将追随阿米西亚和她年幼
  • 其中:(一)城关区(含文创园区):当日新增110例(确诊病例9,无症状感染者101)。(二)堆龙德庆区:当日新增2例(无症状感染者2)。
  • 今天让六爸开车往我们帮六姥姥装修好的房子送床品和生活用品,说要给朋友住几天。大夏天我说要拍羊绒衣实拍,没她我会特别傻,她调出两三个自己的休息日陪我玩着闹着把照拍
  •   五月斯螽动股,六月莎鸡振羽,七月在野,八月在宇,九月在户,十月蟋蟀入我床下。七月食瓜,八月断壶,九月叔苴,采荼薪樗,食我农夫。
  • 3.市场不好的时候特别适合沉下心做复盘,把2018年后期到2019年发生过的事件,当时的大v说过的话,写过的书,拿出来做验证。#时代少年团周边中转站[超话]#