地  址:江苏省南京市玄武区玄武湖
电  话:4008-888-888
邮  箱:9490489@qq.com
商  务QQ:6759875247
免费论坛创建:Dropbox 出奔亚马逊云效劳帝国的壮丽史诗
作者:管理员    发布于:2020-06-08 07:37   文字:【】【】【
Dropbox 出奔亚马逊云效劳帝国的壮丽史诗 通过以前的两年半工夫,Dropbox 成立了本人的大型核算机网络,而且将其效劳转移到了由本人的工程师设计的机器体系中。该体系彻底由本人的程序工程师设计,依附的也是一种全新的汇编言语。在浩瀚曾上任于网络巨擘(例如 Google、Facebook 和 Twitter)的硅谷老将们的努力下,Dropbox 现已成功地将 90% 的文件转移到了新的线天主国中。

如果你是 Dropbox 的五亿用户之一,那么你绝对认识它就是你电脑桌面上的一个文件夹,它能够让你将文档存储在互联网上,将文件发送给别的人,而且能够将文档在笔记本电脑、电话太平板之间进行同步。当你需要的时分,你会利用这个文件夹;当你不需要的时分,你就会忘怀它的存在。这就是设计者的初衷;属实上,在这背地,你能够发现工程学方面的史诗级豪举。Dropbox 在机器网络上运转,它的演变过程集中表现了在以前十年间使得互联网核心产生扭转的力气。今天,这个体系现已开展到了一个新阶段。

在 Dropbox 的第一个八年中,超过 5 亿用户在其间贮存了数十亿的文件。可是,这家坐落旧金山的草创公司并无真正地将文件本人贮存起来,和近年的大量草创公司一样,Dropbox 挑选在「亚马逊」中进行线上操作。亚马逊云效劳由现在世界上最大的线上零售商亚马逊经营。亚马逊效劳使得任何人都能够开发或者运转软件,而不需要设立本人的硬件体系。换句话说,这数十亿文件实践上是存储在亚马逊的设施中,而不是 Dropbox 的效劳器中。

可是这一切都现已成为前史。通过以前的两年半工夫,Dropbox 成立了本人的大型核算机网络,而且将其效劳转移到了由本人的工程师设计的机器体系中。该体系彻底由本人的程序工程师设计,依附的也是一种全新的汇编言语。在浩瀚曾上任于网络巨擘(例如 Google、Facebook 和 Twitter)的硅谷老将们的努力下,Dropbox 现已成功地将 90% 的文件转移到了新的线天主国中。固然,这是一个十分夺目的工程豪举,并且这一行动的含义现已逾越了 Dropbox 自身。更重要的是,它显示出了云核算效劳正疾速扭转着商业运作模式。同时,它也揭示出在以前十年间席卷整个硬件市场的高大变化。

Dan Williams, Dropbox 根底设备主管

今天,愈来愈多的公司初步挑选「云效劳」。依据 Forrester 公司猜测,到 2020 年,云核算的市场范围将达成 1910 亿美元,一些互联网巨擘,例如 google 和微软等将会以本人的云效劳来撼动亚马逊的位置。在上一年的第四季度,亚马逊的网络效劳部门只取得了 24.1 亿美元的营收,而年出售额达成了 96 亿美元,关于没有了 Dropbox 的亚马逊来说,这现已是很大的一笔营收了。

可是一些公司是云云高大,从而使得缔造本人的网络就显得特别紧迫。因为经济范围较大,从而使得 Google、微软和亚马逊能够将云效劳的价格降到很低。可是他们其实不是以本钱价进行出售。「没有哪一位云效劳供给商是在做慈悲。」Dropbox 工程部副总裁 Aditya Agarwal 说。如果你的公司充足大,经过裁减云效劳的开销,你能够省下一大笔钱。而 Dropbox 就是这样一家彻彻底底的大型公司。

然而,缔造这样一个高大的网络非同儿戏,使命适当艰巨,并且这其实不适用于所有公司。「正确的做法是不要本人缔造这样的网络。」前加州大学圣芭芭拉分校传授 Urs H?lzle 说。现在他在 Google 事件,主要负责该公司寰球网络的成立,协助运转云核算效劳。

他解释道,大大都公司都没有这样的范围以及本人构建网络体系的必要。如果公司生长搁浅,那么这样的行动无疑会让公司雪上加霜。这一点堪称十分适用于 Dropbox 的境遇。最近几个月,专家和投资者们纷繁初步看衰这家坐落旧金山的公司,表示该公司的 100 亿美元的估值其实名不副实,而且很难招揽真实的商业用户的目光。

可是 H?lzle 招认关于某些公司来说,这样做仍是很必须的。至少从现在看,Dropbox 就是这样的一家公司。依据该公司的首席经营官 Dennis Woodside,该行动使得公司取得了「必要的经济代价」。更具有挖苦意味的是,Dropbox 在逃离云效劳的同时,又在不断强调云效劳的强壮。它在进行这样的根底设备建设,以便让别的竞争者望尘莫及。兴许它也会成为一家云效劳公司。经过在大型网络范畴迈出的坚实脚步,Dropbox 正在和互联网巨擘 Google、微软和亚马逊一块儿为寰球硬件市场以及信息技能指出新的方向。

文档文件的未来

亚马逊主导着云核算市场,其主要的竞争对手包含 Google 和微软。三家公司提供的云效劳使得商业和独立程序员能够编写或者运转任何软件,而不需要成立本人的硬件设施。与此同时,这里也存在一个以 Dropbox 为核心的二级市场,其主要竞争对手包含 Box、Saleforce 和 Workday 等。这些公司相对于愈加小众,能够在互联网上提供内置软件应用。和一些稍微大型的公司一样,它们也能够提供一些商业和开发者可以利用的东西,而免去了成立本人的硬件设施的苦恼,这一点和云效劳相似。「该财产的下一个重要时期就是平台抢夺战。企业将会在什么样的平台上面成立本人的事务就成了重点。」Box CEO Aaron Levie 说。

Akhil Gupta, Dropbox 根底设备副总裁

Dropbox 盼望成为这些平台中的一个,因而它卯足了劲儿要本人成立一个云效劳平台。可是这个过程堪称弥漫了艰险。跟着该公司在内置软件范畴的持续扩张,该公司将会不可防止地上临来自亚马逊、Google 以及微软的愈来愈大的压力。属实上,这些互联网巨擘现已筹备好初步应战那些和 Dropbox、Box 一样具有文件分享东西的公司。未来文件分享市场的扩张将会显着下降,而离散式文件(例如照片、视频和 Word 文档等)分享将会变得愈来愈不重要。文件其实不是智好手机的核心事务。跟着在线谈天东西以及协作效劳的成熟,文件也将再也不是中间笔记本电脑应用场景的中间。

Dropbox 关于这一切都了然于胸。其超高的市场估值使得其成为一些专家和投资者诘难「独角兽」崛起的靶子。近月来,没有哪家草创公司能抢过 Dropbox 的风头,同时也随同着关于其能否和互联网巨擘进行抗衡的质疑。经过该公司高管的遍及谈话来看,毫无疑难 Dropbox 现已意想到了世界正在产生变化,而问题是 Dropbox 本身的变化(例如破费高大的工夫、钱财和努力将其从亚马逊转移到本身构建的寰球性网络中)是否能和世界的变化同步。

初见功效

早在 James Cowling 还在 MIT 时,他就认识 Dropbox 的创立者。当做该大学的一名结业生,他愈加重视散布式体系,即在成千盈百台设施上进行运算的体系,而且他也曾和 Dropbox 前期的一些雇员一块儿借鉴过,这也让他有时机与 Dropbox 的联结独创人兼 CEO Drew Houston 相遇。在 Dropbox 的开展过程当中,他们一直保持联络,而且他们也讨论了 Dropbox 在本人的网络体系中运转的可能性和操作性。「能够说,这是一个十分斗胆的念头。」Cowling 说。

Cowling 说,2012 年他有幸目击了 Google 监管 Spanner(一个主导了这家互联网巨擘大量在线操作的寰球数据库)的工程团队。Spanner 兴许是世界上最大的、也是最杂乱的个别数据库,也是散布最广的散布式体系之一。然而,Cowling 挑选了在 Dropbox 事件。「我盼望能够发明些什么。」Cowling 说。Spanner 现已成立了,而 Dropbox 的帝国却尚未。

从现在来看,Dropbox 的一局部事务在亚马逊上运转,而另外一局部则没有。如果大量用户经过 Dropbox 分享文件,那么该公司就会挑选将文件贮存在亚马逊的简单存储效劳中,而这些文件的元数据则存储在本人的效劳器中。

经过和负责根底设备建设的副总裁 Akhil Gupta 以及别的人一块儿事件,Cowling 设计了一种软件体系,该体系允许 Dropbox 存储数百 PB 的数据 这些数据足以填满数亿个 U 盘,且存储功率远远高于亚马逊的简单存储效劳。他们将这个体系称为「Magic Pocket」。「Dropbox 被以为是一个你能够搁置所有文件之处,你不消忧虑它会隐没,并且你还能够随时拜访它。这就像是一个弥漫魔法的口袋。」Gupta 说。

James Cowling, Dropbox 贮存团队负责人

从素质上说,他们构建了本人的「亚马逊的简单存储效劳」,只是他们依据本人的技能问题调整了软件而已。「大家尚未缔造出一个能够更换掉亚马逊简单存储效劳的体系,大家只是成立了一个供大家本人利用的体系。」

乃至当 Dropbox 依然在亚马逊上的时分,亚马逊就初步体现出会成为 Dropbox 的一个强有力的竞争者 亚马逊推出了本人的文件分享效劳。虽然亚马逊推出的这个版本其实不是那么适合用户利用,且短缺 Dropbox 独特的蓝色文件夹那样的品牌出名度,可是却着实让小型公司十分忧虑。可是据 Agarwal 讲述,促使 Dropbox 撤退亚马逊云效劳的主要缘故原由是经济缘故原由而非政治缘故原由。「你需要将这些大型科技公司看做差别的国家,或者友爱的街坊,尽管偶尔会呈现一些小抵触。亚马逊有十分多的事务,可是我以为亚马逊的首要使命不是成为一个像大家一样的云存储效劳供给商。Dropbox 现已成立了为本人效劳的软件体系,而现今他们又往前迈进了一步,他们成立了本人的硬件体系 Dropbox 从头设计了本人的电脑。

范围化难题

通过数年的工夫,互联网巨擘 Google、Facebook、微软和亚马逊等都现已设计了本人的硬件体系 核算机效劳器、网络交换机以及存储硬件等。这些公司没有别的挑选,只能是构建悉数的硬件体系:他们的互联网帝国太过高大,从而使得利用传统方式太过贵重,也太过艰难。他们需要一种新的更廉价、更精简、且可塑性更强的硬件。因而他们与寰球的硬件制作商和供给商一同互助缔造了云效劳体系。

今天,Google 是世界上缔造效劳器最多的公司,而它简直不销售效劳器。亚马逊和微软也简直采用了同样的战略。因为这些公司也会运转云核算效劳,因而许多别的的商业也会在传统硬件厂商之外的设施上运转他们的软件。当 Facebook 对其用户定制效劳进行开源今后这一点变得尤其显着。目前很多的供给商(包含一些亚洲制作商如 Quanta)初步销售基于 Facebook 硬件的产物。Rami Aljamal 亲眼见证了这一开展过程。现今,他在 Dropbox 中也设计了这样的机器。和 Google、亚马逊、微软一样,Dropbox 设计了这种成全其独特须要的设施。

Dropbox 贮存了很多的数据,因而它需要适合这项使命的设施,而这也正是 Aljamal 及其团队在该公司的总部 坐落旧金山的 Dropbox 总部的试验室中实现的事件。他们将这台机器称为「Diskotech」。「大家最关切的局部是磁盘,这是所稀有据存储之处。」Aljamal 说。每个 Diskotech 盒子都贮存有 PB 级的数据。50 台这样的设施就能贮存人类迄今为止所写的所稀有据。

替换轮胎

Cowling 及其共事从 2013 年夏天初步研发 Magic Pocket 软件,破费了大约 6 个月的工夫来成立初始代码。可是这只是初步的很小一步。一旦该体系成立,他们还有必要包管体系能正常事件。他们需要将这套体系应用于多个数据中间的设施内部。他们也需要将软件应用于最新的硬件产物上。不只云云,他们也需要将所有的数据撤退亚马逊。

Rami Aljamal, Dropbox 工程主管

这整个过程继续了大约两年的工夫。毫不夸大地说,这样的项目是一个十分大的技能应战。可是这同时也是一个物流应战。在互联网上转移很多的数据是一件事,而将许多设施转移到数据中间又是另外一件事,而 Dropbox 有必要要实现这两件事,以便其能够持续为数亿人效劳。「这就像是一辆挪动汽车,你盼望在替换轮胎的同时汽车依然在运转。」前 Facebook 网络工程师 Dan Williams 说。换句话说,在进行数据转移的时分,Dropbox 其实不能停下来。他不克不及通知本人的用户他们的文件临时不可用。因而,度量这项事件实现得是否超卓的规范就是用户是否有觉察到异常。

当 Cowling 及其共事实现了初始代码的时分,他们在一个规范化的硬件网络上进行了测试,该硬件是 Dropbox 的缩略版,其间大约 20%的数据搁置在亚马逊的效劳器上。他们盼望可以接连测试 180 天而不发现大型过错,乃至在测试房间的墙上挂上了时钟。两个月后,他们发现了一个程序过错 能够看到贮存在过错当地的数据,而后他们从头设置了时钟。整个测试继续了大约 8 个月。

确认该体系能够运转所有的 Dropbox 今后,该团队进一步将该代码应用在了愈来愈多的体系上,从而从亚马逊云效劳器中复制了愈来愈多的数据。为了顺畅实现该过程,Dropbox 与亚马逊的合同延期了 6 个月。「整个过程其实工夫十分慌张。」Cowling 说。

属实上,仅仅是将数据从亚马逊迁移出到别的数据中间就是一个十分浩大的、可谓史诗级的使命。将巨细为 PB 级其他数据从一台机器转移到另外一台机器和下载一首歌曲彻底不是一个量级。属实证实,转移 4PB 的数据需要破费一天的工夫。「光速就是大家转移数据的极限速度。」Agarwal 说。

与此同时,电脑也需要转移到数据中间,以便接管数据。想象一下你的办公室中的 IT 精英正在努力为新雇员搭建一台新电脑 可是这个过程是在 Dropbox 这个范围实现的。所有的这些过程另有工夫的压制。如果他们将该体系应用到数据中间的速度不行快,那么他们就不克不及很快地从亚马逊迅速取得数据。Dropbox 均匀每天要搭载 40 至 50 台机柜,每一个机柜大约搭载 8 台机器。每一天,卡车都将机器从世界各地输送到 Dropbox 的数据中间。

为了可以顺畅实现数据转移使命,Dropbox 设定了最后的限期。与此同时,因为其欧洲事务不断增长,因而他们挑选了在欧洲持续利用亚马逊云效劳,可是该公司 90% 的数据现已从亚马逊转移到了 Dropbox 数据中间。紧接着,愈加慌张的工程初步了。

蓄势待发

当所有的数据都撤退亚马逊云效劳今后,硬件工程师 Rami Aljamal 相中了程序员 Jamie Turner。Magic Pocket 依然只是在普通的机器上运转,接下来就是将其转移到客户定制的硬件上。Aljamal 和 Turner 强强联手,以包管该软件能够在新的硬件上成功运转。Aljamal 和硬件工程师设计了一种单一机器 Diskotech,能够贮存 1PB 的数据。可是其也存在一个问题,即 Magic Pocket 软件其实不能与这种新硬件很好地兼容。因而 Turner 用一种全新的程序言语从头编写了 Magic Pocket。

Michele Sordal, Dropbox 供给链主管

这看起来兴许有些奇怪。为什么将程序置入上千台机器时,需要扭转代码,而后搁置到另外的数千台设施中?可是大型互联网数据中间的事件方式。机器的老化十分快,总是会有一些局部在失效,而后你需要将这局部更换掉。你总是需要更新你的设施。起首,Dropbox 需要包管其 Magic Pocket 能够正常运转 这一局部其实现已十分艰难。而后更换局部硬件,与此同时还需要保证两者之间能够互相配合得很好。

Crowling、Turner 和别的工程师在缔造 Magic Pocket 利用了一种来自 Google 的新程序言语 Go。Dropbox 正在引领一种更大的趋势,即适用于新型遍及散布式在线体系的程序言语。Apple 也有一品种似的言语叫做 Swift,Mozilla 则领有 Rust,而另有另外一种独立的言语叫做 D。所有的这些言语都能够让程序员能够疾速地制造出运转速度很快的软件。可是关于该公司正在构建的海量存储体系来说,Go 的内存占用量太大了。Dropbox 需要一种占用内存更少的言语,由于所有的这些内存空间都可能被进入的文件所占领。因而,在这项为期两年半的项目中,他们在 Diskotech 设施中最终挑选了 Rust。

直面风险

现在来说,像 Google、亚马逊和 Dropbox 都现已阅历了大量别的公司并无阅历的这种极端过程。这就是云核算的力气。属实上,Dropbox 其实不是 Google 或者亚马逊,他其实不为程序员和商业提供原始的核算能力和根底设备,可是他为个体和商业客户提供了分享和存储数据的效劳。Dropbox 盼望分享可以成为一个平台,这也是为什么 Dropbox 挑选开发一个在线文档编辑和互助东西「Dropbox Paper」。

Jamie Turner, Dropbox 软件工程师

而 Dropbox 面对的潜在风险是,跟着亚马逊、Google 和微软本身事务的扩张,他们势必会压制 Dropbox 的开展。在这种状况下,该公司将数据转移到本身数据中间的行动兴许更像是一个担负。众所周知,旧金山社来往戏公司 Zynga 在达成了超速增长阶段时,该公司也挑选了将所有事务转移到本身的数据中间。可是当其事务下滑之后,他们发现他们基本利用不了云云宏大的根底设备。而目前这一切落到了亚马逊身上。

Dropbox 的一大好处是,其具有的大量优良工程师,例如 Agarwal、Gupta、Williams 和 Sordal 等都具有十分丰厚的经验。Dan Williams 说,「如果你早年在 Facebook 或者 Google 阅历过这种超速增长,那么你会十分惦记这种感觉。」

目前,Dropbox 现已成立了本人的体系,这也代表了现在正在硅谷迅速传达的的一种立场。Google 取得了云云高大的成功,其实不仅仅是由于其缔造了十分完善的网络查找引擎事务,而是其成立了在超大范围上运转查找引擎的技能。Facebook 和 Twitter 也做了同样的事情。目前,则是 Dropbox。为了成为伟人,你有必要起首站在他人的肩膀上。可是一旦你本人生长为了伟人,你就会觉得是时分为本人缔造一个家了。


2019-07-31 10:27:29 Saas 2019年CRM将引爆SaaS聚变 氢弹是威力强壮的兵器,但引爆氢弹极为艰难,引爆氢弹往往需要在内部安放小型核弹,霎时达成极高温度。好像引爆氢弹一样,SaaS市场的聚变,怙恃的是CRM这款核弹。
Copyright © 2002-2020 网站制作系统_360免费建站官网_网站制作推广_医院网站建设_网站制作免费 版权所有 (网站地图
地址:江苏省南京市玄武区玄武湖 电话:4008-888-888
邮箱:9490489@qq.com QQ:6759875247