AWS的黑科技

王众

给自家服务配上黑科技已经不够了，AWS在让黑科技成为业界的新常态。

自从双十一带来意外的销售效果，中国的网购小伙伴们迎来了各种购物节的轰炸。而电商的鼻祖和巨头亚马逊终于也坐不住，在2015年打造自己的购物节“Prime Day”。Prime是亚马逊电商的会员名称，也就是说，这是专为亚马逊会员定制的购物节。

收费会员制在国内一直不太吃得开，但在美国零售业则是常态，著名的商超Costco和沃尔玛旗下的山姆大叔，即便在当下实体零售哀鸿遍野的现状下仍然坚挺；甚至山姆会员店2016年在中国迎着电商勇敢扩张。Prime就是亚马逊的全球收费会员制，据统计在美国，1/10美国人（约10.7%人口）是亚马逊Prime会员，而且他们可不是“僵尸粉”——Prime会员每年平均花费达1200美元，超出非会员平均每年700美元的花费。所以虽然起步晚，“Prime Day”的群众基础好极了。

2015年，试水的Prime Day在定在7月15日。到了2016年，积攒了经验的亚马逊将日子定在了7月12日，向美国、日本、加拿大和英国、西班牙、意大利等部分欧洲国家的Prime会员客户推出超过10万种促销商品；并在7月5日至11日之间举行了一系列会员促销，挑动购物欲。

AWS（亚马逊公司旗下云计算服务平台）在2016 re：invent大会上回顾了会员日的战况，这种全球性爆发式的网络事件如果没有足够强悍的云计算技术，宕机或者被各路黑客入侵扫货就会成为“主旋律”。

弹性和真正的数据分析成新常态

对于经常过剁手节和抢票节的中国企业来说，一言不合就“按秒付费”扩展一个数据中心，过了那几小时再撤掉，大概是最经济的方式。哪怕是不那么有名气的电商，在其购物节期间也能爆发出数倍于平时的浏览量和成交量，这时候，如果云服务没搭建好，免不了临时购入大批服务器，也要含泪撑住。每到双十一，IT人就免不了盯上阿里的服务器表现，但2016年第一个10分钟之后系统瘫痪，还是让人倍感意外。

阿里似乎后来没有秀自己的“云肌肉”，但AWS迫不及待地晒了自己的——他们为亚马逊电商启用了数十万台虚拟服务器（相当于一个中等规模的数据中心），会员日之后又把这些虚拟服务器收回。晒完之后，AWS宣布，弹性将成为云计算的新常态。

弹性对于云计算行业来说，不仅不是新词汇，而且是很多公有云用户的主要要求。比如上文提到的，为了自家购物节临时批发服务器的电商，对他们来说，在特殊的日子租用最多上百台服务器足矣，这样的需求，一家中等体量的云服务厂商即可以满足。但当弹性的需求是上万、甚至数十万虚拟服务器的时候，并且在短时间内启用和回收、且能保证速度和稳定性；就要求云服务提供商有强大的技术和高昂的资金投入。

为了保证弹性成为新常态，AWS目前在全球有14个数据中心区域，2017年还将再增加4个。此外，AWS目前在全球有68个CloudFront PoP（边缘站点，即CDN发布点，这是数据传输流畅性的重要保证）。因为全都是自有资源，统一管理、统一运营和统一交付，整体效率、质量和用户体验都要好很多。这样就避免了不同供应商之间复杂的合同谈判。

AWS的每个数据中心区域都至少有两个可用区域（Available Zone）每一个可用区域至少有一个数据中心，有的可用区域容纳了8个数据中心，在可用区域内有大量冗余网络，有的可用区域的服务器数量高达30万台规模。每个数据中心区域还有两个传送中心（Transit Center）。两个传送中心互为冗余，它们的任务是为所属数据中心区域和外部提供连接和交换功能，传送中心会连入AWS Global Network。

无论双十一也好、Prime Day也好，除了拖着一串0的交易额，还有宝贵的、沉淀下来的消费数据，如何有效处理这些海量数据？

对这个话题，亚马逊CTO Werner Vogels直言：“以前，通常被划归为分析的那些行为，比如索引、获取、存储、安全等，其实并不是严格意义上的分析行为。80%的数据分析都不是分析，只是苦力活，只有20%的真正的分析，这是传统数据架构存在的弊端。”

他认为，用户应该建立现代化的数据架构，其主要特征是：可靠、自动化的数据采集和整合；实现全生命周期管理，以及对“冷数据”进行良好保存；按照管理、安全、合规和隐私性的要求对数据进行分类；实现自助式的发现、查询和访问；管理数据质量、为分析做好准备、捕获数据的变化……

对此，AWS推出了AWS Glue和Batch。前者能够自动抓取数据源，识别数据格式，然后建立模式和转换，让客户将80%的准备时间压缩到20%。后者则根据提交的批处理作业的卷和特定资源要求，动态地提供计算资源（例如CPU或内存优化实例）的最佳数量和类型；让使用者能高效地在AWS上运行数十万个批处理计算作业。

为AWS数据处理能力背书的是年轻的地图平台MAPBOX，它刚刚发布了针对中国用户的版本。这个平台开放面向开发者的地图API，以创建自定义地图， foursquare、Pinterest、Evernote、Github、500px 都在使用Mapbox 创建自己的地图。除了提供传统的地图服务以外，MAPBOX还能进行实时的路况信息收集和分析等，每天能够处理1亿英里（约1.6亿公里）范围内的传感器数据。

一辆卡车“装下”5000个国图

发布会上出现车已经见怪不怪了，自行车、摩托车、兰博基尼……这次，AWS直接上了一辆卡车，它属于Snowball（雪球）系列。2015年，AWS推出了AWS Snowball服务，其最初是一台50 TB数据传输设备，其设计目标在于强调物理接入及数据安全等要求。一年来，很多客户将初代Snowball应用于不同类型的物理环境当中，并借此实现包括大数据、基因组学以及数据收集在内的各类工作负载的迁移工作。

用戶的实际应用场景让AWS发现了新商机——客户们希望收集产生自农田、工厂、医院、飞机乃至油井中的数据，从车间监控到视频摄制再到物联网设备信息收集；他们希望能够利用单一模式实现高度简化的数据存储与转发，并在数据到达时进行本地处理，包括过滤、清理、分析、组织、追踪、总结以及监测。

于是，Snowball的体量越来越大，传送速度也越来越快。大家伙AWS Snowmobile可以实现极大量数据（100PB，相当于5000个国家图书馆的信息量总和）的迁移。据Andy Jassy介绍，如果使用一条 10Gbps 的高速网络传输 1EB 的数据，需要 26 年；但如果使用 Snowmobile，这个时间很可能会缩短到 6 个月。

Netflix在2008年遭遇大规模数据库损毁后决定采用云端计算，从那时起直到2016年，花了7年的时间才将所有数据资料搬移至 AWS 亚马逊云端运算服务。不知道如果当时有Snowmobile话，这个周期能缩短到多久。

近年来的IT企业都喜欢预测到2020年，全球有多少数据量，言下之意，就是物联网、云计算有多少商机。AWS首席执行官Andy Jassy也不能免俗，他表示，亚马逊的云业务完全有机会做到1000亿美元的规模，这接近于今天亚马逊的总营收。