我们对Facebook、Amazon、Airbnb、Pinterest和Netflix数据团队所做的事情感到惊讶。他们为软件和企业从数据中获取信息而制定了新标准。由于他们的产品用户量极大，所以这些团队必须不断地定义规模分析的方法。他们已经在数据架构中投入了数百万美元，并且在大多数公司中，数据团队的规模超过了整个工程部门的规模。
我们建立了Keen IO，是为了以让大多数软件工程团队无需从头架设所有内容，就可以利用最新的大型事件数据技术。但是，如果您对如何成为巨头公司感到好奇，那么请从最好的公司中收集一些架构。
Netflix
Netflix拥有9300万用户，没有交互缺陷。正如他们的工程团队在Netflix数据管道的演变中描述的那样，他们每天大约捕获5000亿个事件，每天大约有1.3PB的数据传输。在高峰时段，他们每秒将记录800万次事件。他们雇用了100多个数据工程师或分析师。
以下是上述文章中数据架构的简化视图，其中显示：开源系统ApacheKafka，搜索服务器ElasticSearch，亚马逊云存储服务AWSS3，进行大数据处理的ApacheSpark，运行框架ApacheHadoop和大数据分析服务EMR作为主要组件。
拥有超过10亿的活跃用户，Facebook有世界上最大的数据仓库之一，存储超过300PB。该数据被用于广泛的应用：从传统的批处理到图形分析，机器学习和实时交互式分析。为了进行大规模的交互式查询，Facebook的工程师发明了Presto，一种针对点对点分析进行优化的定制分布式的SQL查询引擎。每天有1000多名Facebook员工使用Presto，通过Hive、HBase和Scribe的可插拔后端数据存储，每天执行查询次数超过30000次。
体系结构
后端数据存储
Airbnb
Airbnb支持超过1亿用户浏览200多万的房屋列表。他们智能地向这些用户提供新的旅行建议的能力，这对他们的成长有很大影响。Airbnb的数据科学经理Elena Grewal在去年的会议“建立一个世界级的分析团队”上提到，他们已经将Airbnb的数据团队扩展到拥有30多名工程师的规模。这是每人每年500万的投资。
AirbnbEng建筑师James Mayfield、Krishna Puttaswamy、Swaroop Jagadish和Kevin Longdescribe描述了构建数据结构的基本要素以及如何为关键任务数据提供更高的可靠性。他们严重依赖Hive和Apache Spark，并使用了Facebook的Presto。
AIRBNB的数据基础结构
Pinterest每月有超过1亿的用户浏览超过100亿的网页浏览量。截至2015年，他们将数据团队扩展到拥有250多名工程师的规模。他们的基础设施依赖于开源系统ApacheKafka，数据处理框架Storm，系统基础架构Hadoop，开源数据库HBase和GPU渲染器Redshift。
数据管道结构图
Pinterest团队不仅需要追踪大量客户相关的数据。像其他社交平台一样，他们还需要向广告商提供详细的分析。黄彤波在《Behindthe Pins:Building Analytics at Pinterest》一文中写道：为了满足这一需求，他们改进了自己的分析堆栈。以下是Pinterest团队如何使用Apache Kafka，AWSS3和HBase的示意图：
Pinterest商业数据分析结构图
Twitter/Crashlytics
每天实时处理50亿次会议。EdSolovey介绍了Crashlytics Answers团队构建的一些架构，用于处理数十亿的日常移动设备事件。
