大数据2016年大事记

毫无疑问,当今的政治民意调查已经成为应用统计(也就是“大数据分析”)的一个运用领域。以前,严谨的民意调查只需要通过白页上的选民名字和电话号码就可以进行。但现在,民意调查机构如果想从形形色色的选民中获取具有代表性的样本,就必须建立细致的权重模型。

民意调查机构未能就2016年6月的“英国脱欧”公投准确评估选民情绪。如果说这还只是让人感到意外的话,那么唐纳德·特朗普(Donald Trump)在11月份的总统选举中击败希拉里·克林顿(Hillary Clinton),与几乎所有的政治民意调查结果截然相反(只有一项调查例外),则可以说是大数据分析在2016年甚至可能是近十年来的最大惨败。

大数据黑客入侵

数据明显具有价值,无论保险公司和会计师怎么说。所以坏人会想要窃取个人和企业的数据也真的去窃取了,完全不足为奇。2016年发生了多起引人注目的数据泄露事件,比如美国民主党全国委员会的电子邮件服务器被攻陷,雅虎10亿用户的数据被黑。而这还没算上雅虎曾在2016年9月承认,黑客入侵了该公司5亿用户的账户。

IdentityForce制作的“2016年网络安全耻辱墙”上还包括:美国司法部(3万名DHS和FBI职员的数据失窃);美国国税局(70万名纳税人的记录泄露);威瑞森(150万客户的记录泄露);甲骨文(33万台MICROS收银机被入侵);Dropbox(承认6,800万个账户被入侵);AdultFriendFinder.com(4.12亿用户的记录泄露)。

新的数据初创公司

2016年对大数据的风险投资较2015年减少了大约10%,但这没有阻止科技创业者成立新公司,希望挖到大数据金矿。2016年的新来者包括:

SnappyData,致力于统一Spark和Pivotal的GemFire数据网格; Panoply,为AWS Redshift 用户开发ETL 软件; Cosmify,利用机器学习挖掘客户信息; Bonsai,这家AI公司在Strata + Hadoop World大会上赢得了创业展示比赛; Armorway,利用深度学习实现网络安全; Leyvx,将Flash和Spark结合起来; Jask,利用AI进行网络安全分析; Alluvium,致力于缩小“机器与人”的差距; Pachyderm,这家容器公司在Strata + Hadoop World大会上赢得创业展示比赛; Skry,区块链智能供应商; Wavefront,利用大数据来监控IT。

实时Kafka

人人都喜欢的大数据总线Apache Kafka在2016年如鱼得水,这要归功于对分析高速移动数据的新要求。Kafka才面世五年,但这部由LinkedIn开发的消息队列系统已经成为管理流数据和实时数据管道的事实标准。

Kafka由杰伊·克雷普斯(Jay Kreps)和尼哈·纳赫德(Neha Narkhede)创造,得到了两人领导的Confluent公司团队的支持,是2016年最受欢迎的大数据项目之一。由于人们对实时分析的兴趣高涨,这个开源项目的采用率正在飙升。随着批处理范式不断与实时数据处理相融合,如果克雷普斯的Kappa架构超越目前流行的Lambda架构,请不要感到惊讶。

开源数据项目

并非所有的大数据产品都是由盈利性企业开发。最有前途的新技术很多都是开源项目。2016年引人注目的开源大数据项目包括:

ApacheArrow:该项目由MapR Technologies公司的一位Drill架构师带头,旨在建立一个通用数据层,兼容各种各样的大数据工具和引擎,比如Drill、Spark、Impala、Cassandra和Parquet; Alluxio:这是基于内存的文件系统(原名Tachyon),与Apache Spark和Apache Mesos一样,也出自AMPLab实验室,现在得到一家同名公司的支持; ApacheBeam:这是很有前途的大数据框架,其目标之一是用同一组API进行实时交互的批处理,并且通过“Runner”支持Spark、Flink和Google Dataflow; CrateDB:遵守Apache 2.0协议,是可扩展的SQL数据库(有些人称之为NewSQL数据库),用于实时机器分析; ApacheKylin:这个基于Hadoop的开源引擎提供联机分析处理(OLAP)能力,在2016年全年都是Apache软件基金会(ASF)的顶级项目(TLP); ApacheGeode:2016年11月,ASF把分布式内存数据库Geode 提升为TLP 级别。

大数据用于社会公益

现在,大数据分析已经遍地开花,既存在于我们购买的产品中,也存在于我们使用的网络服务和我们通信的方式中。但值此辞旧迎新之际,我们必须提醒自己要从人性的角度出发,静下心来好好想想如何终结人类的苦难。

为此,我们应该看到大数据对社会进步的积极作用,而不只是赚钱。在2016年,大数据被Polaris等团体用来打击人口贩卖,把罪犯绳之于法。撰写“巴拿马文件”调查报告的记者使用云分析和图形数据库等大数据技术,来剖析和披露离岸避税行为。