从小数据分析到大数据平台,大数据开源技术是如何演进的?

导读:在QCon 2016 北京站上,Druid开源项目的负责人,同时也是一家位于旧金山的技术公司共同创始人的Fangjin Yang杨仿今老师分享了题为 《Evolution of Open Source Data Infrastructure》的主题演讲,在演讲里杨老师详细的介绍了开源大数据的过去,现在的形态以及未来几年发展的趋势和方向。本文根据他的演讲整理而成。

首先,介绍两个使用案例。

第一个是OLTP流程,主要指的是整个商业应用和流程。我们会收集交易数据,在业务过程当中收集数据,比如要销售一些网上产品,可能希望把每一单都能够记录下来。

第二个主要案例是OLAP,主要指的是分析数据,我们让所有收集的数据能够有意义,可以帮助我们生成报告,根据数据分析,进行业务决策。这个应用场景下,我们会把一些数字,比如说收益,将整个数据维度Dimensions以及Measures和数据整合在一起。

Small Data Analytics

在一个小数据里可以做以上两个应用,单个系统都可以应用,非常简单。我们主要做什么呢?我们会像微软表格当中收集数据,之后进行一系列视觉化。