拍案而起,十问大数据

大数据

Q6:大数据和云计算、物联网是什么关系?

如果把整个IT 流程看做一棵树的话, 物联网就是这棵树的叶子和枝干。如果传感器网络所感知的信息是有关“人”的信息,比如用户在网上购买商品的信息,或与人的移动行为和动机相关的信息,那么它就会有极大的商业价值,对这种数据的需求也会剧增。人的心理因素是世上最复杂的,对应着某种动机和意识的行为、动作也千差万别。人与人的关系组成了无穷多的维度,而大数据正是这些维度叠加而成的。这些数据不仅包括人本身的语言、文字、动作、视觉数据,更是人与人之间关系的数据。凡是与人相关的活动数据,都是最值得收集的数据,与之相关的需求则永远存在。

所以说,关于人的数据才是大数据。物联网只有考虑到人这种广义的“物”,才最有价值。否则,物联网所传输的数据无论从复杂度还是商业目的而言,都极为有限。

大数据和云计算的关系则在于,大数据的成功应用除了“大”,还有三个必要条件:实时在线、对事件的全面描述以及产生差异化的效果。云计算使得这三个必要条件得以满足。

首先,云计算使人们可以随时随地使用存储和计算,使大量数据得以及时被采集和分析。手机上APP 应用云的服务就是一个云计算的例子。由于存储和计算成本的降低,云计算起到了实时在线的作用, 从而使得更多的人愿意使用云服务,大数据的雪球由此可以滚动起来。

云计算的另一个好处是可以实现大规模的数据整合。当今世界并不是为大数据应用准备的,因为大量数据集散落在不同地方,以不同方式存放,其拥有者也是不同的人。在云计算条件下,很多大规模数据整合的问题都会得到解决。当大家数据放在一起时,数据整合的门槛会大幅降低,因此,大数据也会像核物理的聚变一样, 产生成倍的效果。

大数据

Q7:有了大数据,我们还需要专家吗?

在大数据时代,专家的一部分作用确实可以被大数据应用所取代。例如,推荐金融产品时,专家需要将特定金融产品推荐给特定客户。这些客户有以下特点:接受这一推荐的可能性很高,同时,对其他客户的影响力也很强,在接受这一产品的同时,他们很有可能会把产品消息向亲朋好友传播。这一重要的市场工作过去是由专业的市场部门经理来完成的。然而在大数据应用中,通过对大数据的整合分析得出的大规模推荐模型的推荐效果,是市场部专家的二十倍以上。

这个例子说明:首先,在传统商业领域,大数据的功效确实能够取代并超越人的作用。在过去的实践中,市场专家最多能够判别十几维的数据,而数据挖掘模型却可以处理几万维甚至几千万维的数据;其次,取得这么好的效果需要做许多前期工作,如搭建数据平台、整合不同数据、建立分析预测模型,以及利用模型对未来数据进行分析决策。

这些研究人员具有三个突出特点:

一是非常强的驾驭数据管理系统和快速编程的能力,

二是和业务专家沟通并理解业务目标及约束能力、分析数据的能力,

三是与模型连接并预测到业务决策的能力。具有这些能力的人,我们称其为数据科学家

所以,有了大数据之后,专家依然是需要的,只不过专家在决策过程中的作用与焦点改变了:专家已经不能独享成功,而一定要和大数据系统共同完成一项复杂的任务。大数据做了以往专家在数据分析领域的工作,但专家对于专业领域的价值和经验依旧无法取代。建立数据分析模型需要理解业务及业务目标,这仍需要专家的研究和贡献,毕竟外行还是不能领导内行。

Q8:大数据最适合做什么?

大数据的发展和其他任何技术的发展路径一样,都需要经过