大数据的机遇与挑战

作为一个数据科学家,我认为:第一,政府和企业只要扎扎实实打好基础,就能从大数据技术上获益。第二,大数据技术目前是一个正在从应用中逐渐走向成熟的技术,挑战仍然很多。 

1

大数据是很多工作的基本“标配” 

什么是大数据?什么是数据?什么是资料?资料就是生产过程、管理过程,乃至经济、社会、生活过程的记忆。那些记忆可能表现在一个文件、一段演讲、一段文字等等。资料放在计算机上就叫数据。真正的大数据是指大而复杂的资料集,这些复杂性包括了海量性、时变性、异构性、分布性等,是我们从互联网的数据能够观察到的特征。只要数据量超过临界量,就叫大数据,反之则不叫大数据。因而讲大数据涉及两个概念:第一,大和小是相对概念;第二,相对的特定问题而言,不同的决策问题要求的数据不一样。 

有人认为现在是大数据时代,大数据可以解释任何事情,其实是不正确的。当然,不重视大数据同样不正确。现在都说大数据是基本的生产资料,大数据是基本的生产力,因而才说大数据是经济社会的基本生产资源。大数据离不开互联网,近几年互联网的发展走向是从复杂的信息传递到消费互联,再到生产互联,也就是物联网,再到智慧互联。在这个走向中信息技术向互联网产生以后,要与其他任何领域深度整合,这就是今天谈论信息工业化、谈论大数据的主要原因。 

目前新技术很多,真正产生效益和作用的是所有技术的综合运用。所有技术是互补的,都是从不同的层面讲问题。互联网和云计算是基础设施,物联网讲的是交互方式,人工智能讲的是应用模式。大数据讲的是信息技术,是人和人、人和机器、机器和机器交互的内容特征。大数据是最底层的信息技术,是基本标配。 

大数据可以带来超凡价值 

对于大数据如何去运用,我想说五句话。 

第一,明确目标是前提。这是推出大数据产业最重要的一步。只有真正解决每个地区、每个政府、每个企业不同的问题,大数据才有用。 

第二,拥有数据是基础。大数据产业就是以现代技术设施为基础,以数据为生产要素,以数据的价值挖掘为创新活动的产业叫大数据产业。因此,没有数据就谈不上大数据产业。 

第三,计算平台是支撑。换句话说,没有一定的计算架构和计算平台,计算不了。它是支撑作用,但做企业的人不必过分强化,也不必过分低估。 

第四,分析技术是核心。这是当今较少提到的一个主题。我非常担心在整个大数据的链条中,有些链条做得过分粗壮,有的链条过分纤弱,也就是产业链布局不均衡。如果过分膨胀,将会产生新的产能过剩。 

第五,产生效益是根本。数据是基础,平台是支撑,技术是核心,盈利是王道。 

为什么大数据可以带来超凡价值?有三条原理:第一,量变到质变的原理。大数据之所以有用,是因为数据积攒到了可以质变,通过数据就可以知道背后的故事。第二,分析出价值原理。如果存储不分析,无疑是只买米不做饭,产生不了实际效益。所以,要分析,要挖掘。第三,跨界关联原理。 

这个过程中有很多观念要改变:第一,数据是资产;第二,用户是资源;第三,服务即感知。大数据突飞猛进地发展,能够解决相当多的问题,但千万不要以为大数据技术已经成熟了。挑战仍然存在,主要是分析基础被破坏,计算技术待革新,真伪判定需要重建,对新技术的盲目所引起的盲从。总体来说,虽然挑战很多,但是仍需集中力量攻克,大数据的发展才能有大的突破。