3000字概括《大数据时代》

中国IDC圈1月11日报道:大数据引起了变革

当今社会所独有的一种新型能力:以一种前所未有的方式,通过对海量数据进行分析,获得巨大价值的产品和服务,或深刻的洞见。

1、震人心魄的数据

2003年,人类第一次破译人体基因密码的时候,辛苦工作10年才完成了三十亿对碱基对的排序;大约10年后,世界范围内的基因仪每15分钟就可以完成同样的工作。在金融领域,美国股市每天的成交量高达70亿股,而其中三分之二的交易都是邮件里在数学模型和算法之上的计算机程序自动完成的。

在2007年,所有数据中只有7%是存储在报纸、书籍、图片等媒介上的模拟数据,其余全部是数字数据;在2000年时,数字存储信息仍只占全球数据量的四分之一;当时,另外四分之三的信息都存储在报纸、胶片、黑胶唱片和盒式磁带这类媒介上。

2、大数据的精髓

大数据带给我们的三个颠覆性观念转变:是全部数据,而不是随机采样;是大体方向,而不是精确制导;是相关关系,而不是因果关系。

A.不是随机样本,而是全体数据:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样(随机采样,以前我们通常把这看成是理所应当的限制,但高性能的数字技术让我们意识到,这其实是一种人为限制);

B.不是精确性,而是混杂性:研究数据如此之多,以至于我们不再热衷于追求精确度;之前需要分析的数据很少,所以我们必须尽可能精确地量化我们的记录,随着规模的扩大,对精确度的痴迷将减弱;拥有了大数据,我们不再需要对一个现象刨根问底,只要掌握了大体的发展方向即可,适当忽略微观层面上的精确度,会让我们在宏观层面拥有更好的洞察力;

C.不是因果关系,而是相关关系:我们不再热衷于找因果关系,寻找因果关系是人类长久以来的习惯,在大数据时代,我们无须再紧盯事物之间的因果关系,而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生,但是它会提醒我们这件事情正在发生。

3、大数据的核心是预测

大数据的核心就是预测,它通常被视为人工智能的一部分,或者更确切地说,被视为一种机器学习。大数据不是要教机器人像人一样思考,而是把数学算法运用到海量的数据上来预测事情发生的可能性。

不是随机样本,而是全体数据

历史上,因为记录、储存、分析数据的工具都不够好,为了让分析变得简单,我们选择了把数据量减少,统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。

1、传统抽样的精确性

采样分析的精确性随着采样随机性的增加而大幅提高,但与样本数量的增加关系不大,大致原因是当样本数量达到某个值后,我们从新个体身上得到的信息会越来越少,这与经济学中的边际效应类似。

2、 随机采样的问题

随机采样有一个很大的问题:人们只能从随机采样中得出事先设计好的问题的结果,调查得出的数据不可以重新分析以实现计划之外的目的,而且一旦采样过程中存在任何偏见,分析结果就会相去甚远。

3、样本=总体

采样的目的就是用最少的数据得到最多的信息,当我们可以获得海量数据的时候,它就没有什么意义了;生活中真正有趣的事情经常藏匿在细节之中,而采样分析却无法捕捉到这些细节(因为采样不能得到计划之外的东西);大数据建立在掌握所有数据,至少是尽可能多的数据的基础上,所以我们就可以正确地考察细节并进行新的分析。

不是精确性,而是混杂性

执迷于精确性是信息缺乏时代和模拟时代的产物,只有5%的数据是结构化且能适用于传统数据库的,如果不能接受混乱,剩下的95%的非结构化数据都无法被利用。

1、小数据时代的精确性

在“小数据时代”,人们收集、处理数据的能力有限,对“小数据”而言,最基本、最重要的要求就是减少错误,保证质量(收集信息的有限意味着细微错误会被放大,甚至有可能影响整个结果的准确性)。人们创造了很多精确的系统,这些系统试图让我们接受一个世界困乏而规整的惨象——假装世间万物都是整齐地排列的;事实上现实是纷繁复杂的,天地间存在的事物也远远多于系统所设想的。