2013:大数据元年 决策权挑战

我们正面临一个大数据的时代。在过往的小数据时代,人类对事物的判断多数基于直觉、经验和臆想,偏见随处可见。当信息爆炸积累到量变引发质变的阶段,大数据将把数学算法运用到海量数据上,以此来修正人类的偏见和直觉,并预测未来。

从依靠自身作判断作决策,发展到依靠数据作决定并获得竞争优势,这个转变是大数据的最大贡献,这将引发巨大的管理变革。因为数据本身不会说谎,通过让数据做主,作科学决策,从而让社会科学真正成为一门科学。

另一方面,数据也正成为企业的核心资产,未来可能将被计入资产负债表。中国市值最大的三大互联网公司,腾讯、阿里巴巴[微博]和百度[微博],也是数据资产的最多拥有者——腾讯拥有最大的网络通讯数据,阿里巴巴拥有最大的网络交易数据,而百度则拥有最大的搜索数据资产。

国外媒体预测2013年将是世界的大数据元年。这场正在到来的数据革命,将给企业发展模式和决策带来前所未有的革新与挑战,这一点是显而易见的。

公元前三世纪,埃及国王托勒密一世创建亚历山大图书馆,在鼎盛时期,该图书馆藏书达70万卷,埃及人称它是“人类知识的灯塔,文明的交会”。如果以今日的眼光来看,亚历山大图书馆可以说是当时全球规模最大的知识与数据中心,这些数据的分类、整理、存储花费数百年。

1439年,德国人古登堡发明印刷机,从1453年至1503年,50年间大约有800万本书被印刷,比1200年以来整个欧洲的所有手抄本还要多,欧洲的信息存储量花了50年才增长了一倍,而如今大约每三年就能增长一倍。

到2013年,世界上存储的数据将达到1.2ZB(ZB,泽字节,十万亿亿字节),如果把这些数据全部记录在书中,这些书可以覆盖整个美国52次;如果将之存储在光盘上,这些光盘可以堆成5堆,每一堆都可以伸到月球。

全世界数据量呈现几何级加速增长速度,这要归因于摩尔定律。1965年,英特尔[微博]的创始人戈登·摩尔提出,当价格不变时,集成电路上可容纳的晶体管数目,每隔18个月便会增加一倍,性能也将提升一倍。换言之,每一美元所能买到的电脑性能,将每隔18个月翻两倍以上。而摩尔定律导致的结果就是,电脑运行速度越来越快,存储空间更大也更廉价。数据显示,在过去50年,数据存储成本大约每两年就削减一半,而存储密度则增加了5000万倍,人类存储信息量的增长速度比世界经济的增长速度快4倍。

同时,数据记录的发展,其目的在于满足人类测量、记录和分析世界的渴望。记录和计量能够再现人类活动,为预测和计划奠定基础。几百年来,计量从长度、重量不断扩展到面积、体积和时间等等。公元700年前后,阿拉伯军队征服了印度旁遮普地区,他们惊奇地发现,印度的计数方法相当先进。印度数学家根据同一数字符号与其他数字符号位置关系的不同,确定了数字位置的概念,后人不断改进并发明了表达数字的1,2,3,4,5,6,7,8,9,0十个符号,成为记数的基础。十字军东征时,欧洲骑士将这一计数方法从阿拉伯地区带回欧洲。公元1000年,教皇希尔维斯特二世开始倡导使用阿拉伯数字。到16世纪晚期,这一计数方法在欧洲得以普及。

到了19世纪,随着科学家发明新工具来测量和记录电流、气压、温度、声频之类的自然科学现象的出现,科学已经离不开定量化了,我们已经处在一个一切事物都需要被测量、划分和记录的时代。随着计算机技术的发展,驱动各类系统的算法也进步神速,在很多领域,这些算法带来的进步还要胜过芯片的进步。数据显示,计算机处理数据能力的增长速度比世界经济的增长速度快9倍。算术赋予数据新的意义,因为数据此时不但可以被记录,还可以被分析和再利用。

在古罗马帝国时期,只有政府才拥有采集和分析人口、经济等大规模数据的能力和意愿。而到了21世纪,随着数据存储和获得越来越简单,私人控股公司开始拥有大规模的数据,如Google每天要处理24PB(PB,拍字节,千万亿字节)的数据,相当于美国国家图书馆所有纸质出版物所含数据量的上千倍。私人控股公司,尤其是互联网公司可以收集大量有价值的数据,而且有利用这些数据的强烈的利益驱动力,所以互联网公司顺理成章地成为最新处理技术的领头实践者,“大数据”概念应运而生。