淘金大数据时代:大数据中的大价值

继云计算之后,“大数据时代”这一热词成为媒体争相追逐的焦点。那么,何为大数据,大数据价值几许?大数据时代又会给业界带来哪些机遇和挑战呢?

大数据时代悄然来临

不 是我不明白,这世界变化快12000年还是一张软盘打天下的时代,短短十多年光景,硬盘的存储容量已从4GB、16GB、32GB迅速攀升到 1TB。原来仅有1.44MB的软盘在当时感觉存储容量还是蛮大的,到现在硬盘容量蹿升至1TB了,反而感觉存储空间捉襟见肘,到底是哪里出现了问题?

大数据!一语惊醒梦中人,大数据时代已经悄然来临。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富。更多的传感设备、移动终端接入到网络,由此产生的数据及增长速度迅速攀升。

一 项由UnisohereResearch对531名独立Oracle用户进行的调查发现,90%的企业的数据量在迅速上涨,其中16%的企业的数据量每年 增长率达到50%或更高。不少企业已经感受到失控的数据增长对绩效造成的冲击,其中87%的受访者将企业的应用程序性能下降归咎于不断增长的数据量。调研 机构IDC在2011年6月的报告则显示,全球数据量在2011年已达到1.8ZB,在过去5年里增加了5倍。

1.8ZB是什么样的概念 呢?首先从二进制上解读一下,从我们最熟悉的GB开始,1TB(TrillionByte)=1024GB;1PB(PetaByte)=1024TB; 1EB(ExaByte)=1024PB;1ZB(ZettaByte)=1024 EB;1YB(YottaByte)=1024 ZB;1BB(BrontoByte)=1024YB。

再来直接形象地形容一下1.8ZB的数据量,如果把所有这些数据都刻录存入普通 DVD光盘里,光盘的高度将等同于从地球到月球的一个半来回也就是大约720000英里。相当于每位美国人每分钟写3条Twitter微博,而且还要不停 地写2.6976万年,是不是很恐怖?这还不是最恐怖的,IDC还预测全球数据量大约每两年翻一番,2015年全球数据量将达到近8ZB,到2020年, 全球将达到35ZB。

所谓的大数据最直白的理解是海量数据,通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关 系型数据库用于分析时会花费很多时间和金钱。调研机构IDC认为,某项技术要想成为大数据技术,必须满足IBM所描述的三个“V”条件,即多样性 (Variety)、大容量 (Volume)和时效性高(Velocity)。多样性是指数据应包含结构化的和非结构化的数据;大容量是指聚合在一起供分析的数据量必须是非常庞大 的;时效性高则是指数据处理的速度必须很快。

大数据中的大价值

现在有很多通过大数据 分析受益的经典案例。在科研民生领域,美国的海啸预警系统一直为人们津津乐道,去年3月11日日本大地震发生后仅9分钟,美国国家海洋和大气管理局 (NOAA)就发布了详细的海啸预警。随即,NOAA通过对海洋传感器获得的实时数据进行计算机模拟,制作的海啸影响模型便出现在 YouTube等网站。大数据分析在指导人们有效规避自然灾害面前发挥了很大的作用。

而在商业领域,eBay则很好地起到了示范作用。eBay定义了超过500种类型的数据,对顾客的行为进行跟踪分析,每天处理的数据量高达100PB,通过准确分析用户的购物行为,达到了减少广告投入、稳定高端卖家、实现持续增长的目的。

通 过上述两个案例不难看到,大数据分析的价值是非常大的。伴随着传统的商业智能系统向纵深应用的拓展,企业也逐渐步入到大数据时代。传统的标准化、结构化的 数据只占到15%左右,85%的数据来源于广泛存在于社交网络、物联网、电子商务等中的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计 算和传感器等新的渠道和技术的不断涌现和应用。

企业用来分析的数据越全面,分析的结果就越接近于真实,因此,大数据具有很大的商业价值。 大数据分析是企业在未来发展过程中必须面对的,大数据分析意味着企业能够从这些新的数据中获取新的洞察力,并将它与已知业务的各个细节相融合。只有那些能 够运用这些新数据形态的企业,方能打造可持续发展的竞争优势。