透视美国大数据爆发全景

放眼望去,大数据时代已经撼动了美国社会的方方面面,从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域,并催生了了各行各业的变革力量。

大数据在美国已经发展到如火如荼的地步。政府部门、IT企业、零售、医疗等传统行业以及互联网、软硬件公司将大数据能够带来的方方面面都展示在人们面前——尽管这些在美国还被认为是“初级阶段”——放眼望去,大数据时代已经撼动了美国社会的方方面面,从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。

因为其背后的沿承和爆发的背景如此重要,目前科技界和学术界的人士甚至预测,大数据作为一项技术和理念本身,很有可能避免成为一下硅谷臭名昭著的“技术成熟度曲线”的受害者。这个曲线曾经昭示,一个新技术诞生后,经过新闻媒体和学术会议的大肆宣传,该趋势将一下子跌到谷底,许多创业公司变得岌岌可危,直到发展到一定阶段再重新爆发——这个曲线云计算曾经且正在经历,但大数据很有可能“幸免”。

一个说得通的原因是,在目前的美国,“大数据”的概念远不止大量的数据(TB)和处理大量数据的技术,或者所谓的“4个V”之类的简单概念,而是涵盖了人们在大规模数据的基础上可以做到的事情,而这些事情在小规模数据的基础上是无法实现的。

所以变革将无法避免。而对大数据的掌握程度可以转化为经济价值的来源。

《大数据时代》一书的作者,维克托·迈尔·舍恩伯格上月底来到中国时,向一众业内和媒体人士着重介绍了其对大数据时代可能产生的价值变革的判断依据和论断结果。在回答记者的现场提问时,维克托表示,我们现在讨论的商业公司的形式是前大数据时代的模式,那么在大数据时代,从现有的模式中找模式是非常有问题的。我们要用新思维来衡量一切,包括新的企业模式,企业间关系以及社会、政府、商业等的关系。

大数据的科学价值和社会价值正是体现在这里。

被改变的政治与政府

一个略有被媒体夸大但基本属实的案例是,奥巴马今年成功连任美国总统,其背后那个几十人构成的数据分析与挖掘团队至关重要。

这支团队在2008年奥巴马竞选时就已存在并发挥作用。而这次,他们更动用了5倍于上届的人员规模,且进行了更大规模与深入的数据挖掘。它帮助奥巴马在获取有效选民、投放广告、募集资金方面起到一定作用。事实证明,奥巴马募集到的资金尽管与对手罗姆尼募集的资金规模不相上下,但前者从普通民众直接募集到的资金是后者的近两倍。据一项调查显示,奥巴马团队筹得的第一个1亿美金中,98% 来自于小于250美金的小额捐款,而罗姆尼团队在筹得相同数额捐款的情况下,这一比例仅为31%。

以竞选工作组发言人Ben LaBolt的话来形容:奥巴马团队拥有“核代码”——数据是能够击败罗姆尼的最根本优势。更“极端”的说法是,奥巴马胜选的原因不在于经济、外交政策或是妇女问题,而是赢在大数据!

当然,这个说法难免牵强,但仍可以看做美国政治或者说政界人士受到科技的影响越来越大——据《大数据:正在到来的数据革命》一书作者徐子沛在不久前的一次沙龙上透露,目前美国许多政界人士都十分重视社交网络,并期冀通过数据挖掘和数据分析从中获益。而数据创新给公民、政府、社会带来的种种挑战和变革,已经深入人心。

但社交媒体分析,仅仅是大数据“冰山一角”的部分。

在目前已被认可的范畴中,大数据的价值链中,数据本身、技能以及思维三个层面是核心竞争领域,社交媒体分析可以看做是数据分析技能层面的细分领域,也是传统数据挖掘范畴下的新变种。

在数据领域占据领先地位的美国,已经在这三个层面都取得了长足发展,其中,政府层面的变化极为明显,甚至将数据价值提升到了国家战略层面——2012年3月,奥巴马政府宣布 “大数据的研究和发展计划。”白宫声明公开称:“通过提高我们从大型复杂的数字数据集中提取知识和观点的能力,承诺帮助加快在科学与工程中的步伐,加强国家安全,并改变教学研究。”

在这个计划里,美国国家科学基金、国家卫生研究院、能源部、国防部、国防部高级研究计划局、地质勘探局等6个联邦政府部门,宣布将启动2亿美元的投资计划,提高从大量数字数据中访问、组织、收集发现信息的工具和技术水平,从而了解更多正在进行的联邦政府的计划,解决所大数据所带来的机遇和挑战,并计划与工业界、大学研究界、非营利性机构与管理者一起利用大数据所创造的机会。

其中,美国国家卫生研究院开展的免费开放由国际千人基因组计划,它将创建的人类遗传变异研究数据集,供研究人员自由访问和使用;美国国家科学基金会和美国国家卫生研究院将对大数据进行联合招标,改进核心科学与技术手段,提高从各种大型数据集中提取重要信息并对其进行有效管理、分析和可视化的能力;美国国防部则计划每年投资2.5亿美元左右,在各个军事部门开展一系列研究计划,旨在以创新方式使用海量数据,通过感知、认知和决策支持的结合,加强大数据决策力;美国能源部则将斥资2500万美元建立可扩展数据管理与可视化研究所(SDAV),帮助科学家对数据进行有效管理,促进其生物和环境研究计划、美国核数据计划等的研究成果……

而作为奥巴马开放政府承诺的产物,2009年至今Data.gov全面开放了40万联邦政府原始数据集。日前Data.gov宣布采用新“开源政府平台”管理数据,代码将向各国开发者开放。从这个角度看,大数据已成为美国国家创新战略、国家安全战略、国家ICT产业发展战略以及国家信息网络安全战略的交叉领域、核心领域。

当然从现在来看,说大数据改变美国政治或政府的确有些夸张,但从另一层面看,美国政府的开放性数据服务转型正走在世界前列。