大数据的泡沫、价值和陷阱,你分得清吗?

(3)第三问:我是否清楚大数据应用的局限?

现阶段,大数据应用面临诸多挑战,新技术泛型下标准的大数据应用体系尚未建立,技术复杂度和风险较高,成功案例和最佳实践缺乏。很多企业和机构都知道大数据潜力巨大,但却不知如何着手,更不清楚大数据应用有哪些局限和潜在的问题。伯克利的Jordan教授是机器学习领域大牛,他提出了一个很好的比喻:如果大数据给出的结果可靠性低,没有经过充分的验证,就急于应用到实际业务中,会面临很大的风险,就好比是土木工程都没学好就开始造桥,结果只能造出“豆腐渣工程”。所以我们要充分了解大数据技术的局限性,数据采集的不全面必然导致数据偏见,数据质量的问题会导致GarbageInGarbageOut,我们对分析结果的不理解,或者不进行持续反馈验证升级,就无法确认模型的准确性和稳定性,另外《大数据时代》一书中所说的关注相关性不重视因果分析,也会导致一系列问题。数据科学发展到现阶段,从某种程度上讲还不是一个足够严谨的学科,我们有一定的概率做出准确的预测,但是使用不当或预测不准,又会造成不好的后果。显然Jordan教授很担心现在公众对大数据技术的热情,并不是基于对这个领域的深入理解,但是他坚信大数据领域未来会诞生很多重要的应用,就像AlphaGo系统花一晚时间,自我学习几百万盘棋才战胜李世石,对于新兴技术,我们不能高估它但更不能低估。鉴于此,我们需要对大数据的数据质量及技术偏差等做更细致的考察和评估,搞清楚大数据应用技术所面临的限制及问题,才能走得更稳更远。

(4)第四问:我是否准备好打一场大数据应用持久战?

我在《大数据应用从小做起?谈微服务和大数据架构》一文中有提到过,大数据项目如何顶天立地:立地就是要落实到一个个要解决的具体问题,基于业务和数据驱动;顶天就是要规划得目标长远,大数据系统不是搞一锤子买卖,没有一劳永逸的做法。特别是大型企业、机构或政府的大数据系统,一定不能是传统MIS系统的做法,大数据是个动态增量系统,数据规模在变,业务在变,模型在变,参数在变,核心技术模型的迭代、优化、持续升级及交付将是常态,长期目标应该是智能化的综合管控,从企业的生产、产品、销售、服务各个环节的一体化智能管控中心,政府各部门联席的智能服务和决策中心,好比GoogleBrain,BaiduBrain,大型企事业单位和政府也需要未来的数字决策大脑。从某种程度上讲,大数据的关键不在于具体项目,而在于数据决策中心的持续优化与运营,大数据系统建设要作为一个长远的事业来做,让每个成员都融入大数据管理思维变革过程中。我在《说说敏捷大数据》一文中提出了“快、小、证”大数据应用原则,对一个具体的大数据项目来讲,能做到快速出原型,小分析点切入,证明有效之后再扩张的原则,就不用惧怕失败,失败后切换到下一个分析目标即可。由于大数据项目前期的实际投入成本远远大于收益,这就更需要精耕细作,打一场大数据应用持久战,可以从小处着手,逐步构建统观全局的分析链,从而建立组织未来的大数据中心和基于大数据分析的辅助决策大脑。

(5)第五问:我是否了解大数据风险与数据偏见?

大数据时代,信息意味着权利,不同层级的信息代表不同层次的权利。这使得大数据集中之后也面临着技术风险、成本风险、安全风险和管理风险等多个层面的问题,每个层级玩家面临的风险各有侧重,需要充分引起重视。大数据处理基于全新的技术泛型,新技术生态下技术本身的稳定性、成熟性、扩展性等有风险;随着数据爆炸增长需要存储、计算包括电力等资源的持续投入,面临成本风险(所以才有云计算的需求);面对大数据信息权的诱惑,黑客们的犯罪动机也比以往任何时候更强烈,黑客组织性更强,更加专业,敏感数据入侵风险急剧增加;在数据管理方面还需要面对数据缺失(大数据的分析在于全量分析,任何一方面的数据缺失,都会让算法产生偏见)、数据质量低下、被操控的假数据(如水军刷榜)等方面的问题。

(6)第六问:我是否理解并能贯彻大数据思维?

大数据时代,数据驱动决策是我们的必然选择,毕竟事实胜于雄辩,数据能最大限度地说明问题,数据能让你了解一些以前根本都不知道的事情,除了本身质量的问题,数据不会说谎,通过大数据挖掘进行量化分析有助于精细化管理和运营,这是大数据思维的核心所在。不管是企业、机构还是政府,在做大数据规划或应用之前,先问问自己,组织人员理解数据决策吗?大数据能为他们带来怎样的好处?各级领导有没有大数据决策基因或者这种思维变革的驱动力?所以从数据决策角度讲,未来大数据思维在各行各业的渗透和如火如荼的大数据系统建设不亚于一场数据爆炸时代的管理变革“启蒙运动”。这场运动由互联网企业发起并逐渐繁荣,当大数据思维在传统企业、机构和政府普及并落地应用之时,很可能就是通用人工智能时代的开始。