大数据工具之如何提升洞察力及风险控制

大数据

如果大数据不加以管理,其将变成累赘。那些企业愿意每天通过他们的网络去获取、分析、存储巨量的信息流,幸运的是,他们能从这里面获得独特的见解和可重复的模式。虽然大数据工具仍然处于起步阶段,预计这个行业将在未来几年大幅增长,公司乘他们的大数据还没有发展到不可管理的阶段开始投资,他们将获得长期回报。

以下是关于什么是大数据经常被问到问题,它为什么是一个问题,以及如何使它成为是一个资源。

什么是大数据?

大数据是一个公司累积的大量并且在高速增长的结构化和非结构化的信息。大数据可以是有价值的资源或成为昂贵的问题,这取决于它是如何被管理的。如果用于分析,大数据提供业务趋势和模式洞察。然而,如果无人看管,它将浪费昂贵的存储,并且要查找特定的信息,将变得异常困难,这可能会在审核事件中相当重要。

什么是大数据相关的主要挑战?

SearchSOA网站编辑Maxine Giza,在她关于大数据问题和解决方案的文章中提到,大数据的主要挑战有3个V:数量(volume),速度(velocity)和种类(variety)。数量是需要管理,分析,存储和保护的巨量信息。速度是指数据流必须高速采集并且处理。种类是指许多不同类型的数据在已经相当艰巨的任务上进一步增加复杂性。

如何缓解这些挑战?

使用像Hadoop这类的大数据工具是管理大量数据的一种方式。Hadoop是一个支持海量数据集和数据传输的开源编程框架。它的流媒体技术能够以它流入的速度捕获和存储信息。设计模式是另一种帮助减少一些与大数据相关复杂度的方式。他们提供模板解决方案,用于解决大数据管理中反复出现的问题。采用多种目标导向的设计模式,开发人员可以混搭半结构化数据,发现事件序列信号,实时响应信号模式并匹配基于云计算的数据服务。

大数据将如何影响各行业?

据Gartner公司研究,大数据技术将在未来几年急速发展。 Gartner研究预测,到2015年,大数据计划将创造440万的IT工作岗位。即使是现在,Gartner调查发现,500 个IT管理人员中的40%投资或将投资于大数据技术。

在开发大数据应用程序时我应该用SOA还是REST?

这对于架构师在构建大数据应用的时候,是一个非常重要的考虑因素。大数据工具通常有RESTful和SOA相结合的应用程序编程接口(API)。这使得了解对于应用来说哪一个最适合变得更加困难。在Tom Nolle的大数据应用文章中,建议架构师在使用大数据做具体分析的场景中利用SOA.对于应用程序来说,大数据作为一个资源集合,但不打算利用高层次的服务,那么基于REST的接口是比较合适的。安全性也是一个考虑因素。 SOA安全性可以集成到应用程序的访问控制和用户目录。在表述性状态转移,REST,另一方面,安全性将需要外部访问。

是否有一个特定的技能组合是大数据管理所必须的?

因为大数据继续呈现增长势头, 所以对新兴角色数据科学家的需求很可能会越来越多。会这样难度技术的人才很难找,因为它需要新的技术,比如Hadoop和Cassandra,熟悉数据所在领域,并且拥有创造性分析和解决问题的能力。

via: TechTarget