盘点2015年大数据分析和建模工具领域的“超级英雄”

大数据

在过去的十年里,大数据的崛起让一大批供应商尝试利用大数据的优势研发新的数据分析工具。

在固有分析工具进行更新换代的同时,新兴分析工具则宣称它们才是 “潮流新品”,广大用户不清楚市面上有哪些分析工具。为机构资源寻找合适投资的分析工具就像盲人瞎马,是个高风险的赌博。

假设你是一个拥有大量信息的信息总监,并且需要解决一个业务问题。要从分析工具琳琅满目的分析市场中找出最适合公司的工具组合看似很难,其实不然。分析工具主要有两种:数据存储和建模工具。广义的数据存储是:存储数据以供未来使用的任意硬件和软件组合。它们也许各有特点,但通常拥有数据存储和检索的基本功能。建模工具由硬件和软件组成,对数据进行整合以得出规律。传统开发人员首先专注于数据存储,数据学家则利用建模工具进行数据分析和数据挖掘。要根据自身定位找出适合的工具就要从这两种分析工具中挑选出合适的组合。这两种分析工具可细分为七个不同的类别,每一类都有它独特的优势和强大功能。要解决你公司的问题,就要对这些工具进行正确分组。

分析工具有:

大数据

传统的关系数据库管理系统(RDBMS): 正如它的字面意思,它代表人们在过去 30 年里所指的数据库。尽管这些数据管理系统的数据处理量比不上一些新型技术,但在所有的分析工具中,它们拥有最完善的功能集,数据分析最透彻并且涉及的知识最规范。

超级英雄的首位英雄: 美国队长,当之无愧的领导分析工具,虽然相比起其它分析工具来略显过时,但 RDBMS 仍然拥有强大功能,并能出色完成任务。

适用情况: 需要解决的问题并不是最麻烦的,但你需要一些成熟可靠的分析工具,让员工能尽快上手。

非传统数据库(DB): 这组数据库包含众多非 SQL 语言(代表“不使用 SQL 语言”或”不仅使用 SQL 语言”)的新型分析工具。这些工具除了运用关系数据库的基础——关系模型外,还能用于保持中小型数据(即以兆字节或千兆字节计算)流畅加载,并且在使用得当的情况下,能加载以兆兆字节或帕特字节计算的数据。这类数据库通常是跨硬件的源代码开放软件工具;其供应商通过出售包含产品支持的企业特别版软件获利。

超级英雄代表人物 : 黑寡妇,她引用卓越的处理技术处理大型数据,是该方面的专家。同时,也能实现不同功能间的快速转换。

适用情况: 希望运用一个新型的框架扩大数据规模,想要引用一种专门处理某类数据问题的技术,同时想尝试引用新技术来博取大众眼球。

大规模并行处理(MPP)关系数据库: 如果把传统的 RDBMS 比作可靠的中型轿车,那么 MPP 关系数据库就是汽车界的布加迪威龙(Bugatti Veyrons):拥有最强劲的马力和极高的价格。这类数据库与传统的 RDBMS 组一样,都以关系模型为基础,却包含卓越的硬件和软件工程,性能和容量大幅提升。因为拥有该项技术,通常供应商只出售该数据库就能处理各类问题,因此其安装及维护费用可能十分昂贵。

超级英雄代表人物 : 钢铁侠,本来是普通的东西(普通人,RDBMS),注入大量的资金和技术,就成为英雄(身穿铁甲的家伙,MPP 关系数据库)。

适用情况: 与供应商关系良好,愿意付出一大笔资金,且不希望对数据存储的方式进行任何重大改变。

Hadoop 和 NoSQL:Hadoop 是市面上能买到的拥有最大数据存储容量的数据库。基于雅虎网站(Yahoo!)和谷歌网站(Google)的搜索结果,当需要处理最大容量的信息时,就要求助于 Hadoop。这方面的产品通常包含了与数据录入,数据管理和数据传输有关的应用程序的整个计算机系统。

超级英雄代表人物 : 绿巨人,虽然不能尽善尽美,但如果需要大容量、高性能,他是不二之选。