透析大数据负载平台与技术现状与趋势

透析大数据负载平台与技术现状与趋势

同时,在构建数据仓库、商业智能方面,调查的数据也与企业现有数据库应用负载主要平台保持一致,其中有82.99%的企业倾向于选择x86平台来构建这类数据分析与商业智能应用,具体而言,有48.99%的企业倾向于采用四路及以上x86服务器,有34%的企业倾向于采用双路x86服务器,这也与四路或以上的高端x86服务器的定位相匹配,近几年越来越多的四路及以上高端服务器开始进入数据库、虚拟化等企业关键应用,并获得了企业的广泛认可。

透析大数据负载平台与技术现状与趋势

三.Hadoop广为接受

与现有的传统结构化数据处理不同,大数据处理将涉及到海量的非结构化和半结构化数据处理,在这种处理场景中,针对传统结构化数据处理的技术和方法显然难以应付,也正因为如此,越来越多的大数据处理技术开始涌现,并获得企业青睐,比如时下火热的分布式运算系统Hadoop。值得注意的是,Hadoop的诞生本身就与x86平台有着极为密切的关系,也正是Hadoop的诞生才使得在低成本的通用硬件集群上运行分布式计算框架成为可能,从这个角度上来说,Hadoop本身就是为x86平台而设计并优化的。

Hadoop最早是一个开源的框架,并由Apache基金会开发,其重要创新是将任务分解并运行在多个节点中处理,当数据量大到无法在一台服务器上处理时,分布式计算的优势就体现出来,此外,通过将这种技术与Linux服务器结合还能以极高的性价比替代大规模计算阵列。也正是看到了Hadoop未来应对大数据的潜力,不少组织和供应商开始着手发展Hadoop技术,并形成了一定规模,英特尔就是其中的代表。