英特尔高级副总裁Boyd Davis:Hadoop力助数据社会

Hadoop的现在和未来是不一样的

随着我们加入到Hadoop的生态系统当中,我们是完全投入到开放源当中。我们在不断的为开源社区贡献代码,我们也利用了新的技术,Hadoop从某种意义上来说是低端的软件解决方案,是针对非常复杂的问题解决。我们可以在硬件层增强平台,这个平台要具备安全性。我们还可以和开源社区共同驱动新的项目。

有很多机会扩大Hadoop使它进行相应的扩展,有很多的方法利用现有的技术使得Hadoop是一个更加有能力更广泛的应用模式和系统。比如说通过志强处理器不但能够提高计算、联网和储存能力。我们希望使得Hadoop的用户集群能够更容易部署,尤其是在存储控制方面。这样的话保证用户知道他们的数据之后他们能够介入。

我们希望Hadoop能够得到增强。看一下结果,结果是很令人震惊的,有人把Hadoop看作是一种低端的工作负载。但是如果没有一个合适的工作环境的话,有可能Hadoop就只能用于低端的工作系统,但是如果是在TB级环境下,智强处理器上面和标准Hadoop分发版的情况下处理速度能增强50%,交换率提高50%,硬盘提高40%,系统四个小时之内批处理的量能够在7分钟内处理完1TB数据。

我们希望建立一个创新的软件平台。我说过Hadoop本身不是一个解决方案,它是一个低端的平台服务,大部分的价值都是来自于上层的应用层的应用。大部分的公司他们的架构、框架,比方说在数据的布置上都会对数据进行挖掘和分析。很多时候挖掘新颖的技能或者是提一些新要求是比较复杂的,并且成本比较高。我们通过这样的Hadoop平台的支持,能够使更多的公司更好的利用他们的数据。现在能够针对文本搜索的数据来进行全文本的搜索和语义分析,运行在FDS顶层,并且能基于文本搜索进行业务价值的提升。

可以看到不但在应用层上有所发展,而且服务层上也能够有所发展。这些大数据大部分来自于服务为基础的应用中,大部分的公司都会利用Hadoop来提供一系列的服务。在博康和GDS等这样的中国公司,在中国都在考虑如何扩展他们和顾客的关系?提供一系列的基于Hadoop的服务。大部分的情况下这里有一个很强的价值导向就是可以利用我们英特尔提供的扩展的更丰富、更有能力的Hadoop的平台去做这些事情。

Hadoop现在和未来是不一样的,举个例子:(图)Map Reduce的数据分析价值:这儿列出了不同的数据,我们要去定型图像的分析处理非常难,因为这些数据本身是不对称的。比如这个人的微博帐户粉丝比其他人多,但是平行处理方式下很可能会使得这个群中某些结点会处在一种闲置的不活跃的状态。英特尔就做了一种技术,把这种组织结构的数据通过Hadoop来进行图形并行的处理,我们明年会推出这个产品。不但包括图形处理,还包括流处理都会放到Hadoop上加以利用。

拥抱社区 推进开源

英特尔在各方面推进开源,我们现在是一个全球领先的开源软件公司,我们有上万软件开发者,在中国有超过1千名软件开发者,大部分是用Linux,过去几年中我们对Linux有很大贡献。Hadoop不但是一个商业软件,也是开源的来源。开源软件是一个开放工具,但是对于英特尔来说我们开发开源软件,Hadoop不但是能够带来很大的价值和现金流,而且能够推进整个行业的平台的能力。所以说我们希望能够围绕着开源的平台增强整个生态系统的能力。

最好的解决方案是基于最好的技术,而英特尔就是一个技术公司。我们的合作方能够为市场提供相应的解决方案,因为在储存层次、网络层、技术方面都需要很好的技术最终才能为软件带来价值。