预测2015大数据趋势 星环孙元浩为你揭秘

大家看到在这个领域过去一两年发生了革命,从底层虚拟化技术到上层都在发生非常大的变化。逐渐引出了数据中心操作系统的概念。我们把数据中心操作系统分成三层,最底层就跟操作系统内核是一样的,可以方便的创建方便销毁计算资源,包括对CPU/网络/内存/存储进行处理。同时我们还需要多个服务之间能够发现这种机制,这种机制是目前还是缺乏的,我们需要在这一层继续往上加一些基础服务。再往上是平台服务,我们可以创建Hadoop、Spark等我们可以部署这样传统应用。这种架构提出来我们发现现在市场上有几种,两个技术方向,我们不知道哪一种会获胜。一个方向是把YARN作为资源调度的基础,Kubernetes作为运行在YARN上的某一个应用框架,但实际上Kubernetes是和YARN并列在同一层的。另外一个技术方向是把调度器抽象出来作为plugin,例如YARN和mesos都可以作为Kubernetes的调度器,当然也可以实现自己的调度程序;使用docker或者coreOS进行container的管理,而hadoop等分布式服务运行在Kubernetes之上。对下能够提供资源隔离和管理,对上面能够提供各种服务,包括Hadoop生态系统的各种服务,这个可能是明年的主流趋势,现在还很难判断谁会获胜,但是我更倾向于第二种,我们可以首先尝试这两种方案,看哪种方案更有生命力。

总结一下就是我们把明年的发展趋势归纳成四个,一个混合架构会逐渐消失,第二个我们发现SSD慢慢替代内存作用缓存,因为性价比更高。第三实时大数据技术得到广泛关注和应用,第四云计算与大数据终于可以融合。这里做个广告,星环科技是目前国内极少数掌握企业级大数据Hadoop和Spark核心技术的高科技公司,从事大数据时代核心平台数据库软件的研发与服务。公司产品Transwarp Data Hub (TDH)的整体架构及功能特性比肩硅谷同行,产品性能在业界处于领先水平。在全球去IOE的大背景下,Hadoop已成为公认的替代传统数据库的技术。大家可以去外面展台看看我们新版本,欢迎有兴趣的同学加入我们公司。