阿里云飞天开放平台总监孙冰:海量流数据处理的服务化

第五届中国云计算大会于2013年6月5-7日在北京国家会议中心拉开帷幕。本次大会以国际视野,洞悉全球云计算发展趋势,并从应用出发,探讨云计算与大数据、云计算与移动互联网、云安全及云计算行业应用等焦点话题。大会还特别设立了云计算服务展示区域,交流国际云计算最新研究成果,展示国内云计算试点城市发展成就,分享云计算发展经验,促进全球云计算创新合作。 

在《云计算核心技术架构专题论坛》上,阿里云飞天开放平台总监孙冰介绍了飞天开放平台在海量流数据处理的服务化取得的经验。

图:阿里云飞天开放平台总监 孙冰

孙冰介绍,要做好一项服务,要非常注重三个关键性的设计:扩展性,容错和实时。 阿里云的OSPS服务就是在这三个原则下开发的。

孙冰表示,对于OSPS这样一个系统来说,它是基于飞天平台的,这样做的好处在于,容错是用了非常直接的方法,如果没有飞天平台,没有一个非常好的既可以记普通文件,又可以记log文件,又高效又分布在每台机器上都能做的底层存储系统,这件事情就变得很复杂。由于我们做OSPS的时候已经有飞天平台,省了非常多的力气。接下来,我们在C++自主研发,写类似于SQL的脚本,优化在系统里做,保证数据不丢、不重,实现动态负载均衡。

孙冰表示,飞天平台设计目标是五千台物理机,每天处理PB级数据。