南大通用沈丽萍:大数据时代的数据库技术与应用

电信行业的应用,电信运营商都有我们的成功案例。这个是山东移动云经分项目,2013年9月开始测试,2014年1月20号试运行,2014年10月11号正式上线,因为云经分对移动来说也是一个重要的比较核心的系统,这个是替换的,以前这个系统是由两台小型机+DB2数据库。这个系统因为数据体量不断增大,它不能扩容,而且加载速度,DB2的加载比较慢,满足不了它时间窗口的要求。所以,山东移动考虑采用新型的数据库,主要数据分为两块,数据中心也是采用Hadoop,另外还有一些日志类的,它的数据都是非结构化,半结构化为主,而且数据体量比较大,他们也是专门用Hadoop的技术做的。它这个MPP数据库的架构用的是IBM的PC服务器,也是120G内存,16块硬盘,是26个节点做处理。我用26个节点的MPP数据库性能就相当于原来两台小型机的性能。

刚才那两个案例从整体上的大数据平台来说是混搭架构,具有传统的关系型数据库,也有MPP数据库,另外还有Hadoop的处理。第三个案例是海关总署二期项目,2014年测试,2015年逐步分阶段的上线了。这个数据量只有TB级,相对比较小,所以处理的时候很简单,从Oracle数据库直接通过ETR工具直接把Oracle每日的增量数据落地加载到MPP数据库里头,没有Hadoop的这层处理。所以,Hadoop这层是根据数据量来处理的。

做一下最后的总结,大数据时代推动技术的变革首先是打破了一元化,多种技术混合。另外,对于用户来说一定要选择最适合的产品和技术支撑大数据应用,因为目前还没有绝好的一种解决方案做总结,一定要看数据量和应用需求决定你采用哪种技术。我们对于TB到PB级别的分析类应用,我们推荐使用MPP的新型数据库产品。我的讲解就到这里,谢谢大家!