大数据时代:集成大数据与数据仓库

集成策略

数据集成是指将来源于不同系统的数据组合在一起,供业务用户研究不同的行业行为及客户行为的数据处理方式。在数据集成应用早期,数据仅限于交易系统及其应用。业务决策的制定以决策平台为指导,而有限的数据集提供了创建决策平台的基础。

 

数据容量与数据类型在过去三十年里大幅增长,数据仓库技术从无到有,基础架构和技术的发展满足了分析和数据存储需求。这一切彻底改变了数据集成的前景。

传统数据集成技术主要关注于架构和相关编程模型的ETL、ELT、CDC和EAI类型。然而,在大数据环境里,这些技术需要根据规模和处理复杂度等需求进行修改,其中包括需要处理的数据格式。实现大数据处理需要两个步骤。第一步是实现数据驱动的架构,其中包括数据处理的分析和设计。第二步是物理架构实现,我们将在下面的章节介绍这个步骤。

数据驱动的集成

在建造下一代数据仓库的技术方法中,企业中所有数据首先会根据数据类型进行分类,也会考虑到数据本身的性质及其相关的处理需求。数据处理过程将会用到内置在处理逻辑中并且整合到一系列编程流程中的业务规则,数据处理会使用到企业元数据、MDM和语义技术(分词技术)等。

图10.3显示了各类数据的入口数据处理过程。这个模型首先基于数据的格式和结构划分数据类型,然后再进行ETL、ELT、CDC或文本处理技术中各个层次的规则处理。下面,让我们来分析一下数据集成架构及其优点。