大数据时代:集成大数据与数据仓库

架构

在确定和整理好不同的数据类型之后,就可以清晰确定各种数据特征——包括数据类型、关联的元数据、可以标识为主数据元素的重要数据元素、数据复杂度及拥有和管理数据的业务用户。

工作负载

处理大数据的最大需求是前面章节所介绍的工作负载管理。

图2

有了数据架构和分类,我们就可以分配可以执行该类数据工作负载需求的基础架构。

我们可以根据数据容量和数据延迟时间将工作负载大体分成4类(图2)。然后,我们再根据类别将数据分配到物理基础架构层进行处理。该管理方法可以为数据仓库的各个部分创建一种动态可扩展需求,它们可以高效利用当前及未来的新基础方法。在这个时候,一定要注意的关键问题是要保持处理逻辑的灵活性,使它能够在不同的物理基础架构组件上发挥作用,因为数据是根据处理紧迫性进行分类的,这样相同的数据就可能会被归类到不同的工作负载上。