大数据和物联网项目带来了独特的存储需求

然后,其核心问题变成:单个存储系统可以解决所有这些问题吗?答案取决于用例。对象存储系统显然是用于物联网数据的后端存储设备。经验告诉人们,对象存储系统经足够支持Hadoop环境。

对于物联网环境,对象存储系统善于处理高要求的文件对象计数环境。大多数对象存储系统也可以是用于Hadoop环境的后端存储设备,通过Amazon简单存储设备的兼容性,或在某些情况下,本机提供HDFS支持。为Hadoop基础设施提供共享存储后端增加了网络延迟,但它减轻了单个主要控制节点的负担。它还消除了对3倍复制的需要,因为大多数对象存储系统使用基于奇偶校验的数据保护方案,例如擦除编码。

使用对象存储系统的另一个优点是物联网设备可以直接将数据发送到Hadoop环境使用的同一存储设备中。数据的共享意味着容量消耗的减少,并且不浪费等待数据在物联网数据存储设备和Hadoop存储设备之间传输的时间。

该设计面临的挑战是数据中心可能仍然需要为其生产应用环境提供另一个存储系统。组织还可能需要存储和处理来自IP摄像机和类似物联网设备的视频数据。如果是这种情况,那么一些对象存储系统可能并不合适;调整其他存储系统以同时有效地处理大文件和小文件不是最佳的选择。

超越对象存储

数据中心内的协议开始混合。市场上的许多存储系统可以提供各种协议支持,包括对象,网络文件系统(NFS),服务器消息块(SMB),全球互联网小型计算机系统接口(iSCSI)甚至光纤信道(FC)。

每个协议对不同的用例执行良好。例如,采用光纤信道(FC)是关键任务数据库的理想选择,但对于Tier2和Tier3应用程序而言,它们通常被认为过于昂贵。全球互联网小型计算机系统接口(iSCSI)通常是较低优先级应用程序的首选协议。网络文件系统(NFS)非常适合高性能文件共享,并且正在获得作为虚拟机映像存储区域的牵引力。即使对于大数据或物联网项目,有时网络文件系统(NFS)也比对象存储更合适。

大多数数据中心将必须选择至少一个存储系统对其主要存储系统进行补充。虽然对象存储正在引起人们更的关注,但高性能和高性价比的NFS/SMB解决方案正在回归。这些系统像对象存储系统一样向外扩展,通常具有类似的擦除编码类型的数据保护,并支持各种协议。在某些情况下,他们可以执行所有上述操作。

组织选择哪种策略,将取决于他们期望管理的物联网类型和大数据以及项目的范围。另一个考虑因素是其当前存储资产的年限和适用性,以解决物联网和大数据问题。如果数据中心的当前生产存储支持Tier1和Tier2应用程序的高性能要求,则在后端添加对象存储可能是理想的。

如果Tier1和Tier2应用程序的性能要求稍微有些偏差,那么提供所有协议的单一存储基础设施可能会受到关注。虽然这些更通用的系统不能表现得如同集中式系统,但是它们通常为典型的数据中心提供足够的性能。此外,他们提供了整合到单个存储系统的好处。其结果应当是更低的成本,操作更为简单性。

物联网和大数据可以改变组织如何开展业务的方式。这二者的组合可以提供的洞察力使得企业能够显著地改进其创建新产品和响应客户的方式。但这些举措对IT基础设施,特别是存储系统将会产生重大的影响。

IT专业人员需要一个大数据和物联网项目的战略,使存储基础设施充分发挥其潜力。而正确地选择产品可以满足挑战,无论是数量庞大的文件和高容量文件,还是综合存储系统。