Splunk实现与Hadoop的集成与监控

2012年10月24日,实时运营信息软件供应商Splunk宣布Splunk Hadoop Connect和Splunk App for HadoopOps现已全面上市。Splunk Hadoop Connect可提供双向集成,轻松可靠地完成在Splunk与Hadoop之间迁移数据。Splunk App for HadoopOps可对端到端Hadoop环境的健康和性能进行实时监控和分析。Splunk Hadoop Connect和 Splunk App for HadoopOps即日起可供下载。

Apache Hadoop项目管理委员会主席Arun Murthy表示:“Splunk Hadoop Connect让Hadoop用户更轻松地利用Splunk将大数据带入企业。它让Splunk和Hadoop更紧密地联系在一起,为用户开启了无限可能。Hadoop未来发展的关键技术因素是利用Hadoop从数据中获得情报的软件。”

Edmunds.com生产工程高级总监John Martin表示:“我们不断将数据传输至Splunk,以支持我们的运营、应用、安全团队和高管人员并为他们提供情报。我们还部署Hadoop进行多批处理。Splunk和Hadoop的集成让我们可以充分利用这两个技术,并保证我们的Hadoop集群平稳运行。”

Splunk Hadoop Connect让企业能够充分享受两家企业的技术。快速部署Splunk进行实时采集、检索、分析和可视化,然后可靠地将事件转发至Hadoop,进行长期归档和更多批量分析。企业机构可通过导入存储在Hadoop中的数据进一步充分利用Splunk,从而在几天内就轻松搭建起可靠、安全的企业级大数据项目。Splunk Hadoop Connect与Apache Hadoop兼容,并已经过Cloudera CDH和Hortonworks HDP发布的测试和认证。

Splunk App for HadoopOps为Hadoop提供实时端到端监控、分析和故障排除,所有这些都是在一个界面上完成的。现有Hadoop监控工具只关注Hadoop层。Splunk App for HadoopOps则通过涵盖基础设施,包括Hadoop、网络、交换机、机架、操作系统和数据库在内的所有层,从而实现超越。

Splunk产品营销副总裁Sanjay Mehta表示:“通过将大数据转化为实时情报,Splunk客户每天都为我们带来惊喜。我们希望让Hadoop用户更轻松地获得这种价值。Splunk可通过轻松、迅速、弹性的方式来收集、分析用户所有机器生成的数据并确保其安全,无论是在物理、虚拟还是云环境中。Splunk Hadoop Connect和Splunk App for HadoopOps有一个共同的开发目的,即:帮助Hadoop用户从数据中获得更多,同时更轻松地管理并监控其系统。”

451 Research数据管理与分析研究经理Matt Aslett表示:“Splunk采用一种方法论方式来定义其与Hadoop的共存关系。Splunk Hadoop Connect不仅能够与Hadoop相集成,并且能够与其进行互动,再加上利用Splunk App for HadoopOps来监控超越Hadoop本身的集群资源,意味着它能够在‘提供管理和分析Splunk和Hadoop中数据的单一平台’方面发挥更大作用。”

Splunk Hadoop Connect功能包括:

  • 将事件从Splunk Enterprise™可靠导出至Hadoop,以便进行归档、进一步处理或进行更多批量处理。原始数据和处理前的数据都可发送。
  • 利用Splunk Hadoop Connect用户界面来探索Hadoop目录,检查文件并决定将导入Splunk的数据。
  • 将Hadoop数据导入Splunk,并进行检索,使其用于搜索、报告、分析和可视化,并通过基于角色的访问控制而对其进行保护。

Splunk App for HadoopOps功能包括:

  • 除了从不同数据中心进行多集群管理,还可端到端监控Hadoop集群、数据库和网络,并排除故障。