TripAdvisor工程师如何帮业务人员使用Hadoop

3

Hadoop是数据科学家分析数据的利器,但是对于完全不了解SQL的销售和客服人员来说Hadoop就像天书,一位TripAdvisor的工程师找到了改变这一局面的方法。

 

最近几个月来,全球最大旅游点评网站TripAdvisor(中国官网是daodao.com)的业务分析师们经常往开发部门跑,因为他们听说在Hadoop集群中有大量有价值的数据,但却不知如何查询。
 
如何帮这些业务人员无需学习类SQL的HQL查询语言就能使用Hive查询Hadoop数据呢?TripAdvisor的攻击软件开发人员Stephen Scaffidi利用业余时间想出了一个办法。

2

Scaffidi开发了一个Hive查询工具并开源到Github上,这样很多部门的人员都可以借助这个工具使用Hive查询Hadoop数据。业务人员登录这个工具的界面后可以请求Hive查询,当任务完成时该工具会给用户发送一封电子邮件,内容包括一个web网页链接,显示工作的进度,还提供数据下载。整个过程非常简单,非数据科学家也能用上Hive。
 
在本周圣何塞的Hadoop峰会上,Scaffidi说道:
 
我们需要能让用户快速用起来的工具,而不是在繁冗的安装、配置后依然无法使用。目前我们的员工对这个工具很满意,而且要求增加更多功能。
 
下一步,Scaffidi打算改进后台代码,并开发一个系统让用户能够调用重复的查询任务,这里有一个Scaffidi介绍Hive查询工具的演讲稿。
 
Scaffidi的Hadoop查询工具大大推动了TripAdvisor公司内部的大数据民主化进程,而开源后更多的企业也将从中获益。

来源:ctocio

更多详细信息,请您微信关注“计算网”公众号: