关于大数据,你不知道的几点

云计算的应用,更快的数据处理速度,以及从物联网输入大量的数据,这些意味着,企业现在正在收集前所未见的数据量。现在大数据比以往任何时候都大。但是如何组织、处理和理解数据仍然是许多组织面临的一个主要挑战。

你的公司是否仍然在努力理解大数据是什么,以及如何管理吗?这里有6个关于大数据的误区,行业专家将帮助你把真相从虚构的大数据领域中分离出来。

1.大数据意味着“很多”数据

目前,大数据已经成为一个流行词。但人们通常对它真正的含义还是不清楚。有些人将大数据简单地认为是大量的数据。但是,这并不完全正确,它比这稍微复杂一些。大数据是指一个数据集,无论是结构(如数据表)或非结构化(如元数据从电子邮件)结合的数据,如社会媒体分析或物联网数据,形成一个更大的故事。大数据故事说明组织很难用传统的分析技术来捕获发生的趋势。

丰田研究院的数据研究总监吉姆•阿德勒表达了一个很好的观点:“数据也有质量。这就像水一样:玻璃容器中的水是非常易于管理。但是,如果混杂在洪水中,这将是压倒性的灾害。”他说,“在数据分析系统中,工作在一台机器的的数据将被冲走时,其数据规模将增长100或1000倍。所以,当然,原型虽小,但其架构却很大。”

2.数据需要清洁

“最大的误区就是你必须要有干净的数据进行分析。”BeyondCore公司首席执行官阿里吉特•森古普塔说,“没有人有干净的数据,必须将数据进行清理,否则分析是行不通的。这是一个疯狂的想法。你要做的就是进行一个足够好的分析。你要分析所有的数据,尽管这些数据是肮脏的,这只说明你有数据质量问题。我可以告诉你一些模式,尽管数据存在质量问题,但完全可以进行正常分析。现在,你可以集中进行数据质量工作,只是提高数据可以得到稍微好一点的洞察力。”

InOutsource商业智能和分析总监梅根•布茨梅因对此表示赞同,“很多时候,企业就会将这些工作能拖就拖,因为他们认为数据是不干净的,这是没有必要的。部署的分析应用程序将可以找到数据的薄弱环节,”她说。“一旦这些问题已经确定,清理计划可以投入到位。然后,分析应用程序可以利用一种机制,加大清理力度,并监测进展情况。”

布茨梅因说。“一旦你把这些数据整合在一起,你将在一个应用程序中赋予它生命的视觉,你可以看到这些汇集在一起的数据的关联,你会很快看到你的资料不足。”她说,“你可以看到数据的问题在于要提供一个清理数据的基准。”

3.等待,让你的数据完美

你不应该等待清理你的数据,这里还有一个原因,森古普塔说,“在你完全清除数据之后,这可能需要三个月的时间,然而三个月后,这些数据已经陈旧过时了。”因此,这些信息将不再适用。

森古普塔表示,第一州际银行的乔希•巴特曼在会议提出了一个重要观点。乔希展示了他是如何运行分析,发现问题,分析变化,重新运行分析的。他说,“你看,我的分析时间只有大约四到五分钟。所以,如果我可以运行分析,发现问题,解决问题,再重新进行分析,并在四、五分钟后查看报告,改变如何处理分析的方法。”

森古普塔用编码来比喻那些旧方式。“我的一切都是正确的,然后我进行编码。但现在,每个人进行编码都不太灵活。”他说。“你写好程序之后,你必须要测试它,并查看如何能使它更好,那么等它变得更好之后。世界发生了变化,人们仍然采用的是旧的做事方法。”

4.数据湖

数据湖是持有大量的原始结构化和结构化数据的松散的存储库,经常在大数据的背景下提到。

唯一的问题是,尽管他们是如何经常被引用,但它们却不存在,阿德勒说,“一个组织的数据不被倒入一个数据湖中。这是精心策划的一个部门的数据库。鼓励集中使用专业知识。他们还提供了良好的数据治理和合规性所需的问责性和透明度。”

5.分析数据是昂贵的

如果假定在数据分析工具涉及一些费用的话,你可能会害怕获得数据。而可以告诉你的有好消息是,如今有许多免费的数据工具,任何人都可以开始使用这些工具来分析大数据。