暗数据改变数据分析的5种方式

暗数据是企业在日常运营中收集、存储和处理的资料,但通常不会用于可能有益的目的。暗数据有多种方法影响企业分析和使用数据的方式。

1.暗数据有助于进一步研究当前的历史数据

例如,美国和其他一些国家公共资助研究的一部分收集的数据必须保存在公共数据库中。然而,一项研究调查了在20世纪70年代和80年代收集的关于浮游动物的材料是如何在该技术不可用于公布该数据的时候存在的。

科学家们知道,这种黑暗的数据可以提供有关海洋自过去几代由于气候变化而发生变化的宝贵信息。因此,有一个现代化的努力来挖掘那些黑暗的数据,并用它来激励正在进行的研究。

2.它使企业思考暗数据如何适应GDPR法规

2018年5月,“通用数据保护条例”(GDPR)将生效,并对所有存储和收集欧盟公民数据的企业产生影响。

其中最有趣的组成部分是消费者可以行使所谓的被遗忘权,并要求企业在特定情况下删除其数据。但是,如果企业继续忽略暗数据,那么履行这些要求可能会变得耗时且成本高昂。

IBM公司在2016年收集的统计数据发现,所有数据中有80%是暗数据,上非结构化的变体。毫不奇怪,分析人士指出,在GDPR法规下,如果在违规期间暗数据泄露,除了客户要求删除他们暗数据之外,没有关注暗数据的企业可能面临GDPR罚款的风险。这将遇到明显的挑战。

3.它为创新技术创造更多的用途

数据虚拟化是连接企业所有数据源并将其呈现在统一仪表板中的流程,可让人们实时或尽可能接近地查看编译的材料。它还为数据处理带来了灵活性,并且一些产品厂商认为他们的数据虚拟化解决方案可以为暗数据带来可见性。

人工智能(AI)可以促进帮助企业开始构建暗数据结构化和可用性,这是另一项技术进步。当企业依靠人工智能来揭示暗数据时,相关算法和自然语言处理可能使得这项任务比没有这种技术的工作人员更容易实现。

4.它有助于企业更多地了解人

Deloitte发布的名为“暗数据分析:照亮非结构化数据隐藏在2017年技术趋势中的机会”的报告讨论了一些医疗设施如何使用暗数据采取更全面的病人护理方法。

例如,在咨询期间,医生可以采取手写笔记并录音,并在电子邮件或基于云计算的应用程序中做笔记。收集所有信息并使其可用,可以改善治疗和见解,减少不正确的诊断或干预措施以及更合适的选择。

医疗保健领域的人们也希望暗数据能够分析人口群体。以前未使用的数据可能会预测未来的需求和疾病趋势,最终可能影响个人与医疗专业人员的交互,并帮助当地卫生部门了解其员工最有可能遇到的情况。

德勤公司报告重点关注正在调查暗数据如何帮助他们更多了解客户需求的零售商。获得许可后,一家名为StitchFix的在线服装订购公司进行了一项客户调查,以获取关于服饰偏好的详细信息,但随后查看受访者的社交媒体Feed和Pinterest董事会以挖掘更多数据。

大多数企业已经意识到他们拥有可访问的内容,可帮助他们了解客户。通过扩大他们的方法并查看暗数据,他们可以开发一个完整的受众图片并学习那些本来不为人知的东西。例如,暗数据可以通过强调未在结构化数据中捕获的模式来提供强烈地表明产品概念不适合市场需求的内容。

5.如果遗留非结构化数据,它会增加数据安全风险

企业可能不知道暗数据的价值至关重要,但这并不意味着黑客并不关注。网络犯罪专家表示,黑客攻击策略发生了变化,导致网络犯罪分子比以往任何时候都更加明确地查找到非结构化数据。

还有其他与非结构化数据相关的安全风险,例如无法知道它包含什么以及组织中的哪些员工应该访问它。如果出现意外的情况,这两个问题都可能使企业承担责任。

此外,企业持有的数据可能包括其提供的法庭传票提供的敏感细节,但如果将需求数据归类为暗数据,并不总是很容易找到。例如,一家公司花费了600万美元搜索法院案件所需的暗数据,说明如何优先考虑以实际方式对暗数据进行分类的方式有多重要。

通过制定调查暗数据的计划,而不是像不存在那样行事,企业可以采取主动而的策略。否则,他们可能错过机会,并且遇到不必要的复杂情况。