人工智能、大数据与深度学习之间的关系和差异

5

网络上从不缺乏对数据科学术语进行比较和对比的文章。文笔各异的人写出了各式各样的文章,以此将他们的观点传达给任何愿意倾听的人。这几乎是势不可挡的。

所以我也记录一下,对于那些疑惑此文是否也是雷同的帖子。对,是这样的。

为什么再来一帖?我是这样想的,尽管可能有很多分散观点在定义和比较这些关联术语,但事实上是,这些术语中的大部分是流动变化的,并不完全约定俗成,坦率地说,与他人观点一同暴露是测试和优化自己的观点的最好方法之一。

所以,虽然大家可能不会完全(甚至是极低限度地)同意我对这些术语的大部分看法,但仍然能从中获得一些东西。数据科学中的一些核心概念需要被解释,或者至少在我看来是重要的,我会尽力阐述他们如何关联,以及答疑这些个体概念组合在一起时遇到的困惑。

在独立地思考概念之前,有个不同观点的例子,KDnuggets的Gregory Piatetsky-Shapiro的维恩图,概述了我们将要讨论的数据科学术语之间的关系。建议读者将此维恩图与目前Drew Conway的著名的数据科学维恩图,以及我下面的讨论和帖子底部的修改过程/关系图进行比较。我认为,尽管存在差异,但这些概念具有一定的相似性。

6

现在我们将对上述维恩图中圈选的6个核心概念进行分析,并提供一些关于如何将它们融入数据科学的洞察。我们很快就会摒弃过去十年最热门的一些术语。

大数据(Big Data)

有各种各样的文章在定义大数据,我不打算花太多时间在这个概念上。简单地来说,大数据通常被定义为“超出常用软件工具捕获,管理和处理能力”的数据集。 大数据是一个移动目标; 这个定义既模糊又准确,足以捕捉其主要特征。

7

至于其他的概念,我们将通过调查,很好的获得搜索字词的流行度和N-gram频率模型的一些初步了解,以便将这个难点与热点炒作分开。鉴于这两个概念相对较新,从1980年至2008年,N-gram频率模型作为一个“旧”的概念如上图所示。

最近的Google趋势显示2个新词上升,另外2个保持持续上升,以及最后一个逐渐下降但有明显的下降。请注意,由于已经对数据进行了定量分析,‘大数据’未包含在上述图形中。继续阅读,以便进一步了解观测结果。

机器学习(Machine learning)

据Tom Mitchell在关于这个主题的创作书中阐述,机器学习“关心的问题是如何构建计算机程序使用经验自动改进”。机器学习本质上是跨学科的,采用计算机科学,统计学和人工智能等方面的技术。机器学习研究的主要工作是促进经验自动改进的算法,可以应用于各种不同领域。

我不认为有人会怀疑机器学习是数据科学的核心组成。我在下面给出数据科学的详细描述,如果你认为在一个非常高的水平上其目标是从数据中获取洞察力,其实机器学习是允许此过程自动化的。机器学习与古典统计学有很多共同点,因为它使用样本来推断和概括。数据统计更多地侧重于描述性(尽管可以通过外推来预测),机器学习对描述性分析的关注很少,并且仅将其用作中间步骤以便能够进行更好预测。机器学习通常被认为是模式识别的同义词;真的不会从我这里发生太多的分歧,我相信,‘模式识别’这个术语意味着实际上是一个比机器学习更不复杂和更简单化的过程,这就是为什么我倾向于回避它。

机器学习与数据挖掘有着复杂的关系。

数据挖掘(Data Mining)

Fayyad,Piatetsky-Shapiro&Smyth将数据挖掘定义为“从数据中提取模式的特定算法的应用”。这表明,在数据挖掘中,重点在于算法的应用,而不是算法本身。我们可以定义机器学习和数据挖掘之间的关系如下:数据挖掘是一个过程,在此过程中机器学习算法被用作提取数据集中的潜在有价值模式的工具。

‘数据挖掘’作为机器学习的姊妹术语,也是数据科学的关键。在数据科学术语爆发泛滥之前,事实上,数据挖掘’在Google搜索术语中取得了更大的成功。看看Google趋势比上图显示的还要早5年,数据挖掘’曾经更受欢迎。然而,今天,数据挖掘’似乎被划分为机器学习和数据科学之间的概念。若有人同意上述解释,数据挖掘是一个过程,那么将数据科学视为数据挖掘的超集,那么后续的术语都是有意义的。