深度学习入门,以及它在物联网和智慧城市中的角色

  有了深度学习,这个问题被分解为一系列层级化的映射——每个映射都由一个具体的神经层描述。

  将输入(表征我们实际观察的变量)展现给可见层。接着,一系列隐藏层从涉及到某个具体映射的输入中提取出越来越抽象的特征。然而请注意,这个过程并不是提前定义好的,也就是说,我们并不会指定每层选择的内容。

  举个例子:从像素中,第一个隐藏层识别出边缘

  从边缘,第二个隐藏层识别角和轮廓。

  从角和轮廓,第三个隐藏层识别目标的部分

  最终,从目标的部分中,第四个隐藏层识别出整个物体

  

 

  对物联网的启示

  让我们扼要重述:

  第一,深度学习算法可应用于多个领域,包括计算机视觉、图像识别、模式识别、语音识别、行为识别等。

  第二,深度学习系统现在有着完善的可能性,因为三个原因:高配置CPU、更好的算法及更多可用的数据。在接下来的几年里,这些因素会为深度学习系统带来更广泛的应用。

  第三,深度学习是最适合于数据庞大、参数之间关系复杂的情况。

  第四,解决直觉性问题:训练一个神经网络需要重复地向它展示:「给定一个输入,就会有一个正确的输出」。如果这个过程被进行了足够多次,这个网络就拥有了有效的训练,它就能模仿出你所模拟的方程。它会忽视与解无关的输入。但反过来,如果你没有给出关键性的输入,它就无法给出一个正确的解。这种模型可以应用于很多情况。

  另外,我们在这种技术上依然还有局限性。例如,我们还要走很漫长的路,深度学习系统才能发现你因为你的猫咪死掉了而很伤心(尽管IBM的沃森所衍生的认知玩具似乎正向着这个方向前进)。目前的关注点更多在于识别图片,猜测图片中人物的年龄(基于微软的Oxford项目的API。)

  正如吴恩达所提醒我们的那样,用建造火箭飞船的方法去思考人工智能。我们在这一点也的确还有进步的空间。

  「我认为AI类似于建造一艘火箭飞船。你需要一个巨大的引擎和很多燃料。如果 你有一个大引擎但是燃料却很少,你就无法让它飞上轨道。如果你有一个小引擎,但是却有上吨的燃料,你甚至没法让它飞起来。这和深度学习(创造人工智能的关键过程之一)的相似点在于,火箭引擎是深度学习的模型,燃料则是我们供给算法的海量数据。 」

  今天,由于技术的限制,我们仍然受限于规模化。谷歌推出的识别猫的神经网络有着16,000个节点。但是,一个人类大脑足足有着1000亿个神经元!

  下列是反向传播神经网络适用于的情景:

  有着大量的输入/输出数据,但是你并不确定如何与输出相关联。因此,我们有大量「给定一个输入,就有一个正确的输出」这样的情景可利用于训练神经网络,因为很容易创造出许多正确行为的样本。

  问题看起来有着极端的复杂度。复杂度产生于低规则、高维度以及很难表征的数据。然而,这里肯定有一个解决方法。

  问题的解决方法可能会随时间改变,在给出的输入与输出参数范围中(也就是说,今天的2+2=4,但是未来我们也许会发现2+2=3.8)。输出可能很「模糊」,或者是非数值的。

  某个领域的专业技能并不是必须的,因为输出可以纯粹来源于输入:这里存在一些争议,因为建立一个输出只依赖于输入的模型并不总是可能。不过,想想预测股市的例子吧。在理论上,有了足够多的股票价格的输入和输出例子,如果利用深度学习技术进行合适的训练,你可以创造出一个能够预测未知情景的模型。

  推论:我们需要在缺乏观察的情况下,也能够推出新见解。例如,基于音调的高低——我们可以推测出讲话者口音与种族。

  说到物联网领域,我们要考虑的首要问题是:

  哪些已有的应用可以通过增加直觉型成分(过去曾用在智慧城市),用深度学习技术来进行补充?

  测量和预测时采用什么度量指标?我们如何给这个指标增加一个直觉型的成分?

  哪些存在于计算机视觉、图像识别、模式识别、语音识别、行为识别等等的应用还可以应用于物联网?

  现在为了更加深入该领域,下面有一些我很感兴趣且正在关注的领域。