深度学习简介

[TOC]

深度学习简介

常规的系统功能仅用编程技巧即可实现。

对于一些仅用编程技巧无法解决的一些问题，比如识别猫。这类问题的解决关键在于图像理解，通过大量数据寻找同类数据的共有特征。

⽬前的机器学习和深度学习应⽤共同的核⼼思想：“⽤数据编程”。

机器学习是一门将不同的函数形式与大数据进行结合，利用大数据获取函数参数，解决实际问题的一门学科。研究如何使计算机系统利⽤经验改善性能。

深度学习是机器学习的一个分支，他的理论基础是神经网络。深度学习的形式通常是复杂的神经网络。深度学习是具有多级表示的表征学习⽅法。它可以逐级表示越来越抽象的概念或模式

深度学习起源

深度学习基于神经⽹络模型。核心思想是⽤数据编程。两者起源上个世纪。

大多神经网络的核心原则：

• 交替使⽤线性处理单元与非线性处理单元，它们经常被称为“层”

• 使用链式法则（即反向传播）来更新⽹络的参数。

深度学习发展

深度学习的发展一方面得益于计算力的提高；一方面得益于数据量增长，通过大量的数据寻找特征。

深度学习发展的部分原因：

• 优秀的容量控制方法，如丢弃法。

• 提出注意⼒机制，解决了在不增加参数的情况下扩展⼀个系统的记忆容量和复杂度。

• 记忆⽹络和神经编码器—解释器

• ⽣成对抗⽹络的发明

• 多GPU并行计算

• 深度学习框架

深度学习特点

• 端到端的训练。

• 含参数统计模型转向完全⽆参数的模型

• 对非最优解的包容

• 对非凸非线性优化的使⽤

• 勇于尝试没有被证明过的方法

深度学习模仿人脑结构利弊：

虽然深度学习从生命的生物机理中获得灵感，但它与大脑的实际工作原理差别非常非常巨大。将它与大脑进行类比给它赋予了一些神奇的光环，这种描述是很危险的，这将导致天花乱坠的宣传，大家在要求一些不切实际的事情。

深度学习训练过程实际上还是拟合参数，但是人脑神经元的相互作用不一定是拟合参数。