近年来，以深度神经网络(Depp Neural Networks)为基础的深度学习(Deep Learning)[2]逐渐进入大众的视野，人们所津津乐道的战胜多名人类顶尖选手的AlphaGo[3]就是其中一例，它运用先进的深度强化学习(Deep Reinforcement Learning)等技术，在围棋决策问题上取得令人瞩目的成绩。

        不只在围棋等决策方面，深度学习技术在语音识别(Speech Recognition)[4]、图像分类(Visual Object Recognition)[1]、目标检测(Object Detection)[5]甚至药物研究(Drug Discovery)[6-8]、基因组学(Genomics)[9,10]等领域都取得了超越传统算法的成就。

        深度学习的本质是构建错综复杂的结构——神经网络(Neural Networks)，其以层(Layers)为主要单位，通过使用反向传播算法(Backpropagation algorithm)调整用以计算每一层输出的内部参数，让它学习一个庞大的数据集(Datasets)中的复杂数据分布(Data distribution)，从而输出与我们期望相同的结果。而这一调整参数的过程我们称之为训练(Training)。

        进行这样的训练是简单的，因为实现它所需要的人类知识主要由求导的链式法则(Chain Rule)和一些矩阵和向量之间的运算组成，但它背后的统计学知识和计算理论是让人望而生畏的。然而由于很多时候是一个经过精细调整的模型而不是高深的数学知识成就了一个表现优异的神经网络，在深度学习领域中出现了许多对基础知识了解不足而沉迷于摆弄各种模型的人，其他的一些人称他们为“炼丹师”，旨在讽刺他们不学无术的行径。

        不过过于看重数学知识在深度学习中的重要性的态度也是颇具争议的，因为一方面我们要利用数学知识去构建神经网络、去解释神经网络的工作原理，但另一方面我们总是需要一些调整模型的技巧和经验将我们的模型的效能发挥到最大，所以在两者之中进行权衡就显得较为重要。

        深度学习主要代表是卷积神经网络(Convolutional Neural Networks, CNN)和递归神经网络(Recurrent Neural Networks, RNN)，它们为深度学习的崛起奠定了良好的基础：前者在处理图像、视频、音频数据方面有较优异的表现，而后者则更为擅长于文本或是语音等序列化的数据(Sequential Data)。

卷积神经网络

卷积神经网络一般由三个类型的层构成：卷积层(Convolution Layer)、池化层(Pooling Layer)(又被称为下采样层(Sub-sampling Layer))和全连接层(Fully-connected Layer)

        卷积神经网络主要的特征是在神经网络前部加入了由卷积层和池化层构成的对具有空间关系输入进行处理的部分，而原本神经网络的部分则被称为全连接层。

卷积操作

离散的二维卷积操作通常可以表示为该像素及其周围像素乘以它们各自相对位置对应权值(Weights)的和。权值矩阵被称为卷积核(Kernels)。

        卷积层和池化层的组合使得神经网络能够较好应对不同大小的输入，并使得它在特征可能出现位移(比如不同图像输入的某一共同特征可能出现在不同的区域)的数据上拥有更好的表现，同时也使得它相较于全连接的方法拥有更少的参数和更高的速度。

        卷积操作有多种维度，而不同维度的卷积操作适合不同类型的数据，这就使得卷积神经网络能够处理许多类型的数据：一维卷积可以处理序列化文本、音频波形等数据；二维卷积可以处理由傅里叶变换处理过的音频数据、单色或是彩色图像等数据；三维卷积可以处理视频数据、CT扫描结果等数据。

循环神经网络

        循环神经网络在整个神经网络的系统中加入了时序的概念，将输入序列序列分裂成每一时间节点的输入，而每一时刻的神经网络的状态都由其前一时刻的状态和当前时刻的输入所计算出。

DGX-2

        同时奠定深度学习基础的还有计算能力的极大提升，深度学习的优异表现依赖于其复杂模型的惊人的计算复杂度，因此，深度学习极其依赖其所使用的硬件环境，而通常的CPU难以支撑如此庞大的计算量，所以现在大量的深度学习模型都是运行在GPU等拥有较强运算能力的计算设备上，而开发用于加速神经网络训练和推理的专用芯片也成为了一大热门。

参考文献

1. Krizhevsky, Alex, I. Sutskever, and G. E. Hinton. “ImageNet classification with deep convolutional neural networks.” International Conference on Neural Information Processing Systems Curran Associates Inc. 2012:1097-1105.
2. Lecun, Yann, Y. Bengio, and G. Hinton. “Deep learning.” Nature 521.7553(2015):436.
3. Silver, David , et al. “Mastering the game of Go with deep neural networks and tree search.” Nature 529.7587(2016):484-489.
4. Hinton, Geoffrey, et al. “Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups.” IEEE Signal Processing Magazine 29.6(2012):82-97.
5. Ren, Shaoqing, et al. “Faster R-CNN: towards real-time object detection with region proposal networks.” neural information processing systems (2015): 91-99.
6. Aliper, Alexander, et al. “Deep Learning Applications for Predicting Pharmacological Properties of Drugs and Drug Repurposing Using Transcriptomic Data.” Molecular Pharmaceutics 13.7 (2016): 2524-2530.
7. Kadurin, Artur, et al. “druGAN: An Advanced Generative Adversarial Autoencoder Model for de Novo Generation of New Molecules with Desired Molecular Properties in Silico.”Molecular Pharmaceutics 14.9 (2017): 3098-3104.
8. Gupta, Anvita, et al. “Generative Recurrent Networks for De Novo Drug Design.” Molecular Informatics (2018).
9. Kelley, David R., Jasper Snoek, and John L. Rinn. “Basset: Learning the regulatory code of the accessible genome with deep convolutional neural networks.” Genome Research 26.7 (2016): 990-999.
10. Zhou, Jian, and Olga G. Troyanskaya. “Predicting effects of noncoding variants with deep learning-based sequence model.” Nature Methods 12.10 (2015): 931-934.