1 / 93

阿臻的学习笔记

AI

README

这是方向臻的学习笔记和资源存储仓库(资源请从github下载)。

Scheduling

用于发布个人阅读深度强化学习+Scheduling领域的读后感

一种JSSP的DRL环境

问题：

JSSP的输入和输出方式？
JSSP的处理过程？
为什么makespan结果会比其他的论文好？
代码中有哪些细节值得借鉴？
论文中的其他困惑点？

IO过程(问题1回答)：

一次只读入一个实例
使用标准的JSSP文件（txt）方式读写，样例可看困惑点2
一个二维数组solution，若是-1表示没排，否则为开始运行的时间步

处理过程(问题2回答)：

离散集合={Job是否加工-J$_i$，空闲状态}，机器选择行为，行为对应作业和空闲
1. 因此，对于每个Job而言，需要完成|M|个行为(机器的数量)。每个行为表示Job在每台机器上的加工时间，如果不需要在该机器上执行，可以当作一个0？
2. 对于每个机器而言，需要运行至少|J|个与job有关的行为，加上若干个no-op（空闲）操作。

奖励函数细读(问题3回答):

该函数相对于makespan能得到更紧密的解。

不用执行到最后一步，就能获得一个局部reward。
makespan可以看成是全局p+empty，而这里是局部的p-empty，那么改变之处在于系数-1和全局变为局部。

代码中的优点(问题4回答)：

作者新建自己环境的代码十分受用，让我对新建gym的环境有了一个详细的了解
wandb和ray两个库的使用具有一定的启发，但可能更适合较大的项目
1. wandb能够使得训练日志自动上传网络并绘图

困惑点(未解决，问题5)：

第四页中的问题对称性，讲述了一些JSS问题的对称性，通过破坏对称性，而降低搜索解空间的大小
1. 同一时间步长中，操作具有对称性，也就是操作的执行顺序待定。怎么解决？以及为什么说直接赋予机器从小到大的索引会导致失去全局视图。
2. 同一机器中，"运行"操作和"无运行"操作具有对称性，也就是op和no-op两者的执行顺序待定。解决方案：当no-op时，其他的操作临时设未不可执行。以及通过非最终状态优先调度的规则。

复现代码时候遇到的问题(已解决，记录)：

'env': 'JSSEnv:jss-v1'，该环境已经创建好并上传gym库中，作者使用的ray库会自动生成一个包含该环境名字的本地日志。而windows文件不允许冒号，所以需要修改ray库的底层代码中的日志文件名字生成方式。

代码阅读：

大体分三块

强化学习环境：已经注册成gym库的环境，各种强化学习包都可以用。
CP.py：是使用OR tools的求解器，进行求解的方法，能达到比较好的解。
mian.py：使用ray中的PPO算法，只修改了一个全连接层，然后定义了一些参数，就可以使用作者的环境来训练。

其他读后感主要写在代码注释中，目前均已跑通。

Paper

非侵入信号深度学习

第一节，介绍论文

工作流程包括几个关键部分：脑信号采集、信号预处理、特征提取、分类和数据分析

分类结果用于控制智能设备，称之为脑机接口

头骨让信号保真度为5%（以信噪比（SNR）衡量）

预处理：包含多个步骤，如信号清理（平滑噪声信号或解决不一致性）、信号标准化（沿时间轴对每个信号通道进行标准化）、信号增强（去除直流电）和信号压缩（呈现信号的简化表示）。

分类结果应用：神经疾病诊断、情绪测量和驾驶疲劳检测。

脑机接口的深度学习的分类：

仅用于特征提取；
仅用于分类；
同时用于特征提取和分类。

传统BCI所面临的挑战：

大脑信号很容易被各种生物因素（如眨眼、肌肉伪影【肌肉产生的电波对脑电波的影响】、疲劳和注意力集中程度）和环境因素（如噪音）所破坏
低信噪比的非平稳脑电生理信号
特征提取高度依赖于人类在特定领域的专业知识。

深度学习好处：

直接作用于原始的大脑信号
深层神经网络和第二层神经网络都能捕获潜在的，具有代表性的特征。

综述论文贡献：

对非侵入性脑信号论文的全面性调查
1. 脑电图及其亚类（运动脑电图，P300等）
2. 功能性近红外光谱(functional near - infrared spectroscopy , fNIRS)【利用血液的主要成分对600-900nm近红外光良好的散射性，从而获得大脑活动时氧合血红蛋白和脱氧血红蛋白的变化情况，产生功能性神经影像】

综述论文内容：

回顾大脑信号和深度学习技术
讨论了流行的深度学习技术和最新的脑信号模型，为在给定特定信号亚类的情况下选择合适的深度学习模型提供了实用指南。
回顾了基于深度学习的脑信号分析的应用，并指出了一些有前景的未来研究课题。

第二节，介绍大脑信号的分类

基于信号收集方法的非侵入性脑信号分类（虚线不调查）

P300包含于ERP中。

ERP：一种特殊的脑诱发电位，通过有意地赋予刺激以特殊的心理意义，利用多个或多样的刺激所引起的脑的电位。它反映了认知过程中大脑的神经电生理的变化，也被称为认知电位，也就是指当人们对某课题进行认知加工时，从头颅表面记录到的脑电位。

其他脑成像技术（fNIRS，fMRI）中的视觉/听觉任务未曾有采用过深度学习，但理论上可行。

第三节，概述常用的深度学习模型

分类模型：Multi-Layer Perceptron (MLP) , Recurrent Neural Networks(RNN) , Convolutional Neural Networks (CNN) --> 特征提取和分类

表示模型：Autoencoder(AE), Restricted Boltz-mann Machine (RBM) , Deep Belief Networks(DBN) --> 只能特征提取

生成模型：Variational Autoencoder (VAE)，Generative Adversarial Networks (GANs) --> 主要用于生成脑信号样本，增强训练集

各个非侵入式脑信号特征：

第四节，最先进的脑信号深度学习技术

4.1 EEG

4.1.1 自发脑电波

4.1.1.1 睡眠脑电：

主要用于识别睡眠阶段、诊断睡眠障碍或培养健康习惯

睡眠阶段包括清醒、非快速眼动1、非快速眼动2、非快速眼动3、非快速眼动4和快速眼动。

美国睡眠医学学会（AASM）建议将睡眠分为五个阶段：清醒、非快速眼动1、非快速眼动2、慢波睡眠（SWS）和快速眼动。

识别睡眠阶段，一般通过滤波器实现脑电信号的预处理，数据通常是30s的窗口，50hz。

分类模型：CNN用于单通道EEG的睡眠阶段分类，86%精确度
表示模型：DBN-RBM（深度置信网络-受限玻耳兹曼机）从睡眠脑电信号中提取功率谱密度（PSD,表示随机信号的强度），在局部数据集达到F-1值92.78%（兼顾召回率和精确度）
混合模型：

4.1.1.2 运动想象脑电：

深度学习在运动想象脑电图和真实运动脑电图的分类上显示出优越性

分类模型：大多使用CNN来识别脑电图，例如：
- 有分别采用CNN和二维CNN进行分类的
- 从EEG信号中学习情感信息，构建改进的LSTM控制智能家电

4.1.1.3 情绪脑电图

个体的情绪可以从三个方面来评价：评价值（积极感情的值）、唤起度（激动的程度）和控制力。

这三个方面的结合形成了恐惧、悲伤和愤怒等情绪，这些情绪可以通过脑电图信号来揭示。

分类模型：传统上使用MLP，CNN和RNN正在越来越流行
- 典型的基于CNN：CNN的分层，扩充CNN训练集
- 通过多通道脑电信号转化为二维矩阵来捕捉通道之间的空间相关性

4.1.1.4 精神病脑电图

大量研究人员利用脑电图信号诊断神经系统疾病，特别是癫痫发作

分类模型：CNN广泛应用于癫痫发作的自动检测
- CNN对癫痫发作的高通量（1hz）EEG信号进行研究，获得了94.7%的AUC
- 在抑郁症检测上采用了13层CNN模型，在30名受试者的局部数据集上进行了评估，基于左半球和右半球EEG信号的准确率分别为93.5%和96.0%

4.1.1.5 数据增强

实验1：EEG信号转换为图像

首先证明了脑电波中包含的信息被赋予了区分视觉对象的能力
然后使用RNN提取了更健壮、更具区分性的脑电数据表示。
最后，利用GAN范式训练了一个由学习的EEG表示调节的图像生成器，该生成器可以将EEG信号转换为图像

实验2：将EEG信号转换为图像

当受试者观察屏幕上的图像时，采集脑电图信号。将脑电信号的潜在结构作为输入，提取脑电信号的潜在特征。
GAN的产生器和鉴别器均由卷积层构成。该发生器根据训练后的脑电信号生成图像。

实验3：癫痫发作数据增强的GAN（生成式对抗网络）

发生器和鉴别器都是由全连接层组成的。
作者证明了GAN优于其他生成模型，如AE和VAE（可变自动编码器）。增强后，分类准确率从48%提高到82%。

4.1.1.6 其他

实验1：听觉/视觉刺激（持续存在的刺激）如何影响脑电图信号

13名受试者受到23种节律性刺激的刺激，其中包括12种东非和12种西方刺激。
对于24类分类，提出的CNN平均准确率为24.4%。
之后，作者利用卷积AE进行表征学习，CNN用于识别，12类分类的准确率达到27%

实验2：区分是在听歌还是想象歌曲

提出两个深度学习模型，使用二值分类任务，所提出的CNN和DBN-RBM（三个RBM）的准确率分别为91.63%和91.75%。

实验3：自发脑电图可以用来区分使用者的心理状态（逻辑与情绪）

实验4：认知负荷（处理具体任务时加在学习者认知系统上的负荷）或体力负荷对EEG的影响

首先通过小波熵和频带比功率提取信息特征
然后将其输入DBN-RBM进行进一步细化。
最后，利用MLP对认知负荷水平进行识别。

实验5：在不同心理负荷下，受试者之间及受试者本身中的一般特征是恒定的。

从高水平脑电信号中收集的脑电信号。
脑电信号经低通滤波器滤波后，转换到频域，计算功率谱密度（PSD）。
提取的PSD特征被输入到去噪D-AE结构中，以便于进一步的细化。最终得到了95.48%的准确率。

实验6：驾驶员疲劳检测 --- 三维CNN

精神疲劳程度的识别，包括警觉、轻度疲劳和严重疲劳

实验7：驾驶员疲劳检测 --- ICA+DBN-RBM

ICA(独立成分分析)对脑电信号预处理
采用DBN-RBM进行分类
达到85%左右准确率，二分类（“昏昏欲睡”或“警惕”）。

实验8：驾驶员疲劳值检测 --- DBM-RBM+SVM，精度达到73.29%

实验9：调查了不同低负荷水平下驾驶员的心理状态。提出了一种基于脑电信号直接检测驾驶负荷的CNN方法。

实验10：基于EEG信号的眼睛状态（闭或开）的检测

三个RBM的DBN-RBM和三个AEs的DBN-AE，98.9%的高准确率
MLP，97.5%准确率

事件相关去同步（ERD）表示正在进行的EEG信号的功率下降，

事件相关同步（ERS）表示EEG信号的功率增加

实验11：采用CNN在观看特定视频时通过脑电图检测学校欺凌行为。

二分类和四分类分别达到93.7%和88.58%。

实验12：结合RNN和CNN提出了一个级联框架来预测个体的情感水平和个人因素（五大人格特征、情绪和社会背景）。

实验13：试图根据使用者的脑电图信号来识别他们的性别

采用标准的CNN算法，在局部数据集上实现了81%的二元分类精度

实验14：驾驶员的脑电图信号可以区分刹车意图和正常驾驶状态

**实验15：**将大脑信号和推荐系统结合起来，通过EEG信号预测用户的偏好。

共有16名受试者接受了60个手镯状物体作为旋转视觉刺激物（3D物体）时采集脑电信号的实验。
然后采用MLP预测用户喜欢或不喜欢。本次勘探的预测精度为63.99%。

**实验16：**试图探索一个可用于各种脑信号范式的共同框架，并评估鲁棒性。基于compact CNN的EEGNet [73]

4.1.2 EP诱发电位

4.1.2.1 ERP事件相关电位

在大多数情况下，ERP信号都是通过P300现象来分析的。

4.1.2.1.i VEP视觉诱发电位

较热门。

实验1：通过深度学习提取具有代表性的特征来研究运动开始的 VEP（mVEP）

采用遗传算法结合多级传感结构对原始信号进行压缩。
压缩后的信号被发送到DBN-RBM算法中，以获取更抽象的高层特征。

实验2：P300信号特征提取

通过带通滤波器（2∼35hz）过滤视觉刺激的P300信号，
然后输入混合深度学习模型进行进一步分析。
该模型包括一个2D CNN来捕获空间特征，然后在LSTM层中进行时间特征提取。

实验3：使用AE模型进行特征提取，然后使用支持向量机分类器。

实验中，每一段包含150个点，分为五个时间步，每一步有30个点。
该模型在局部数据集上获得了88.1%的准确率。

实验4：DBN-RBM代表性模型与支持向量机分类器相结合进行隐藏信息测试（？？），97.3%准确率

实验5：提高P300写字机准确率

一种基于CNN的新模型，该模型包括5个具有不同特征集的低层CNN分类器
最后由低层分类器投票得到最终的高层结果。
第三届BCI竞赛数据集II中，最高准确率达到95.5%

4.1.2.1.ii AEP听觉诱发电位

较少研究。

实验1：提出并测试了18个CNN结构来对单次试验的AEP信号进行分类。

利用耳机产生古怪范式设计的听觉刺激来获得数据。
实验分析表明，无论卷积层数多少，CNN框架都能有效地提取时空特征。
实验结果表明，下采样数据的效果更好。

4.1.2.1.iii RSVP快速连续视觉表示

CNN和MLP在这里取得一定成功。

实验1：一种针对RSVP的主题间和任务间检测的CNN模型。

实验结果表明，CNN在交叉任务中表现良好，但在跨主题情境下表现不佳。

实验2：比较了三种不同的深度神经网络算法，以预测受试者是否看到了目标。

MLP、CNN和DBN模型的AUC分别为81.7%、79.6%和81.6%。

...

4.1.2.2 SSEP稳态诱发电位

大多数研究稳态视觉诱发电位（SSVEP），指由闪烁的视觉刺激引起的脑震荡，通常产生于顶叶和枕叶。当施加一个恒定频率的外界视觉刺激时，与刺激频率或谐波频率相一致的神经网络就会产生谐振，导致大脑的电位活动在刺激频率或谐波频率处出现明显变化，由此产生SSVEP信号。

实验1：寻找SSVEP的中间表现形式。

提出了一种结合CNN和RNN的混合方法，直接从时域中提取有意义的特征，准确率达到93.59%。

实验2：紧凑CNN直接处理原始结果

平均准确率80%左右

实验3：采用了一种典型的稀疏AE模型，从多频视觉刺激中提取SSVEP的不同特征。

该模型采用了一个softmax层进行最终分类，准确率为97.78%。

...

4.2 fNIRS功能性近红外光谱

较少研究。

定义：利用血液的主要成分对600-900nm近红外光良好的散射性，从而获得大脑活动时氧合血红蛋白和脱氧血红蛋白的变化情况，产生功能性神经影像。

实验1：基于fNIRS信号分析了两种心理任务（心算和休息）之间的差异。

从前额叶皮层fNIRS中手动提取了6个特征，并比较了6个不同的分类器。
结果表明，MLP的准确率为96.3%，优于所有传统的分类器，包括SVM、KNN、naivebayes等。

实验2：试图通过fNIRS信号检测受试者的性别。

作者使用三层隐层去噪D-AE来提取显著特征并输入MLP分类器进行性别检测。
该模型在本地数据集上进行了评估，平均准确率为81%
相比fMRI信号，fNIRS具有更高的时间分辨率和更经济的价格

4.3 fMRI功能性磁共振成像

利用磁振造影来测量神经元活动所引发的血液变化。从而监测大脑活动

该领域，近年用了不少深度学习方法，特别是认知功能障碍的诊断上。

4.3.1 分类模型

分类模型中，CNN是一种很有前途的fMRI分析模型

实验1：根据功能磁共振成像（fMRI）和核磁共振成像（MRI）数据，应用深层CNN识别阿尔茨海默病。

实验2：利用一种新的CNN算法建立了一种基于fMRI的脑肿瘤分割方法，它可以同时捕获全局特征和局部特征

实验3：采用CNN模型处理脑瘤患者的功能磁共振成像（fMRI）进行三类识别（正常、水肿或活动性肿瘤）。在BRATS数据集上对模型进行了评估，得到了88%的F1分数

实验4：利用CNN进行特征提取。提取的特征用支持向量机分类，用于癫痫发作的检测

4.3.2 表示模型

大量文章证明了表示模型在识别功能磁共振成像数据方面的有效性。

实验1：利用一个由三个RBM分量组成的DBN-RBM从ICA处理的fMRI中提取显著特征，最终在四个公共数据集上实现了90%以上的F1平均测量值。

实验2：DBN-RBM和DBN-AE检测阿尔茨海默病

前者95.4%，后者97.9%。

实验3：应用D-AE模型从静止状态的fMRI数据中提取潜在特征，用于诊断轻度认知功能障碍（MCI）。-

将潜在特征输入支持向量机分类器，识别率达到72.58%。

4.3.3 生成模型

自然图像的重建引起广泛的关注。

实验1：从fMRI中重建视觉刺激的深卷积GAN，

目的是训练生成器生成与视觉刺激相似的图像。
发生器包含四个卷积层，以便将输入的fMRI转换为自然图像。

4.4 MEG脑磁图

用于测量由大脑中神经元的电活动引起的磁场。通过磁变化反映大脑活动

实验1：致力于通过去除诸如眨眼和心脏活动等伪影来细化MEG信号。

首先对MEG单峰进行ICA分解
然后用一维CNN模型进行分类。
最后，该方法在局部数据集上的灵敏度达到85%，特异性达到97%。

实验2：目标同实验1

该方法利用CNN获取时间特征，MLP提取空间信息

第五节，大脑信号的应用

5.1 医疗保健

基于深度学习的大脑信号系统主要用于检测和诊断精神疾病，如睡眠障碍、阿尔茨海默病、癫痫发作等。

睡眠障碍：

对于睡眠障碍的检测，大多数研究都集中在基于睡眠自发脑电图的睡眠阶段检测上。DBN-RBM和CNN被广泛应用于特征选择和分类。

阿尔茨海默病：

功能磁共振成像在阿尔茨海默病的诊断中有着广泛的应用。优点是高空间分辨率，几项研究的诊断准确率均在90%以上。

癫痫：

癫痫发作的检测主要基于自发脑电图。流行的深度学习模型包括独立的CNN和RNN，以及结合RNN和CNN的混合模型
例如，将D-AE应用于特征提取，然后将支持向量机应用于癫痫诊断

研究人员已经证明了深度学习模型在检测大量精神疾病方面的有效性，如抑郁症[113]、发作间期癫痫放电（IED）[230]、精神分裂症[211]、克雅氏病（CJD）[123]和轻度认知障碍（MCI）

5.2 智能设备

随着物联网的发展，越来越多的智能环境可以连接到大脑信号。
例如，辅助机器人可用于智能家居，其中机器人可以由个体的大脑信号控制。
基于视觉刺激的自发EEG和fNIRS信号的机器人控制问题。

5.3 信号传输

P300 speller，深度学习模型使大脑信号系统能够从非300片段中识别出P300片段
使用一种结合RNN、CNN和AE的混合模型，从MI-EEG中提取信息特征来识别用户想要说的字母。

5.4 安全保密

应用于身份识别和身份验证

前者通过多类别分类来识别一个人的身份[6]。后者进行二元分类来决定一个人是否被授权
主要使用视觉刺激产生的信号来作为输入。

5.5 情感计算

个性化信息（如多媒体内容）检索或智能人机界面设计

试图根据脑电图信号，使用深度学习算法（如CNN及其变体）将用户的情绪状态分为两类（积极/消极）或三类（积极、中性和消极）
DBN-RBM是从情绪自发脑电图中发现隐藏特征的最具代表性的深度学习模型

5.6 驾驶员疲劳度检测

一般情况下，如果驾驶员的反应时间小于0.7秒，则认为驾驶员处于警戒状态；如果反应时间大于2.1秒，则认为驾驶员处于疲劳状态。

目前，基于EEG的驾驶困倦可以得到较高的识别率（82%∼95%）

5.7 心理负荷测量

适当的心理负荷对于维持人类健康和预防事故是必不可少的。

持续脑电来评估操作者的心理负荷，以警告随着时间，操作者的性能下降。

可以通过fNIRS信号和自发脑电图来测量
通过一个循环卷积框架研究了跨多个心理任务的心理负荷测量。该模型同时从空间、频谱和时间维度学习脑电特征，二值分类（高/低负荷水平）的准确率为88.9%

5.8 其他

推荐系统，紧急刹车，视觉对象识别，内疚测试，隐藏信息测试，区分性别。

5.9 基准数据集

https://en.wikipedia.org/wiki/Self-driving_car https://physionet.org/physiobank/database/sleep-edfx/ https://massdb.herokuapp.com/en/ https://physionet.org/pn3/shhpsgdb/ https://physionet.org/pn6/chbmit/ https://www.isip.piconepress.com/projects/tuh.eeg/html/downloads.shtml https://physionet.org/pn4/eegmmidb/ http://www.bbci.de/competition/ii/ http://www.eecs.qmul.ac.uk/mmv/datasets/amigos/readme.html http://bcmi.sjtu.edu.cn/seed/download.html https://www.eecs.qmul.ac.uk/mmv/datasets/deap/ https://owenlab.uwo.ca/research/the.openmiir.dataset.html http://adni.loni.usc.edu/data-samples/access-data/ https://www.med.upenn.edu/sbia/brats2018/data.html

第六节，分析和指南，根据大脑信号选择适当的模型

6.1 脑信号采集

70%的EEG论文关注自发EEG（133种出版物）。自发的脑电图分成几个方面：睡眠、运动想象、情绪、精神疾病、数据增强和其他。

睡眠：总共19篇，6篇使用CNN，2篇RNN，还有3种RNN+CNN的混合模型。

运动想象：广泛使用CNN和基于CNN的混合模型。表示型模型常用DBN-RBN提取潜在特征。

情绪：总共25篇，超过一半使用表示模型（D-AE,D-RBM,DBN-RBM）。最典型的状态识别工作将用户的情绪识别为积极、中立或消极。进一步对配价和唤起率进行分类

精神疾病：大部分相关研究集中在癫痫发作和阿尔茨海默病的检测上。大部分相关研究集中在癫痫发作和阿尔茨海默病的检测上。许多研究可以达到90%以上的高准确率。在这一领域，标准的CNN模型和D-AE是普遍存在的。一个可能的原因是CNN和AE是最著名和最有效的深度学习模型的分类和降维

数据增强：基于GAN的数据扩充

其他：大约有30个研究正在调查其他自发脑电图，如驾驶疲劳、视听刺激冲击、认知/心理负荷和眼睛状态检测。这些研究广泛应用标准CNN模型和变体。

视觉诱发电位（VEP）引起大量研究（21篇）。6种混合模型。

快速连续视觉表示（RSVP），只有CNN算法。

fNIRS图像的研究很少采用深度学习的方法，主要的研究只是采用简单的MLP模型。我们认为，由于fNIRS具有高便携性和低成本的特点，应引起更多的关注。

至于功能磁共振成像，有23篇论文提出了深度学习的分类模型。CNN模型因其在图像特征学习中的突出表现而被广泛应用。

6.2 深度学习模式的选择标准

结论1：大多数采用判别模型。

结论2：超过70%的判别性模型都采用了CNN及其变体，为此我们提供了以下原因：

首先，CNN的设计足够强大，能够从EEG信号中提取潜在的鉴别特征和空间相关性进行分类。因此，有些研究采用CNN结构进行分类，而有些研究则采用CNN结构进行特征提取。
CNN在一些研究领域（如计算机视觉）取得了巨大的成功，更容易找到代码。
一些脑信号图（如功能磁共振成像）是自然形成的二维图像，有利于CNN进行处理。

结论3：表示模型中，DBN，尤其是DBN-RBM是最常用的特征提取模型。原因有二：

它能有效地学习揭示相邻层中变量关系的生成参数
它使计算每个隐藏层中潜在变量的值变得简单

【大多数采用DBN-RBM模型的作品都是在2016年之前出版的。可以推断，在2016年之前，研究人员更倾向于使用DBN进行特征学习，然后使用非深度学习分类器；但最近，越来越多的研究希望采用CNN或混合模型进行特征学习和分类。】

结论4：生成模型很少独立使用，基于GAN和VAE的数据增强和图像重建主要集中在fMRI和EEG信号上，有前途。

结论5：53篇论文中，RNN和CNN的组合约占五分之一，结合后具有很好的时空特征提取能力。

结论6：表示模型+判别模型也很常用，28篇中有这种方法，所采用的表示模型多为AE或DBN-RBM，同时所采用的判别模型多为CNN。

6.3 应用表现

将脑信号分析应用于医疗领域是目前最吸引人和最热门的领域。

一般来说，大多数深度学习算法在多个睡眠阶段场景下都能达到85%以上的准确率。

对于fMRI图像，CNN在网格化空间信息学习方面具有很大的优势，使其获得了非常全面的分类准确率（90%以上）。

至于癫痫发作，一般是根据脑电图信号进行诊断。单一的RNN分类器（如LSTM或GRU）由于其良好的时间依赖性表示能力，似乎比其对应的分类器工作得更好。

检测阿尔茨海默病的一个关键方法是通过测量大脑特定区域的功能来分析大脑信号。具体来说，可以通过自发的脑电图信号或功能磁共振成像来进行诊断

由于视觉诱发电位明显且易于检测，许多研究都集中在VEP信号上。一个重要的数据来源是来自第三届BCI竞赛。

脑电信号具有较高的时间分辨率，能够捕捉快速变化的情绪。因此，几乎所有的研究都是基于自发的脑电信号。这些信号是在被试观看视频时收集的，视频被认为是激发受试者特定情绪的。主要是使用层次化CNN，DBN-RBM结合强分类器，前一种更好。

第七节，开放性挑战和未来方向

7.1 可解释性

一般框架需要两个关键能力：注意机制和捕捉潜在特征的能力。前者保证了框架能够集中于输入信号中最有价值的部分，而后者使框架能够捕捉到与众不同和信息丰富的特征。

方法2：CNN是最适合捕捉不同层次和范围特征的结构。未来，CNN可以作为一种基本的特征学习工具，并与适当的注意机制相结合，形成一个通用的分类框架。

方法1：可以考虑如何解释由深层神经网络导出的特征表示，学习的特征与任务相关的神经模式或精神障碍的神经病理学之间的内在关系。

7.2 跨个体

方法1：实现这一目标的一个可能的解决方案是建立一个个性化的迁移学习模型。

个性化情感模型可以采用转换参数传递的方法来构造个体分类器，并学习映射数据分布和分类器参数之间关系的回归函数

方法2：从输入数据中挖掘与主题无关的组件。输入的数据可以分解为两部分：一个依赖于主题的主题相关组件和一个所有主题都通用的主题无关组件。一个混合多任务模型可以同时处理两个任务，一个侧重于人的识别，另一个侧重于类识别。在类识别任务中，需要一个训练良好、收敛良好的模型来提取与主题无关的特征。

7.3 半监督和无监督分类

Adversarial V ariational Embedding （对抗性变异嵌入）-----> 高质量生成模型

有两种方法可以增强无监督学习：

一种是利用众包（给大众志愿者）方法对未标记的观测值进行标记；
另一种是利用无监督域自适应学习，通过线性变换来调整源脑信号和目标信号的分布

7.4 在线实施

在真实场景中，大脑信号系统需要接收实时的数据流并实时产生分类结果

由于受试者注意力不集中和设备固有的不稳定性（例如采样率波动）等诸多因素，采集到的实时信号更具噪声和不稳定性。通过我们的实验，在线脑信号系统的准确率通常比同类系统低10%。

方法：投票和聚合来平均多个连续样本的结果，提高解码性能。

7.5 硬件可移植性

脑电采集设备主要有三种：不便携头戴式、便携式头戴式和耳式脑电传感器。

第一种，采样频率高，信道数多，信号质量高，但价格昂贵。适合医院体检。

第二种，（例如Neurosky、Emotiv EPOC），有1∼14个通道和128∼256采样率，但读数不准确，长期使用后会造成不适。

第三种，还在实验室阶段。EEGrids是唯一商业化的耳脑电设备。

读后感

受限玻尔兹曼机 RBN（2000年后流行）

和DNN的区别是，RBM不区分前向和反向。
RBM可以看做是一个编码解码的过程，从可见层到隐藏层就是编码，反之是解码。对于每个训练样本，期望编码解码后的可见层输出和之前可见层输入的差距尽量的小。
RBM详细推导过程：https://www.cnblogs.com/pinard/p/6530523.html

深度波尔茨曼机Deep Boltzmann Machine (DBM)

扩展RBM到三层及以上

RBN实现的深度置信网络（DBN-RBN）

与DBM的区别是隐藏层之间为单向的。优化计算更简单。

降噪自编码器（D-AE）

DAE(Denoising Autoencoder)的核心思想是，一个能够从中恢复出原始信号的神经网络表达未必是最好的，能够对“损坏”的原始数据编码、解码，然后还能恢复真正的原始数据，这样的特征才是好的。

卷积神经网络（CNN）

池化层

循环神经网络（RNN）

长短期记忆（LSTM）

评价标准

敏感度
特异性
准确率

肾透析移植机器学习

摘要

背景

本文综述人工智能/机器学习（AI/ML）算法在肾替代治疗（血液透析，腹膜透析和肾移植）中的研究现状及其影响。

心理学随机森林

摘要

用机器学习（即随机森林）:

量化关系质量的可预测程度

P300数据学习

P300 范式

6 x 6的字符矩阵

Pytorch

目前根据官网教程和《动手学习深度学习》pytorch版学习

1.1数据基础

import torch

torch.cuda.is_available()

True

# 未初始化的矩阵
# 里面的值是不确定的
x = torch.empty(5,3)
print(x)

# 构造随机初始化的矩阵
x = torch.rand(5,3)
x

1.4模型实现

import torch
import torchvision # 常用数据集包
import torchvision.transforms as transforms # 数据转归一化

transform = transforms.Compose( # 自定义一个转换器,先变成张量,再归一化(每个通道的均值序列,标准差序列)
    [transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) # (0-0.5)/0.5 = -1

trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, 
                                         transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True,
                                         num_workers=2)
testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True,
                                       transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False,
                                        num_workers=2)
# num_workers根据计算机的CPU和内存来设置,充足可以设置多一些
# 设为0表示不用内存

classes = ('plane','car', 'bird','cat','deer', 'dog','frog','horse','ship','truck')

Files already downloaded and verified
Files already downloaded and verified

Ray+Gym

Study

非侵入信号深度学习

第一节，介绍论文

工作流程包括几个关键部分：脑信号采集、信号预处理、特征提取、分类和数据分析

分类结果用于控制智能设备，称之为脑机接口

头骨让信号保真度为5%（以信噪比（SNR）衡量）

分类结果应用：神经疾病诊断、情绪测量和驾驶疲劳检测。

脑机接口的深度学习的分类：

仅用于特征提取；
仅用于分类；
同时用于特征提取和分类。

传统BCI所面临的挑战：

大脑信号很容易被各种生物因素（如眨眼、肌肉伪影【肌肉产生的电波对脑电波的影响】、疲劳和注意力集中程度）和环境因素（如噪音）所破坏
低信噪比的非平稳脑电生理信号
特征提取高度依赖于人类在特定领域的专业知识。

深度学习好处：

直接作用于原始的大脑信号
深层神经网络和第二层神经网络都能捕获潜在的，具有代表性的特征。

综述论文贡献：

对非侵入性脑信号论文的全面性调查
1. 脑电图及其亚类（运动脑电图，P300等）
2. 功能性近红外光谱(functional near - infrared spectroscopy , fNIRS)【利用血液的主要成分对600-900nm近红外光良好的散射性，从而获得大脑活动时氧合血红蛋白和脱氧血红蛋白的变化情况，产生功能性神经影像】

综述论文内容：

回顾大脑信号和深度学习技术
讨论了流行的深度学习技术和最新的脑信号模型，为在给定特定信号亚类的情况下选择合适的深度学习模型提供了实用指南。
回顾了基于深度学习的脑信号分析的应用，并指出了一些有前景的未来研究课题。

第二节，介绍大脑信号的分类

基于信号收集方法的非侵入性脑信号分类（虚线不调查）

P300包含于ERP中。

其他脑成像技术（fNIRS，fMRI）中的视觉/听觉任务未曾有采用过深度学习，但理论上可行。

第三节，概述常用的深度学习模型

分类模型：Multi-Layer Perceptron (MLP) , Recurrent Neural Networks(RNN) , Convolutional Neural Networks (CNN) --> 特征提取和分类

表示模型：Autoencoder(AE), Restricted Boltz-mann Machine (RBM) , Deep Belief Networks(DBN) --> 只能特征提取

生成模型：Variational Autoencoder (VAE)，Generative Adversarial Networks (GANs) --> 主要用于生成脑信号样本，增强训练集

各个非侵入式脑信号特征：

第四节，最先进的脑信号深度学习技术

4.1 EEG

4.1.1 自发脑电波

4.1.1.1 睡眠脑电：

主要用于识别睡眠阶段、诊断睡眠障碍或培养健康习惯

睡眠阶段包括清醒、非快速眼动1、非快速眼动2、非快速眼动3、非快速眼动4和快速眼动。

美国睡眠医学学会（AASM）建议将睡眠分为五个阶段：清醒、非快速眼动1、非快速眼动2、慢波睡眠（SWS）和快速眼动。

识别睡眠阶段，一般通过滤波器实现脑电信号的预处理，数据通常是30s的窗口，50hz。

分类模型：CNN用于单通道EEG的睡眠阶段分类，86%精确度
表示模型：DBN-RBM（深度置信网络-受限玻耳兹曼机）从睡眠脑电信号中提取功率谱密度（PSD,表示随机信号的强度），在局部数据集达到F-1值92.78%（兼顾召回率和精确度）
混合模型：

4.1.1.2 运动想象脑电：

深度学习在运动想象脑电图和真实运动脑电图的分类上显示出优越性

分类模型：大多使用CNN来识别脑电图，例如：
- 有分别采用CNN和二维CNN进行分类的
- 从EEG信号中学习情感信息，构建改进的LSTM控制智能家电

4.1.1.3 情绪脑电图

个体的情绪可以从三个方面来评价：评价值（积极感情的值）、唤起度（激动的程度）和控制力。

这三个方面的结合形成了恐惧、悲伤和愤怒等情绪，这些情绪可以通过脑电图信号来揭示。

分类模型：传统上使用MLP，CNN和RNN正在越来越流行
- 典型的基于CNN：CNN的分层，扩充CNN训练集
- 通过多通道脑电信号转化为二维矩阵来捕捉通道之间的空间相关性

4.1.1.4 精神病脑电图

大量研究人员利用脑电图信号诊断神经系统疾病，特别是癫痫发作

分类模型：CNN广泛应用于癫痫发作的自动检测
- CNN对癫痫发作的高通量（1hz）EEG信号进行研究，获得了94.7%的AUC
- 在抑郁症检测上采用了13层CNN模型，在30名受试者的局部数据集上进行了评估，基于左半球和右半球EEG信号的准确率分别为93.5%和96.0%

4.1.1.5 数据增强

实验1：EEG信号转换为图像

首先证明了脑电波中包含的信息被赋予了区分视觉对象的能力
然后使用RNN提取了更健壮、更具区分性的脑电数据表示。
最后，利用GAN范式训练了一个由学习的EEG表示调节的图像生成器，该生成器可以将EEG信号转换为图像

实验2：将EEG信号转换为图像

当受试者观察屏幕上的图像时，采集脑电图信号。将脑电信号的潜在结构作为输入，提取脑电信号的潜在特征。
GAN的产生器和鉴别器均由卷积层构成。该发生器根据训练后的脑电信号生成图像。

实验3：癫痫发作数据增强的GAN（生成式对抗网络）

发生器和鉴别器都是由全连接层组成的。
作者证明了GAN优于其他生成模型，如AE和VAE（可变自动编码器）。增强后，分类准确率从48%提高到82%。

4.1.1.6 其他

实验1：听觉/视觉刺激（持续存在的刺激）如何影响脑电图信号

13名受试者受到23种节律性刺激的刺激，其中包括12种东非和12种西方刺激。
对于24类分类，提出的CNN平均准确率为24.4%。
之后，作者利用卷积AE进行表征学习，CNN用于识别，12类分类的准确率达到27%

实验2：区分是在听歌还是想象歌曲

提出两个深度学习模型，使用二值分类任务，所提出的CNN和DBN-RBM（三个RBM）的准确率分别为91.63%和91.75%。

实验3：自发脑电图可以用来区分使用者的心理状态（逻辑与情绪）

实验4：认知负荷（处理具体任务时加在学习者认知系统上的负荷）或体力负荷对EEG的影响

首先通过小波熵和频带比功率提取信息特征
然后将其输入DBN-RBM进行进一步细化。
最后，利用MLP对认知负荷水平进行识别。

实验5：在不同心理负荷下，受试者之间及受试者本身中的一般特征是恒定的。

从高水平脑电信号中收集的脑电信号。
脑电信号经低通滤波器滤波后，转换到频域，计算功率谱密度（PSD）。
提取的PSD特征被输入到去噪D-AE结构中，以便于进一步的细化。最终得到了95.48%的准确率。

实验6：驾驶员疲劳检测 --- 三维CNN

精神疲劳程度的识别，包括警觉、轻度疲劳和严重疲劳

实验7：驾驶员疲劳检测 --- ICA+DBN-RBM

ICA(独立成分分析)对脑电信号预处理
采用DBN-RBM进行分类
达到85%左右准确率，二分类（“昏昏欲睡”或“警惕”）。

实验8：驾驶员疲劳值检测 --- DBM-RBM+SVM，精度达到73.29%

实验9：调查了不同低负荷水平下驾驶员的心理状态。提出了一种基于脑电信号直接检测驾驶负荷的CNN方法。

实验10：基于EEG信号的眼睛状态（闭或开）的检测

三个RBM的DBN-RBM和三个AEs的DBN-AE，98.9%的高准确率
MLP，97.5%准确率

事件相关去同步（ERD）表示正在进行的EEG信号的功率下降，

事件相关同步（ERS）表示EEG信号的功率增加

实验11：采用CNN在观看特定视频时通过脑电图检测学校欺凌行为。

二分类和四分类分别达到93.7%和88.58%。

实验12：结合RNN和CNN提出了一个级联框架来预测个体的情感水平和个人因素（五大人格特征、情绪和社会背景）。

实验13：试图根据使用者的脑电图信号来识别他们的性别

采用标准的CNN算法，在局部数据集上实现了81%的二元分类精度

实验14：驾驶员的脑电图信号可以区分刹车意图和正常驾驶状态

**实验15：**将大脑信号和推荐系统结合起来，通过EEG信号预测用户的偏好。

共有16名受试者接受了60个手镯状物体作为旋转视觉刺激物（3D物体）时采集脑电信号的实验。
然后采用MLP预测用户喜欢或不喜欢。本次勘探的预测精度为63.99%。

**实验16：**试图探索一个可用于各种脑信号范式的共同框架，并评估鲁棒性。基于compact CNN的EEGNet [73]

4.1.2 EP诱发电位

4.1.2.1 ERP事件相关电位

在大多数情况下，ERP信号都是通过P300现象来分析的。

4.1.2.1.i VEP视觉诱发电位

较热门。

实验1：通过深度学习提取具有代表性的特征来研究运动开始的 VEP（mVEP）

采用遗传算法结合多级传感结构对原始信号进行压缩。
压缩后的信号被发送到DBN-RBM算法中，以获取更抽象的高层特征。

实验2：P300信号特征提取

通过带通滤波器（2∼35hz）过滤视觉刺激的P300信号，
然后输入混合深度学习模型进行进一步分析。
该模型包括一个2D CNN来捕获空间特征，然后在LSTM层中进行时间特征提取。

实验3：使用AE模型进行特征提取，然后使用支持向量机分类器。

实验中，每一段包含150个点，分为五个时间步，每一步有30个点。
该模型在局部数据集上获得了88.1%的准确率。

实验4：DBN-RBM代表性模型与支持向量机分类器相结合进行隐藏信息测试（？？），97.3%准确率

实验5：提高P300写字机准确率

一种基于CNN的新模型，该模型包括5个具有不同特征集的低层CNN分类器
最后由低层分类器投票得到最终的高层结果。
第三届BCI竞赛数据集II中，最高准确率达到95.5%

4.1.2.1.ii AEP听觉诱发电位

较少研究。

实验1：提出并测试了18个CNN结构来对单次试验的AEP信号进行分类。

利用耳机产生古怪范式设计的听觉刺激来获得数据。
实验分析表明，无论卷积层数多少，CNN框架都能有效地提取时空特征。
实验结果表明，下采样数据的效果更好。

4.1.2.1.iii RSVP快速连续视觉表示

CNN和MLP在这里取得一定成功。

实验1：一种针对RSVP的主题间和任务间检测的CNN模型。

实验结果表明，CNN在交叉任务中表现良好，但在跨主题情境下表现不佳。

实验2：比较了三种不同的深度神经网络算法，以预测受试者是否看到了目标。

MLP、CNN和DBN模型的AUC分别为81.7%、79.6%和81.6%。

...

4.1.2.2 SSEP稳态诱发电位

实验1：寻找SSVEP的中间表现形式。

提出了一种结合CNN和RNN的混合方法，直接从时域中提取有意义的特征，准确率达到93.59%。

实验2：紧凑CNN直接处理原始结果

平均准确率80%左右

实验3：采用了一种典型的稀疏AE模型，从多频视觉刺激中提取SSVEP的不同特征。

该模型采用了一个softmax层进行最终分类，准确率为97.78%。

...

4.2 fNIRS功能性近红外光谱

较少研究。

定义：利用血液的主要成分对600-900nm近红外光良好的散射性，从而获得大脑活动时氧合血红蛋白和脱氧血红蛋白的变化情况，产生功能性神经影像。

实验1：基于fNIRS信号分析了两种心理任务（心算和休息）之间的差异。

从前额叶皮层fNIRS中手动提取了6个特征，并比较了6个不同的分类器。
结果表明，MLP的准确率为96.3%，优于所有传统的分类器，包括SVM、KNN、naivebayes等。

实验2：试图通过fNIRS信号检测受试者的性别。

作者使用三层隐层去噪D-AE来提取显著特征并输入MLP分类器进行性别检测。
该模型在本地数据集上进行了评估，平均准确率为81%
相比fMRI信号，fNIRS具有更高的时间分辨率和更经济的价格

4.3 fMRI功能性磁共振成像

利用磁振造影来测量神经元活动所引发的血液变化。从而监测大脑活动

该领域，近年用了不少深度学习方法，特别是认知功能障碍的诊断上。

4.3.1 分类模型

分类模型中，CNN是一种很有前途的fMRI分析模型

实验1：根据功能磁共振成像（fMRI）和核磁共振成像（MRI）数据，应用深层CNN识别阿尔茨海默病。

实验2：利用一种新的CNN算法建立了一种基于fMRI的脑肿瘤分割方法，它可以同时捕获全局特征和局部特征

实验4：利用CNN进行特征提取。提取的特征用支持向量机分类，用于癫痫发作的检测

4.3.2 表示模型

大量文章证明了表示模型在识别功能磁共振成像数据方面的有效性。

实验1：利用一个由三个RBM分量组成的DBN-RBM从ICA处理的fMRI中提取显著特征，最终在四个公共数据集上实现了90%以上的F1平均测量值。

实验2：DBN-RBM和DBN-AE检测阿尔茨海默病

前者95.4%，后者97.9%。

实验3：应用D-AE模型从静止状态的fMRI数据中提取潜在特征，用于诊断轻度认知功能障碍（MCI）。-

将潜在特征输入支持向量机分类器，识别率达到72.58%。

4.3.3 生成模型

自然图像的重建引起广泛的关注。

实验1：从fMRI中重建视觉刺激的深卷积GAN，

目的是训练生成器生成与视觉刺激相似的图像。
发生器包含四个卷积层，以便将输入的fMRI转换为自然图像。

4.4 MEG脑磁图

用于测量由大脑中神经元的电活动引起的磁场。通过磁变化反映大脑活动

实验1：致力于通过去除诸如眨眼和心脏活动等伪影来细化MEG信号。

首先对MEG单峰进行ICA分解
然后用一维CNN模型进行分类。
最后，该方法在局部数据集上的灵敏度达到85%，特异性达到97%。

实验2：目标同实验1

该方法利用CNN获取时间特征，MLP提取空间信息

第五节，大脑信号的应用

5.1 医疗保健

基于深度学习的大脑信号系统主要用于检测和诊断精神疾病，如睡眠障碍、阿尔茨海默病、癫痫发作等。

睡眠障碍：

对于睡眠障碍的检测，大多数研究都集中在基于睡眠自发脑电图的睡眠阶段检测上。DBN-RBM和CNN被广泛应用于特征选择和分类。

阿尔茨海默病：

功能磁共振成像在阿尔茨海默病的诊断中有着广泛的应用。优点是高空间分辨率，几项研究的诊断准确率均在90%以上。

癫痫：

癫痫发作的检测主要基于自发脑电图。流行的深度学习模型包括独立的CNN和RNN，以及结合RNN和CNN的混合模型
例如，将D-AE应用于特征提取，然后将支持向量机应用于癫痫诊断

5.2 智能设备

随着物联网的发展，越来越多的智能环境可以连接到大脑信号。
例如，辅助机器人可用于智能家居，其中机器人可以由个体的大脑信号控制。
基于视觉刺激的自发EEG和fNIRS信号的机器人控制问题。

5.3 信号传输

P300 speller，深度学习模型使大脑信号系统能够从非300片段中识别出P300片段
使用一种结合RNN、CNN和AE的混合模型，从MI-EEG中提取信息特征来识别用户想要说的字母。

5.4 安全保密

应用于身份识别和身份验证

前者通过多类别分类来识别一个人的身份[6]。后者进行二元分类来决定一个人是否被授权
主要使用视觉刺激产生的信号来作为输入。

5.5 情感计算

个性化信息（如多媒体内容）检索或智能人机界面设计

试图根据脑电图信号，使用深度学习算法（如CNN及其变体）将用户的情绪状态分为两类（积极/消极）或三类（积极、中性和消极）
DBN-RBM是从情绪自发脑电图中发现隐藏特征的最具代表性的深度学习模型

5.6 驾驶员疲劳度检测

一般情况下，如果驾驶员的反应时间小于0.7秒，则认为驾驶员处于警戒状态；如果反应时间大于2.1秒，则认为驾驶员处于疲劳状态。

目前，基于EEG的驾驶困倦可以得到较高的识别率（82%∼95%）

5.7 心理负荷测量

适当的心理负荷对于维持人类健康和预防事故是必不可少的。

持续脑电来评估操作者的心理负荷，以警告随着时间，操作者的性能下降。

可以通过fNIRS信号和自发脑电图来测量
通过一个循环卷积框架研究了跨多个心理任务的心理负荷测量。该模型同时从空间、频谱和时间维度学习脑电特征，二值分类（高/低负荷水平）的准确率为88.9%

5.8 其他

推荐系统，紧急刹车，视觉对象识别，内疚测试，隐藏信息测试，区分性别。

5.9 基准数据集

第六节，分析和指南，根据大脑信号选择适当的模型

6.1 脑信号采集

70%的EEG论文关注自发EEG（133种出版物）。自发的脑电图分成几个方面：睡眠、运动想象、情绪、精神疾病、数据增强和其他。

睡眠：总共19篇，6篇使用CNN，2篇RNN，还有3种RNN+CNN的混合模型。

运动想象：广泛使用CNN和基于CNN的混合模型。表示型模型常用DBN-RBN提取潜在特征。

数据增强：基于GAN的数据扩充

其他：大约有30个研究正在调查其他自发脑电图，如驾驶疲劳、视听刺激冲击、认知/心理负荷和眼睛状态检测。这些研究广泛应用标准CNN模型和变体。

视觉诱发电位（VEP）引起大量研究（21篇）。6种混合模型。

快速连续视觉表示（RSVP），只有CNN算法。

fNIRS图像的研究很少采用深度学习的方法，主要的研究只是采用简单的MLP模型。我们认为，由于fNIRS具有高便携性和低成本的特点，应引起更多的关注。

至于功能磁共振成像，有23篇论文提出了深度学习的分类模型。CNN模型因其在图像特征学习中的突出表现而被广泛应用。

6.2 深度学习模式的选择标准

结论1：大多数采用判别模型。

结论2：超过70%的判别性模型都采用了CNN及其变体，为此我们提供了以下原因：

首先，CNN的设计足够强大，能够从EEG信号中提取潜在的鉴别特征和空间相关性进行分类。因此，有些研究采用CNN结构进行分类，而有些研究则采用CNN结构进行特征提取。
CNN在一些研究领域（如计算机视觉）取得了巨大的成功，更容易找到代码。
一些脑信号图（如功能磁共振成像）是自然形成的二维图像，有利于CNN进行处理。

结论3：表示模型中，DBN，尤其是DBN-RBM是最常用的特征提取模型。原因有二：

它能有效地学习揭示相邻层中变量关系的生成参数
它使计算每个隐藏层中潜在变量的值变得简单

结论4：生成模型很少独立使用，基于GAN和VAE的数据增强和图像重建主要集中在fMRI和EEG信号上，有前途。

结论5：53篇论文中，RNN和CNN的组合约占五分之一，结合后具有很好的时空特征提取能力。

结论6：表示模型+判别模型也很常用，28篇中有这种方法，所采用的表示模型多为AE或DBN-RBM，同时所采用的判别模型多为CNN。

6.3 应用表现

将脑信号分析应用于医疗领域是目前最吸引人和最热门的领域。

一般来说，大多数深度学习算法在多个睡眠阶段场景下都能达到85%以上的准确率。

对于fMRI图像，CNN在网格化空间信息学习方面具有很大的优势，使其获得了非常全面的分类准确率（90%以上）。

由于视觉诱发电位明显且易于检测，许多研究都集中在VEP信号上。一个重要的数据来源是来自第三届BCI竞赛。

第七节，开放性挑战和未来方向

7.1 可解释性

方法1：可以考虑如何解释由深层神经网络导出的特征表示，学习的特征与任务相关的神经模式或精神障碍的神经病理学之间的内在关系。

7.2 跨个体

方法1：实现这一目标的一个可能的解决方案是建立一个个性化的迁移学习模型。

个性化情感模型可以采用转换参数传递的方法来构造个体分类器，并学习映射数据分布和分类器参数之间关系的回归函数

7.3 半监督和无监督分类

Adversarial V ariational Embedding （对抗性变异嵌入）-----> 高质量生成模型

有两种方法可以增强无监督学习：

一种是利用众包（给大众志愿者）方法对未标记的观测值进行标记；
另一种是利用无监督域自适应学习，通过线性变换来调整源脑信号和目标信号的分布

7.4 在线实施

在真实场景中，大脑信号系统需要接收实时的数据流并实时产生分类结果

方法：投票和聚合来平均多个连续样本的结果，提高解码性能。

7.5 硬件可移植性

脑电采集设备主要有三种：不便携头戴式、便携式头戴式和耳式脑电传感器。

第一种，采样频率高，信道数多，信号质量高，但价格昂贵。适合医院体检。

第二种，（例如Neurosky、Emotiv EPOC），有1∼14个通道和128∼256采样率，但读数不准确，长期使用后会造成不适。

第三种，还在实验室阶段。EEGrids是唯一商业化的耳脑电设备。

读后感

受限玻尔兹曼机 RBN（2000年后流行）

和DNN的区别是，RBM不区分前向和反向。
RBM可以看做是一个编码解码的过程，从可见层到隐藏层就是编码，反之是解码。对于每个训练样本，期望编码解码后的可见层输出和之前可见层输入的差距尽量的小。
RBM详细推导过程：https://www.cnblogs.com/pinard/p/6530523.html

深度波尔茨曼机Deep Boltzmann Machine (DBM)

扩展RBM到三层及以上

RBN实现的深度置信网络（DBN-RBN）

与DBM的区别是隐藏层之间为单向的。优化计算更简单。

降噪自编码器（D-AE）

卷积神经网络（CNN）

池化层

循环神经网络（RNN）

长短期记忆（LSTM）

评价标准

敏感度
特异性
准确率

1.4模型实现

import torch
import torchvision # 常用数据集包
import torchvision.transforms as transforms # 数据转归一化

transform = transforms.Compose( # 自定义一个转换器,先变成张量,再归一化(每个通道的均值序列,标准差序列)
    [transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) # (0-0.5)/0.5 = -1

trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, 
                                         transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True,
                                         num_workers=2)
testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True,
                                       transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False,
                                        num_workers=2)
# num_workers根据计算机的CPU和内存来设置,充足可以设置多一些
# 设为0表示不用内存

classes = ('plane','car', 'bird','cat','deer', 'dog','frog','horse','ship','truck')

Files already downloaded and verified
Files already downloaded and verified

import matplotlib.pyplot as plt
import numpy as np

# 展示图片
def imshow(img):
    img = img / 2 + 0.5 # 逆归一化
    npimg = img.numpy()
    plt.imshow(np.transpose(npimg, (1, 2, 0)))
    plt.show()
# 获取一些图片
dataiter = iter(trainloader)
images, labels = dataiter.next()

print(images.size())

imshow(torchvision.utils.make_grid(images))
print(' '.join('%5s' % classes[labels[j]] for j in range(4)))

torch.Size([4, 3, 32, 32])

  car truck   cat  ship

import torch.nn as nn
import torch.nn.functional as F


class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x


net = Net()
print(net)

Net(
  (conv1): Conv2d(3, 6, kernel_size=(5, 5), stride=(1, 1))
  (pool): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  (conv2): Conv2d(6, 16, kernel_size=(5, 5), stride=(1, 1))
  (fc1): Linear(in_features=400, out_features=120, bias=True)
  (fc2): Linear(in_features=120, out_features=84, bias=True)
  (fc3): Linear(in_features=84, out_features=10, bias=True)
)

import torch.optim as optim

criterion = nn.CrossEntropyLoss() # 交叉熵
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) # 设置了动量的SGD

for epoch in range(2):
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0): # 从下标0开始迭代
        inputs, labels = data # 读取数据
        optimizer.zero_grad() # 初始梯度
        outputs = net(inputs) # 前向传播
        loss = criterion(outputs, labels) # 计算交叉熵
        loss.backward() # 反向传播
        optimizer.step() # 优化算法,学习参数
        
        running_loss += loss.item()
        if i % 2000 == 1999:
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0
print('Finished Training')

[1,  2000] loss: 2.193
[1,  4000] loss: 1.864
[1,  6000] loss: 1.660
[1,  8000] loss: 1.559
[1, 10000] loss: 1.514
[1, 12000] loss: 1.468
[2,  2000] loss: 1.384
[2,  4000] loss: 1.356
[2,  6000] loss: 1.325
[2,  8000] loss: 1.317
[2, 10000] loss: 1.295
[2, 12000] loss: 1.271
Finished Training

PATH = './cifar_net.pth'
torch.save(net.state_dict(), PATH) # 保存字典到指定文件

dataiter = iter(testloader)
images, labels = dataiter.next()

imshow(torchvision.utils.make_grid(images))
print(' '.join('%5s' % classes[labels[j]] for j in range(4)))

  cat  ship  ship plane

net = Net()
net.load_state_dict(torch.load(PATH))# 先加载数据,再将数据加载到net里,非必须

<All keys matched successfully>

outputs = net(images) # 使用训练后的数据,进行预测输出
_, predicted = torch.max(outputs, 1) # torch.max(data, dim)获取dim维向量的最大值,返回value,index
print('Predicted: ', ' '.join('%5s' % classes[predicted[j]]
                              for j in range(4)))

Predicted:    cat   car  ship plane

correct = 0
total = 0
with torch.no_grad():
    for data in testloader:
        images, labels = data
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy of the network on the 10000 test images: %d %%' % (
    100 * correct / total))

Accuracy of the network on the 10000 test images: 54 %

class_correct = list(0. for i in range(10)) # 10个 0.
class_total = list(0. for i in range(10))
with torch.no_grad():
    for data in testloader:
        images,labels = data
        outputs = net(images)
        _, predicted = torch.max(outputs, 1)
        c = (predicted==labels).squeeze() # 将结果压缩一个维度
        for i in range(4): # 批量为4
            label = labels[i]
            class_correct[label] += c[i].item()
            class_total[label] += 1
for i in range(10):
    print('Accuracy of %5s : %2d %%' % (
        classes[i], 100 * class_correct[i] / class_total[i]))

Accuracy of plane : 57 %
Accuracy of   car : 52 %
Accuracy of  bird : 41 %
Accuracy of   cat : 44 %
Accuracy of  deer : 27 %
Accuracy of   dog : 40 %
Accuracy of  frog : 69 %
Accuracy of horse : 56 %
Accuracy of  ship : 77 %
Accuracy of truck : 75 %

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)

cuda:0

net.to(device) # 所有的模块和参数都会递归的变成CUDA张量
inputs, labels = data[0].to(device), data[1].to(device) # 所有数据都需要在GPU

《第四章》

4.1 神经元

定义:构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产出输出激活函数特定: (1)连续并可导（允许少数点上不可导）的非线性函数. 可导的激活函数可以直接利用数值优化的方法来学习网络参数. (2) 激活函数及其导函数要尽可能的简单,有利于提高网络计算效率. (3) 激活函数的导函数的值域要在一个合适的区间内, 不能太大也不能太小,否则会影响训练的效率和稳定性.

4.1.1 Sigmoid函数

Sigmoid型函数是指一类 S型曲线函数，为两端饱和函数. (𝑥 → −∞时，其导数 𝑓′(𝑥) → 0，则称其为左饱和) 常用的 Sigmoid型函数: Logistic函数和 Tanh函数.

Logistic: 𝜎(𝑥) = 1/[1 + exp(−𝑥)]理解:把一个实数域的输入“ 挤压” 到(0, 1). 当输入值在 0附近时，Sigmoid型函数近似为线性函数；当输入值靠近两端时，对输入进行抑制. 输入越小，越接近于 0；输入越大，越接近于 1. 特征: - 其输出直接可以看作是概率分布 - 其可以看作是一个软性门（Soft Gate）,用来控制其他神经元输出信息的数量tanh(𝑥) = (exp(𝑥) − exp(−𝑥))/(exp(𝑥) + exp(−𝑥))tanh(𝑥) = 2𝜎(2𝑥) − 1

理解:看作是放大并平移的 Logistic函数，其值域是(−1,1)

4.1.1.1 Hard-Logistic函数和 Hard-Tanh函数

两个函数:

4.1.2 ReLU函数

ReLU（Rectified Linear Unit，修正线性单元）

ReLU(𝑥) = max(0,𝑥)理解: ReLU 却具有很好的稀疏性，大约50% 的神经元会处于激活状态.被认为有生物上的解释性，比如单侧抑制、宽兴奋边界（即兴奋程度也可以非常高）. ReLU 函数为左饱和函数，且在𝑥 > 0时导数为 1，在一定程度上缓解了神经网络的梯度消失问题，加速梯度下降的收敛速度

缺点:死亡 ReLU 问题（Dying ReLU Problem），如果参数在一次不恰当的更新后，第一个隐藏层中的某个 ReLU神经元在所有的训练数据上都不能被激活，那么这个神经元自身参数的梯度永远都会是 0，在以后的训练过程中永远不能被激活.

4.1.2.1 带泄漏的ReLU

LeakyReLU(𝑥) = max(0,𝑥) + 𝛾 min(0,𝑥)当𝛾 < 1时:LeakyReLU(𝑥) = max(𝑥,𝛾𝑥)

4.1.2.2 带参数的ReLU

PReLU𝑖(𝑥)= max(0, 𝑥) + 𝛾_𝑖 min(0, 𝑥)

𝛾_𝑖 为 𝑥 ≤ 0 时函数的斜率. 因此， PReLU 是非饱和函数. 如果 𝛾𝑖 = 0，那么PReLU就退化为 ReLU. 如果 𝛾𝑖 为一个很小的常数，则 PReLU可以看作带泄露的ReLU. PReLU 可以允许不同神经元具有不同的参数,也可以一组神经元共享一个参数.

4.1.2.3 ELU函数

ELU(x) = = max(0, 𝑥) + min(0, 𝛾(exp(𝑥) − 1))

𝛾 ≥ 0是一个超参数，决定 𝑥 ≤ 0时的饱和曲线，并调整输出均值在 0附近

4.1.2.4 Softplus函数

Softplus(𝑥) = log(1 + exp(𝑥))

看作是 Rectifier 函数的平滑版本,其导数刚好是 Logistic函数. Softplus函数虽然也具有单侧抑制、宽兴奋边界的特性，却没有稀疏激活性.

4.1.3 Swish函数

swish(𝑥) = 𝑥𝜎(𝛽𝑥)𝜎(⋅) 为 Logistic 函数， 𝛽 为可学习的参数或一个固定超参数. 𝜎(⋅)∈ (0, 1) 可以看作是一种软性的门控机制. 接近1为开,接近0为关.

当 𝛽 = 0时，Swish函数变成线性函数 𝑥/2.
当 𝛽 = 1时，Swish函数在 𝑥 > 0时近似线性，在 𝑥 < 0 时近似饱和，同时具有一定的非单调性.
当 𝛽 → +∞ 时，𝜎(𝛽𝑥)趋向于离散的 0-1函数，Swish函数近似为 ReLU函数.

Swish函数可以看作是线性函数和 ReLU函数之间的非线性插值函数，其程度由参数 𝛽 控制

4.1.4 高斯误差线性单元

高斯误差线性单元（Gaussian Error Linear Unit，GELU）,类似swish,用门控机制来调整输出值

GELU(𝑥) = 𝑥𝑃(𝑋 ≤ 𝑥)𝑃(𝑋 ≤ 𝑥)是高斯分布𝒩(𝜇,𝜎2)的累积分布函数,𝜇,𝜎为超参数，一般设 𝜇 = 0,𝜎 = 1即可.

4.1.5 Maxout单元

Maxout单元是一种分段线性函数.

Sigmoid 型函数、ReLU等激活函数的输入是神经元的净输入𝑧，是一个标量.
Maxout单元的输入是上一层神经元的全部原始输出，是一个向量𝒙 = [𝑥1;𝑥2;⋯;𝑥𝐷].

理解:每个净输入对应一组权重w和偏移b,经计算后取最大值.

4.2 网络结构

神经网络:通过一定的连接方式或信息传递方式进行协作的神经元.

4.2.1 前馈网络

整个网络中的信息是朝一个方向传播，没有反向的信息传播，可以用一个有向无环路图表示. 前馈网络包括全连接前馈网络和卷积神经网络等. 前馈网络可看作一个函数,通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射

4.2.2 记忆网络

记忆网络，也称为反馈网络，网络中的神经元不但可以接收其他神经元的信息，也可以接收自己的历史信息. 在不同的时刻具有不同的状态. 记忆神经网络中的信息传播可以是单向或双向传递，因此可用一个有向循环图或无向图来表示. 为了增强记忆网络的记忆容量，可以引入外部记忆单元和读写机制，用来保存一些网络的中间状态，称为记忆增强神经网络（Memory Augmented Neural Network，MANN）（第8.5节），比如神经图灵机和记忆网络记忆网络包括循环神经网络（第6章）、Hopfield网络（第8.6.1节）、玻尔兹曼机（第12.1节）、受限玻尔兹曼机（第12.2节）等. 记忆网络可以看作一个程序，具有更强的计算和记忆能力

4.2.3 图网络

实际应用中很多数据是图结构的数据，比如知识图谱、社交网络、分子（Molecular ）网络等. 图网络是定义在图结构数据上的神经网络 图网络是前馈网络和记忆网络的泛化，包含很多不同的实现方式，比如图卷积网络（Graph Convolutional Network， GCN）[Kipf et al., 2016]、图注意力网络（Graph Attention Network，GAT）[Veličković et al., 2017]、消息传递神经网络（Message Passing Neural Network，MPNN）[Gilmer et al., 2017]等.

4.3 前馈神经网络

前馈神经网络（Feedforward Neural Network，FNN）:多层的 Logistic回归模型（连续的非线性函数）组成.

第 0层称为输入层，最后一层称为输出层，其他中间层称为隐藏层.
第l-1层活性值（Activation）:𝒂(𝑙−1)
第l层神经元的净活性值（Net Activation）𝒛(𝑙)

多层感知器（Multi-Layer Perceptron， MLP）:由多层的感知器（不连续的非线性函数）组成.

4.3.1 通用近似定理

通用近似定理 (Universal approximation theorem，一译万能逼近定理)」：如果一个前馈神经网络具有线性输出层和至少一层隐藏层，只要给予网络足够数量的神经元，便可以实现以足够高精度来逼近任意一个在 ℝn 的紧子集 (Compact subset) 上的连续函数。特征抽取:要取得好的分类效果，需要将样本的原始特征向量 𝒙转换到更有效的特征向量 𝜙(𝒙) 多层前馈神经网络也可以看成是一种特征转换方法.

4.3.2 机器学习应用

对于二分类问题𝑦 ∈ {0,1}，并采用 Logistic 回归，那么 Logistic 回归分类器可以看成神经网络的最后一层. 也就是说，网络的最后一层只用一个神经元，并且激活函数为 Logistic函数. 网络的输出可以直接作为类别𝑦 = 1的后验概率. 𝑝(𝑦 = 1|𝒙) = 𝑎(𝐿),

对于多分类问题，如果使用 Softmax 回归分类器，相当于网络最后一层设置𝐶 个神经元，其激活函数为 Softmax函数. 网络最后一层（第𝐿层）的输出可以作为每个类的后验概率. ̂y = softmax(𝒛(𝐿))

4.3.3 参数学习

交叉熵损失函数:ℒ(𝒚,𝒚) = − ̂y^T log(𝒚).𝒚 ∈ {0,1}^𝐶 为标签𝑦 对应的 one-hot向量表示.

4.4 反向传播函数

矩阵积分分三种形式: 反向传播算法的含义是：第𝑙 层的一个神经元的误差项（或敏感性）是所有与该神经元相连的第 𝑙 + 1层的神经元的误差项的权重和. 然后，再乘上该神经元激活函数的梯度. 使用误差反向传播算法的前馈神经网络训练过程可以分为以下三步:

前馈计算每一层的净输入 𝒛(𝑙) 和激活值 𝒂(𝑙)，直到最后一层；
反向传播计算每一层的误差项 𝛿(𝑙)；
计算每一层参数的偏导数，并更新参数.

4.5 自动梯度计算

4.5.1 数值微分

找到一个合适的扰动Δ𝑥却十分困难:

过小，会引起数值计算问题，比如舍入误差(Round-off Error)近似值和精确值的差异；
过大，会增加截断误差(Truncation Error)是指理论解和精确解之间的误差.

4.5.2 符号微分

一种基于符号计算的自动求导方法.符号计算也叫代数计算. 例如x^2的导数是2x

缺点:

编译时间长
需要专门语言表示数学表达式,对符号预声明
难以调试

4.5.3 自动微分(Automatic Differentiation, AD)

自动微分的处理对象是一个函数或一段程序. 所有的数值计算可以分解为一些基本操作,然后利用链式法则来自动计算一个复合函数的梯度. 一般的函数形式𝑓 ∶ ℝ^𝑁→ ℝ^𝑀:

前向模式需要对每一个输入变量都进行一遍遍历，共需要𝑁遍.
反向模式需要对每一个输出都进行一个遍历，共需要𝑀遍.
风险函数为𝑓 ∶ ℝ^𝑁→ ℝ，输出为标量，因此采用反向模式为最有效的计算方式，只需要一遍计算

静态计算图是在编译时构建计算图，计算图构建好之后在程序运行时不能改变，静态计算图在构建时可以进行优化，并行能力强，但灵活性比较差. 动态计算图是在程序运行时动态构建.两种构建方式各有优缺点.动态计算图则不容易优化，当不同输入的网络结构不一致时，难以并行计算，但是灵活性比较高. Theano和Tensorflow1.x采用的是静态计算图，Tensorflow 2.0也支持了动态计算图.而DyNet、Chainer和PyTorch采用的是动态计算

4.6 优化问题

4.6.1 非凸优化问题

神经网络的优化问题是一个非凸优化问题.(局部最小值不是全局最小值)

4.6.2 梯度消失问题

Logistic函数导数:𝜎′(𝑥) = 𝜎(𝑥)(1 − 𝜎(𝑥))∈ [0,0.25] Tanh函数导数:tanh′(𝑥) = 1 −(tanh(𝑥))^2 ∈ [0,1] 梯度消失问题(Vanishing Gradient Problem):当网络层数增多时,梯度会不断衰减,直至消失. 解决方法:

使用ReLU激活函数的导数比较大.
权重衰减,丢弃法

《第二章》

2.1基本概念

模式识别（ Pattern Recognition，PR）：在早期的工程领域，机器学习也经常称为模式识别，但模式识别更偏向于具体的应用任务，比如光学字符识别、语音识别、人脸识别等.

2.2机器学习三个要素

2.2.1模型

线性,非线性

2.2.2学习准则

训练集应当是独立同分布（Identically and Independently Distributed，IID）的样本组成. 样本分布应当是固定的.

经验风险最小化（Empirical Risk Minimization，ERM）准则:调整不同的参数θ,找到最小的平均损失. 结构风险最小化（Structure Risk Minimization，SRM）准则:在经验风险最小化的基础上添加了正则化（Regularization） 正则化（Regularization）理解:给损失函数添加上一个公式(通常用2-范数,等价于权重衰减),来限制损失函数的变化,从而不容易达到过拟合.

常用损失函数:

0-1损失函数,适用于二分类
平方损失函数,一般不适用于分类问题,用于预测标签y为实数值的任务
交叉熵损失函数,一般用于分类问题(不仅二分类) 交叉熵是负对数似然函数.

2.2.3优化算法　　

常见的超参数包括：聚类算法中的类别个数、梯度下降法中的步长、正则化项的系数、神经网络的层数、支持向量机中的核函数等.

提前停止（Early Stop）：如果在验证集上的错误率不再下降，就停止迭代. 可以防止过拟合． 随机梯度下降法（Stochastic Gradient Descent，SGD）：在每次迭代时只采集一个样本，计算这个样本损失函数的梯度并更新参数．

第 𝑡 次迭代时，随机选取一个包含 𝐾(2的ｎ次方计算效率高) 个样本的子集 𝒮𝑡，计算这个子集上每个样本损失函数的梯度并进行平均，然后再进行参数更新：

批量梯度下降和随机梯度下降之间的区别：在于每次迭代的优化目标是对所有样本的平均损失函数还是单个样本的损失函数.

2.3线性回归

共线性(collinearity):一个特征可以通过其他特征的线性组合来被准确的预测. 岭回归(Ridge Regression):给XX^T的对角线元素都加上一个常数𝜆使得 (𝑿𝑿^T + 𝜆𝐼)满秩. 岭回归的解:相当于结构风险最小化准则下的最小二乘法估计,其目标函数是: 令𝜕ℛ(𝒘) /𝜕𝒘= 0,得到解: 最小二乘法(Least Square Method, LSM):

机器学习任务分为两类: 1.样本的特征向量x和标签y之间存在未知的函数关系. 2.条件概率p(y|x)服从某个未知分布. 最大似然估计(Maximum Likelihood Estimation,MLE):找到一组参数w使得似然函数p(y|X;w,𝜎)最大,等价于它的对数似然函数 log p(y|X; w, 𝜎) 最大. 贝叶斯估计(Bayesian Estimation): 一种估计参数w的后验概率分布的方法,后验 = 先验 × 似然率;p(𝒚|𝑿; 𝒘, 𝜎)为 𝒘的似然函数，p(𝒘; 𝜈)为 𝒘的先验. 最大后验估计(Maximum A Posteriori Estimation,MAP):最优参数为后验分布中概率密度最高的参数.

2.4偏差方差

期望错误:理解为错误的平均值偏差:一个模型在不同训练集上的平均性能和最优模型的差异,衡量拟合能力方差:一个模型在不同训练集上的差异,衡量容易过拟合,会随着样本增加而减少. 模型复杂度增加,拟合能力变强,偏差减少,方差增大,从而导致过拟合. 情况:一般来讲,当一个模型在训练集上错误率高,说明模型的拟合能力不够，偏差比较高. 解决方法:通过增加数据特征、提高模型复杂度、减少正则化系数等操作来改进模型. 情况2:当模型在训练集上的错误率比较低，但验证集上的错误率比较高时，说明模型过拟合，方差比较高. 解决方法:通过降低模型复杂度、加大正则化系数、引入先验等方法来缓解. 此外，还有一种有效降低方差的方法为集成模型，即通过多个高方差模型的平均来降低方差

2.5机器学习算法类型

按函数 𝑓(𝒙; 𝜃)的不同，机器学习算法可以分为线性模型和非线性模型；按照学习准则的不同，机器学习算法也可以分为统计方法和非统计方法. (最常用)按照训练样本提供的信息以及反馈方式的不同，将机器学习算法分为以下几类：

监督学习（Supervised Learning,SL）:机器学习的目标是通过建模样本的特征 𝒙 和标签 𝑦 之间的关系𝑦 = 𝑓(𝒙; 𝜃) 或 𝑝(𝑦|𝒙; 𝜃)，并且训练集中每个样本都有标签
- 回归（Regression）:标签 𝑦 是连续值（实数或连续整数）， 𝑓(𝒙; 𝜃)的输出也是连续值
- 分类（Classification）:标签 𝑦 是离散的类别（符号）. 在分类问题中，学习到的模型也称为分类器（Classifier）. 分类问题根据其类别数量又可分为二分类（Binary Classification）和多分类（Multi-class Classification）问题.

2.6数据表示

图像特征:将N * M的图像的所有像素存储为N*M向量,也会经常加入一个额外的特征，比如直方图、宽高比、笔画数、纹理特征、边缘特征等. 文字特征:词袋（Bag-of-Words，BoW）模型,类似one-hot向量.还可以改进为二元特征,即两个词的组合. 特征学习（Feature Learning），也叫表示学习（Representation Learning）:如何让机器自动地学习出有效的特征. 特征选择（Feature Selection）:是选取原始特征集合的一个有效子集，使得基于这个特征子集训练出来的模型准确率最高.

子集搜索（Subset Search）:假设原始特征数为 𝐷，则共有 2^𝐷 个候选子集. 特征选择的目标是选择一个最优的候选子集.常用的方法是采用贪心的策略：由空集合开始，每一轮添加该轮最优的特征，称为前向搜索（Forward Search）；或者从原始特征集合开始，每次删除最无用的特征，称为反向搜索（Backward Search）.
- 过滤式方法（Filter Method）不依赖具体的机器学习模型. 每次增加最有信息量的特征，或删除最没有信息量的特征. 信息量可以通过信息增益（Information Gain）衡量.
- 包裹式方法（Wrapper Method）是用后续机器学习模型的准确率来评价一个特征子集. 每次增加对后续机器学习模型最有用的特征，或删除对后续机器学习任务最无用的特征.将机器学习模型包裹到特征选择过程的内部.

2.7评价指标

准确率:预测准确的概率. 错误率:预测错误的概率精确率:所有实际为正例中,真正例的比率. 召回率:所有预测为正例中,真正例的比率. F1值: 𝛽 用于平衡精确率和召回率的重要性，一般取值为 1. 𝛽 = 1时的 F值称为 F1值，是精确率和召回率的调和平均. 微平均是每一个样本的性能指标的算术平均值. 对于单个样本而言，它的精确率和召回率是相同的（要么都是 1，要么都是 0）. 因此精确率的微平均和召回率的微平均是相同的. 同理，F1值的微平均指标是相同的. 当不同类别的样本数量不均衡时，使用宏平均会比微平均更合理些. 实际使用的评估方式:AUC（Area Under Curve）、 ROC（Receiver Operating Characteristic）曲线、PR（Precision-Recall）曲线 ROC曲线:

纵轴是真正例率(True Positive Rate, 简称TPR,也是召回率): 所有实际为正例中,真的正例的比率.
横轴是假正例率(False Positive Rate,简称FPR):所有实际为负例中,预测为正例的比率.

ROC曲线作用:

ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响。
有助于选择最佳的阈值。ROC曲线越靠近左上角，模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。
可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高。

AUC面积作用:衡量二分类模型优劣的一种评价指标，表示预测的正例排在负例前面的概率。 交叉验证（Cross Validation）:把原始数据集平均分为 𝐾 组不重复的子集，每次选 𝐾 − 1组子集作 (𝐾 一般大于 3,可以选10).为训练集，剩下的一组子集作为验证集. 这样可以进行 𝐾 次试验并得到 𝐾 个模型，将这𝐾 个模型在各自验证集上的错误率的平均作为分类器的评价.

2.8理论和定理

可能近似正确（Probably Approximately Correct，PAC）学习理论:PAC可学习指该学习算法能够在多项式时间内从合理数量的训练数据中学习到一个近似正确的;𝑓(𝒙)模型越复杂,需要样本越多; 没有免费的午餐（No Free Lunch Theorem，NFL）:如果一个算法对某些问题有效，那么它一定在另外一些问题上比纯随机搜索算法更差. 也就是说，不能脱离具体问题来谈论算法的优劣. 丑小鸭定理（Ugly Duckling Theorem）:“ 丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”. 世界上不存在分类的客观标准，一切分类的标准都是主观的。 奥卡姆剃刀原理（Occam’s Razor）:“ 如无必要，勿增实体”.简单的模型泛化能力更好. 如果有两个性能相近的模型，我们应该选择更简单的模型. 因此，在机器学习的学习准则上，我们经常会引入参数正则化来限制模型能力，避免过拟合.

奥卡姆剃刀的一种形式化是最小描述长度（Minimum Description Length， MDL）原则:即对一个数据集 𝒟，最好的模型 𝑓 ∈ ℱ 是会使得数据集的压缩效果最好，即编码长度最小.

归纳偏置（Inductive Bias）:经常会对学习的问题做一些假设,在贝叶斯学习中也经常称为先验（Prior）.在最近邻分类器中，我们会假设在特征空间中，一个小的局部区域中的大部分样本都同属一类. 在朴素贝叶斯分类器中，我们会假设每个特征的条件概率是互相独立的.

《第三章》

3.1线性回归

线性回归模型的房屋价格预测表达式为:

\hat{y}^{(i)} = x_1^{(i)} w_1 + x_2^{(i)} w_2 + b.

假设我们采集的样本数为n，索引为i的样本的特征为x(i)1 和x(i)2 ，标签为y(i) 。对于索引为i的房屋，w指权重(weight)，b是偏差(bias),y帽是预估。

平方损失函数（损失函数，衡量价格预测值与真实值之间的误差。）：

目标函数：是找到使损失最小的权重w和偏差b：

迭代方式（通过迭代始得参数回归真实的值）：

小技巧：向量化的运算速度远快于for循环。

全连接层是指每一个结点都与上一层的所有结点相连。

3.2线性回归的普通实现

为什么squared_loss函数中需要使用reshape函数？
答：因为y_hat的shape为（10，1）而y为（1，10）
尝试使用不同的学习率，观察损失函数值的下降快慢。
答：数值小下降越快，但损失较大，即比较不准确

3.3线性回归的简单实现

如果将l = loss(net(X), y)替换成l = loss(net(X), y).mean()，我们需要将trainer.step(batch_size)相应地改成trainer.step(1)。这是为什么呢？
答：因为原始l所计算的损失是小批量地计算的，需要除以批量数才能获得平均损失，通过trainer.step告诉批量的大小。所以如果预先计算了评均损失，则trainer.step(1)即可。

如何访问dense.weight的梯度？
答：dense.weight.grad()获得梯度，通过help(dense.weigth)获得帮助

3.4softmax回归模型

适用场景：分类问题

一共有4种特征和3种输出动物类别，所以权重包含12个标量（带下标的w）、偏差包含3个标量（带下标的b），且对每个输入计算o1,o2,o3这3个输出：

softmax公式：

损失函数（交叉熵）公式：

带下标的y(i)j是向量y(i)中非0即1的元素，需要注意将它与样本i类别的离散数值，即不带下标的y(i)区分。

小技巧：最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率。

查阅资料，了解最大似然估计。它与最小化交叉熵损失函数有哪些异曲同工之妙？
答：Softmax函数一个重要的性质就是把输出归一化转换到每一个对应分类的概率。一旦转换为概率之后，我们就可以用到最大似然估计（交叉熵）的方式来求得最大似然或者最小交叉熵。

其他知识

相对熵，又称KL Divergence (KL散度)：是用来判断两个概率分布的距离，DKL的值越小，表示q分布（pred）和p分布（label）越接近。

交叉熵：刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近，即拟合的更好。上述等式的前一部分就是p的熵，后一部分，就是交叉熵：

softmax回归模型中实际上是使用相对熵来评估pred和label的差距，因为label的熵不变，所以损失函数使用交叉熵来计算。

3.5图像分类数据集——Fashion-MNIST

减小batch_size（如到1）会影响读取性能吗？
会，从256->1，时间从2.7s到7.8s。
查阅MXNet文档，mxnet.gluon.data.vision里还提供了哪些别的数据集？

CIFAR-10数据集：包含10个类别的60000个32x32彩色图像，每个类别6000个图像。有50000张训练图像和10000张测试图像。

CIFAR-100数据集：类似于CIFAR-10，不同之处在于它有100个类别，每个类别包含600张图像。每个课程有500张训练图像和100张测试图像。CIFAR-100中的100个类别分为20个超类。每个图像都带有一个“精细”标签（它所属的类）和一个“粗糙”标签（它所属的超类）。

MNIST手写数字数据集

查阅MXNet文档，mxnet.gluon.data.vision.transforms还提供了哪些别的变换方法？

ToTensor实例将图像数据从uint8格式变换成32位浮点数格式，并除以255使得所有像素的数值均在0到1之间。

3.6sofatmax从零实现

nd.pick(x, y)以y为索引，从x中取得y对应的值。

y_hat.argmax(axis=1)返回矩阵y_hat每行中最大元素的索引

X.sum(axis=0, keepdims=True)保持第0轴，取总和，保持维度。

在 Python 3.x 中为了减少内存，zip([iterable,...])返回的是一个对象。如需展示列表，需手动 list() 转换。相当于range，但是针对自定义的迭代器。

如果keepdims=False，结果为一维向量。

在本节中，我们直接按照softmax运算的数学定义来实现softmax函数。这可能会造成什么问题？（提示：试一试计算exp(50)exp⁡(50)的大小。）
答：数据过大，内存存储耗费大，计算复杂。
本节中的cross_entropy函数是按照一节中的交叉熵损失函数的数学定义实现的。这样的实现方式可能有什么问题？（提示：思考一下对数函数的定义域。）
答：所获得的损失函数都是负的。

3.7softmax简洁实现

尝试调一调超参数，如批量大小、迭代周期和学习率，看看结果会怎样。
答：缩小batch_size能提高精确度，缩小到64的效果比较好；
提高num_epochs能提高精确度，提高到8左右即可；（可能缩小batch_size需要配合提高num_epochs）
learning_rate从0.3到0.1有助于提高精确率，再低反而降低。

3.8多层感知机

多层感知机在输出层与输入层之间加入了一个或多个全连接隐藏层，并通过激活函数对隐藏层输出进行变换。
常用的激活函数包括ReLU函数、sigmoid函数和tanh函数。
sigmoid函数：1.值域在0和1之间；2.函数具有非常好的对称性；3.函数对输入超过一定范围就会不敏感.
tanh函数：Tanh函数是0均值的更加有利于提高训练效率，由于Sigmoid输出是在0-1之间，总是正数，在训练过程中参数的梯度值为同一符号，这样更新的时候容易出现zigzag现象，不容易到达最优值。
ReLU函数：1.更加有效率的梯度下降以及反向传播；2.仿生物学原理，少数神经元活跃；3.简化计算过程。

3.9多层感知机从零开始

512：

256：

128：

改变超参数num_hiddens的值，看看对实验结果有什么影响。
答：num_hiddens越高越耗时间，精确率有一定提高，但是超过512之后的不太显眼了，没必要。性价比高的数值大概在256-512之间。
试着加入一个新的隐藏层，看看对实验结果有什么影响。
答：第一次的精确率较低，但是梯度下降的速度更快了，后面的几次精确率显著提高。

3.10多层感知机简洁实现

尝试多加入几个隐藏层，对比上一节中从零开始的实现。
加入3个隐藏层。
使用其他的激活函数，看看对结果的影响。
答：使用tanh和sigmoid的效果均没有relu的好。

3.11模型选择、欠拟合、过拟合

训练误差（training error）指模型在训练数据集上表现出的误差

泛化误差（generalization error）：模型在任意一个测试数据样本上表现出的误差的期望，通过测试数据集上的误差来近似

k 折交叉验证：在k折交叉验证中，我们把原始训练数据集分割成k个不重合的子数据集，然后我们做k次模型训练和验证。每一次，我们使用一个子数据集验证模型，并使用其他k−1个子数据集来训练模型。在这k次训练和验证中，每次用来验证模型的子数据集都不同。最后，我们对这k次训练误差和验证误差分别求平均。

欠拟合（underfitting）：模型无法得到较低的训练误差

过拟合（overfitting）：模型的训练误差远小于它在测试数据集上的误差

如果用一个三阶多项式模型来拟合一个线性模型生成的数据，可能会有什么问题？为什么？
答：可能会发生过拟合。但是要看线性模型生成多少个点，如果点非常少，例如小于等于4，那么3次模型会有可能严重过拟合，在训练集上loss可以降为0，但是在测试集上表现很差。但是如果数据点非常多的话，例如1000个点，3次模型来你和还是不错的，因为高阶项的系数基本都是趋近于0的。因此在测试集上表现也不会很差的。（借鉴）
在本节提到的三阶多项式拟合问题里，有没有可能把100个样本的训练误差的期望降到0，为什么？（提示：考虑噪声项的存在。）
答：没有可能。除非这1000个样本中只有小于等于4个点不共线，这种情况才会使得loss为0，因为3次多项式最多可以完全拟合4个不共线的点。（借鉴）

3.12权重衰减

带有L2范数惩罚项的新损失函数为

权重w1和w2的迭代方式更改为

可见，L2范数正则化令权重w1和w2先自乘小于1的数，再减去不含惩罚项的梯度。因此，L2范数正则化又叫权重衰减。权重衰减通过惩罚绝对值较大的模型参数为需要学习的模型增加了限制，这可能对过拟合有效。实际场景中，我们有时也在惩罚项中添加偏差元素的平方和。

对比线性回归迭代方式：

回顾一下训练误差和泛化误差的关系。除了权重衰减、增大训练量以及使用复杂度合适的模型，你还能想到哪些办法来应对过拟合？
dropout：dropout细节可以参考什么是dropout：在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作。原因：整个dropout过程就相当于对很多个不同的神经网络取平均，是一种bagging机制。
Batch Nomalization BN真的是一大利器，有一定的正则效果。对于BN为什么这么牛的研究很多，现在还处于讨论阶段，我们只要知道BN是真的叼，搭网络必备网络层。
如果你了解贝叶斯统计，你觉得权重衰减对应贝叶斯统计里的哪个重要概念？

梯度消失：在神经网络中，当前面隐藏层的学习速率低于后面隐藏层的学习速率，即随着隐藏层数目的增加，分类准确率反而下降了。这种现象叫做消失的梯度问题。

3.13丢弃法

丢弃法：按照一定的概率丢弃隐藏层。设丢弃概率为p，那么有p的概率hi会被清零，有1−p的概率hi会除以1−p做拉伸。

丢弃法不改变输入的期望值。

我们可以通过使用丢弃法应对过拟合。

丢弃法只在训练模型时使用。

如果把本节中的两个丢弃概率超参数对调，会有什么结果？
答：结果接近，无显著差别。
增大迭代周期数，比较使用丢弃法与不使用丢弃法的结果。
答：1.不使用丢弃的话会过拟合，loss一直降低，train acc一直提高。
2.使用丢弃法的话，loss也会降低，train acc也会一直提高，但速度较慢。

3.14正向传播和反向传播

正向传播沿着从输入层到输出层的顺序，依次计算并存储神经网络的中间变量。
反向传播沿着从输出层到输入层的顺序，依次计算并存储神经网络的中间变量和参数的梯度。
在训练深度学习模型时，正向传播和反向传播相互依赖。

这些中间变量的个数大体上与网络层数线性相关，每个变量的大小与批量大小和输入个数也是线性相关的，它们是导致较深的神经网络使用较大批量训练时更容易超内存的主要原因。

3.15数值稳定性和模型初始化

衰减和爆炸：指数的次方导致的数值衰减或者爆炸。

我们通常对神经网络的模型参数，特别是权重参数，进行随机初始化。

net.initialize(init.Normal(sigma=0.01))使模型net的权重参数采用正态分布的随机初始化方式。

如果不指定初始化方法，如net.initialize()，MXNet将使用默认的随机初始化方法：权重参数每个元素随机采样于-0.07到0.07之间的均匀分布，偏差参数全部清零。

Xavier随机初始化 [1]。假设某全连接层的输入个数为a，输出个数为b，Xavier随机初始化将使该层中权重参数的每个元素都随机采样于均匀分布

ps：它的设计是为了，模型参数初始化后，每层输出的方差不该受该层输入个数影响，且每层梯度的方差也不该受该层输出个数影响。

有人说随机初始化模型参数是为了“打破对称性”。这里的“对称”应如何理解？
答：当我们把所有的参数都设成0的话，那么每一条边上的权重就都是0，那么神经网络就还是对称的，对于同一层的每个神经元，它们就一模一样了。这样的后果是什么呢？我们知道，不管是哪个神经元，它的前向传播和反向传播的算法都是一样的，如果初始值也一样的话，不管训练多久，它们最终都一样，都无法打破对称（fail to break the symmetry）,那每一层就相当于只有一个神经元，最终L层神经网络就相当于一个线性的网络，如Logistic regression，线性分类器对我们上面的非线性数据集是“无力”的，所以最终训练的结果就瞎猜一样。
因此，我们决不能把所有参数初始化为0，同样也不能初始化为任何相同的值，因为我们必须“打破对称性”！（借鉴）
是否可以将线性回归或softmax回归中所有的权重参数都初始化为相同值？

3.16房价预测

NA代表缺失值，NaN代表不可能值

pd.get_dummies：将非数字的特征转化成0或1的数字特征（有无这个非数字特征）

pd.iloc：根据索引取数据

对数均方根误差RMSE:

《第七章》

7.1优化与深度学习

优化：优化算法的目标函数通常是一个基于训练数据集的损失函数，优化的目标在于降低训练误差。

深度学习：深度学习的目标在于降低泛化误差。为了降低泛化误差，除了使用优化算法降低训练误差以外，还需要注意应对过拟合。

梯度接近0时，是为局部最优点或鞍点：由于学习模型参数维度通常是高维，所以鞍点比局部最小值更常见。

输入是n维向量\boldsymbol{x} = [x_1, x_2, \ldots, x_n]^\top\\ 海森矩阵\begin{split}\boldsymbol{H} = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \dots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \dots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \dots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix},\end{split}

当函数的海森矩阵在梯度为0的位置上的特征值全为正时，该函数得到局部最小值。
当函数的海森矩阵在梯度为0的位置上的特征值全为负时，该函数得到局部最大值。
当函数的海森矩阵在梯度为0的位置上的特征值有正有负时，该函数得到鞍点。

对于k维参数，第一种的概率是0.5^k。显然鞍点的概率大。

两个挑战：局部最小值和鞍点

低维空间的非凸优化问题：主要是存在一些局部最优点。采用梯度下降方法时，不合适的参数初始化会导致陷入局部最优点，因此主要的难点是如何选择初始化参数和逃离局部最优点。高维空间中非凸优化的难点：并不在于如何逃离局部最优点，而是如何逃离鞍点。鞍点（saddle point）是梯度为0，但是在一些维度上是最高点，在另一些维度上是最低点。

练习

对于深度学习中的优化问题，你还能想到哪些其他的挑战？
答：学习率的调整，如何选择初始化参数。

7.2梯度下降

numpy.meshgrid()——生成网格点坐标矩阵

举例：X轴可以取三个值1,2,3, Y轴可以取三个值7,8, 请问可以获得多少个点的坐标?

学习率过大或过小都有问题。一个合适的学习率通常是需要通过多次实验找到的。
当训练数据集的样本较多时，梯度下降每次迭代的计算开销较大O（n），因而随机梯度下降通常更受青睐O（1）。理解：梯度下降需要梯度求和后取平均，随机梯度下降只采样一个来计算梯度。

练习

使用一个不同的目标函数，观察梯度下降和随机梯度下降中自变量的迭代轨迹。
答：梯度下降比较线性，随机梯度下降比较曲折。
在二维梯度下降的实验中尝试使用不同的学习率，观察并分析实验现象
答:小于0.5的还可以用，超过的无法收敛。学习率偏低会导致无法接近0点，稍高会在0点附近徘徊，过高则不收敛。猜测过高导致了接近指数爆炸的效果。

7.3小批量随机梯度下降

小批量随机梯度下降中每次迭代的计算开销为O(|B|)。

当批量大小为1时，该算法即随机梯度下降；
当批量大小等于训练数据样本数时，该算法即梯度下降。

练习

修改批量大小和学习率，观察目标函数值的下降速度和每个迭代周期的耗时。
答：批量小，每个迭代周期耗时长，下降速度快。近似随机梯度下降。
学习率提高，梯度下降速度越快，每个迭代周期耗时不影响。
查阅MXNet文档，使用Trainer类的set_learning_rate函数，令小批量随机梯度下降的学习率每过一个迭代周期减小到原值的1/10。

7.4动量法

换句话说，相比于小批量随机梯度下降，动量法在每个时间步的自变量更新量近似于将前者对应的最近1/(1−γ)个时间步的更新量做了指数加权移动平均后再除以1−γ。所以，在动量法中，自变量在各个方向上的移动幅度不仅取决于当前梯度，还取决于过去的各个梯度在各个方向上是否一致。这样，我们就可以使用较大的学习率，从而使自变量向最优解更快移动

动量γ=0.5，则是1/（1-γ）=2倍小批量梯度下降。

动量γ=0.9，则是1/（1-γ）=10倍小批量梯度下降。

后者是前者五倍，直觉上，后者学习率应该是前者1/5.

练习

使用其他动量超参数和学习率的组合，观察并分析实验结果。
答：momentum越小，结果越不陡。原因：动量越小，相当于越小批量的梯度下降，所以损失降低慢。其他组合改变如上述笔记。

7.5AdaGrad算法

AdaGrad算法，它根据自变量在每个维度的梯度值的大小来调整各个维度上的学习率，从而避免统一的学习率难以适应所有维度的问题。

总结

AdaGrad算法在迭代过程中不断调整学习率，并让目标函数自变量中每个元素都分别拥有自己的学习率。
使用AdaGrad算法时，自变量中每个元素的学习率在迭代过程中一直在降低（或不变）。（AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。）

练习

在介绍AdaGrad算法的特点时，我们提到了它可能存在的问题。你能想到什么办法来解决这个问题？
答：AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。解决办法：学习率降低的慢一点？指数加权移动平均。
在实验中尝试使用其他的初始学习率，结果有什么变化？
答：损失函数变得曲折了起来。

7.6RMSProp算法

MSProp算法使用了小批量随机梯度按元素平方的指数加权移动平均来调整学习率。改进了AdaGrad算法。

因为RMSProp算法的状态变量s_t是对平方项g_t⊙g_t的指数加权移动平均，所以可以看作最近1/(1−γ)个时间步的小批量随机梯度平方项的加权平均。

在同样的学习率下，RMSProp算法可以更快逼近最优解。

练习

把γ的值设为1，实验结果有什么变化？为什么？
答：损失函数发散扩大，而后Maximum allowed size exceeded。即获得nan。因为一开始的s_t为0，一直没有增长。后面学习率η除以ε的开根号，所得的值，导致自变量降低很大。
试着使用其他的初始学习率和γ超参数的组合，观察并分析实验结果。
答：原来：初始学习率0.01 和γ超参数0.9
修改1：初始学习率0.01 和γ超参数0.99-------结果：损失函数比原来更快下降。因为s_t变小，所以学习率更容易变大。

7.7AdaDelta算法

小批量随机梯度g_t按元素平方的指数加权移动平均变量s_t

超参数0≤ρ<1（对应RMSProp算法中的γ）

状态变量Δx_t，在时间步0时被初始化为0。记录自变量变化量g′t按元素平方的指数加权移动平均。

AdaDelta算法没有学习率超参数，它通过使用有关自变量更新量平方的指数加权移动平均的项

来替代RMSProp算法中的学习率。

练习

调节AdaDelta算法中超参数ρ的值，观察实验结果。
答：有点类似学习率，增大就容易降低损失。但是直觉上觉得，比学习率更稳定可靠。

7.8Adam算法

0<=β_1<1，作者建议0.9

0<=β_2<1，作者建议0.999

小批量随机梯度gt按元素平方的指数加权移动平均变量st

注：之前AdaDelta算法是只有按元素平方的，而Adam是增加了没有平方的小批量随机梯度也做指数加权移动平均。

总结

Adam算法在RMSProp算法的基础上对小批量随机梯度也做了指数加权移动平均。
Adam算法使用了偏差修正。

练习

调节学习率，观察并分析实验结果。
答：高于0.03就效果不太好了，迭代后期产生了曲折变化。原因想不明白。目前来看，Adam的学习率应当低一点
有人说Adam算法是RMSProp算法与动量法的结合。想一想，这是为什么？
答：因为对小批量随机梯度做指数加权移动平均就是动量法。

《第六章》

6.1语言模型

语言模型（language model）是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看作一段离散的时间序列。

P(w_2 \mid w_1)

可以计算为w1,w2两词相邻的频率与w1词频的比值，因为该比值即P(w1,w2)与P(w1)之比

P(w3∣w1,w2)同理可以计算为w1、w2和w3这3个词相邻的频率与w1和w2这2个词相邻的频率的比值。

基于n−1阶马尔可夫链，我们可以将语言模型改写为：

以上也叫n元语法（n-grams），当n分别为1、2和3时，我们将其分别称作一元语法（unigram）、二元语法（bigram）和三元语法（trigram）,长度为4的序列w1,w2,w3,w4在一元语法、二元语法和三元语法中的概率分别为：

练习

假设训练数据集中有10万个词，四元语法需要存储多少词频和多词相邻频率？
答：
10万个词一共需要存储 p(w1)…p(w100000) 共10万个词频；
一共需要存储
p(w1,w2)…p(w99999,w100000) 共10万-1个二词相邻频率 p(w1,w2,w3)…p(w99998,w99999,w100000) 共10万-2个三词相邻频率 p(w1,w2,w3,w4)…p(w99997,w99998,w99999,w100000) 共10万-3个四词相邻频率

6.2循环神经网络

含隐藏状态（受Ht-1影响）的循环神经网络：

练习

如果使用循环神经网络来预测一段文本序列的下一个词，输出个数应该设为多少？
答：输入等于输出
为什么循环神经网络可以表达某时间步的词基于文本序列中所有过去的词的条件概率？
答：因为时间步t的隐藏变量H_t，一直传递给了下一个预测。

6.3语言模型数据集及处理

随机采样：

相邻采样：

练习

你还能想到哪些采样小批量时序数据的方法？
答：倒序，按断句。
如果我们希望一个序列样本是一个完整的句子，这会给小批量采样带来什么样的问题？
答：会导致每次的批量大小不固定。

6.4循环神经网络完整实现

应用：可以用基于字符级循环神经网络的语言模型来生成文本序列，例如创作歌词。

one-hot向量：就是标签向量，只有0和1代表有没有。

超参数：num_hiddens

激活函数：当元素在实数域上均匀分布时，tanh函数值的均值为0。实际应用中比sigmoid好一点。

预测函数：基于前缀prefix（含有数个字符的字符串）来预测接下来的num_chars个字符。

裁剪梯度（clip gradient）：假设我们把所有模型参数梯度的元素拼接成一个向量 g，并设裁剪的阈值是θ。裁剪后的梯度的L2范数不超过θ。当训练循环神经网络时，为了应对梯度爆炸，可以裁剪梯度。

困惑度（perplexity）：来评价语言模型的好坏。困惑越低，越像是正常句子。任何一个有效模型的困惑度必须小于类别个数。困惑度是对交叉熵损失函数做指数运算后得到的值。

循环神经网络的模型训练函数的不同之处：

使用困惑度评价模型。
在迭代模型参数前裁剪梯度。
对时序数据采用不同采样方法将导致隐藏状态初始化的不同。

练习

调调超参数，观察并分析对运行时间、困惑度以及创作歌词的结果造成的影响。
答：num_hiddens提高到512，有助于更快收敛。batch_size降低，耗时但有助于收敛。lr改变为e大小使得学习不收敛。
不裁剪梯度，运行本节中的代码，结果会怎样？
答：OverflowError: math range errorclipping_theta

6.5循环神经网络简洁实现

简洁实现版，速度更快。

定义模型。继承Block类实现神经网络。
训练模型。定义预测函数。使用模型训练预测函数中的参数。

练习

与上一节的实现进行比较。看看Gluon的实现是不是运行速度更快？如果你觉得差别明显，试着找找原因。
答：从0.3s到0.05s，可能原因：1.前向计算使用了全连接层而不是向量运算。2.使用了d2l的梯度计算。3.参数的获取方式不同。

6.6通过时间反向传播

时间步数为3的循环神经网络模型计算中的依赖关系。

方框代表变量（无阴影）或参数（有阴影），圆圈代表运算符。

x输入，w权重，h时间步，o输出，L损失函数，y实际结果。

上式中的指数项可见，当时间步数T较大或者时间步t较小时，目标函数有关隐藏状态的梯度较容易出现衰减和爆炸。所以才需要用以下方式梯度裁剪。

练习

除了梯度裁剪，你还能想到别的什么方法应对循环神经网络中的梯度爆炸？
答：1. 使用 ReLU、LReLU、ELU、maxout 等激活函数。sigmoid函数的梯度随着x的增大或减小和消失，而ReLU不会。2.使用批量归一化。通过规范化操作将输出信号xx规范化到均值为0，方差为1保证网络的稳定性.

6.7GRU门控循环单元

门控循环神经网络（gated recurrent neural network）是为了更好地捕捉时间序列中时间步距离较大的依赖关系。通过可以学习的门来控制信息的流动。

⊙按元素乘法，σ是sigmoid函数，R是重置门，Z是更新门。

重置门Rt和更新门Zt中每个元素的值域都是[0,1]

重置门（reset gate）：重置门控制了上一时间步的隐藏状态如何流入当前时间步的候选隐藏状态。重置门可以用来丢弃与预测无关的历史信息。有助于捕捉时间序列里短期的依赖关系

更新门（update gate）：更新门可以控制隐藏状态应该如何被包含当前时间步信息的候选隐藏状态所更新。这个设计可以应对循环神经网络中的梯度衰减问题。有助于捕捉时间序列里长期的依赖关系。

练习

假设时间步t′<t。如果只希望用时间步t′的输入来预测时间步t的输出，每个时间步的重置门和更新门的理想的值是多少？
答：重置门Rt=0；更新门Zt=1；能够使得为H_tilda无法生效。
调节超参数，观察并分析对运行时间、困惑度以及创作歌词的结果造成的影响。
答：num_steps从32改为40，困惑度提高，结果更差，运行时间略微降低。
改为16，困惑度降低，结果更好，运行时间接近翻倍。

6.8LSTM长短期记忆

长短期记忆（long short-term memory，LSTM）引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate）这3个门元素的值域均为[0,1]。

输入门（input gate）：It,来选择取多少C_tilda，也就是正常的循环神经网络的单元。

遗忘门（forget gate）：Ft，来选择取多少Ct-1,也就是上一个的记忆细胞。

输出门（output gate）：Ot，来选择取多少Ct的激活后的值。

时间步Ht:对下一个循环神经网络单元的影响。

练习

调节超参数，观察并分析对运行时间、困惑度以及创作歌词的结果造成的影响。
答：感觉跟6.7类似。
在相同条件下，比较长短期记忆、门控循环单元和不带门控的循环神经网络的运行时间。
答：长短期记忆 >(略大于)门控循环单元 > 不带门控的循环神经网络。从计算量很容易可以看出。

6.9深度循环神经网络

隐藏层个数L和隐藏单元个数h都是超参数

将隐藏状态的计算换成门控循环单元或者长短期记忆的计算，我们可以得到深度门控循环神经网络。

练习

将一节中的模型改为含有2个隐藏层的循环神经网络。观察并分析实验现象。
答：修改代码如下。运行结果时间更久了，迷惑度一开始略高于一个隐藏层的。

6.10双向循环神经网络

公式：

模型参数形状：

然后我们连结两个方向的隐藏状态H_t，再计算输出层。

练习

如果不同方向上使用不同的隐藏单元个数，Ht的形状会发生怎样的改变？
参考图6.11和图6.12，设计含多个隐藏层的双向循环神经网络。

《第十章》

10.1word2vec词嵌入

跳字模型（skip-gram）：假设基于某个词来生成它在文本序列周围的词。给定中心词“loves”，生成与它距离不超过2个词的背景词“the”“man”“his”“son”的条件概率。

给定中心词生成背景词的概率，如下：

P(w_o \mid w_c) = \frac{\text{exp}(\boldsymbol{u}_o^\top \boldsymbol{v}_c)}{ \sum_{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \boldsymbol{v}_c)}\\ \log P(w_o \mid w_c) = \boldsymbol{u}_o^\top \boldsymbol{v}_c - \log\left(\sum_{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \boldsymbol{v}_c)\right) \\ \begin{split}\begin{aligned} \frac{\partial \text{log}\, P(w_o \mid w_c)}{\partial \boldsymbol{v}_c} &= \boldsymbol{u}_o - \frac{\sum_{j \in \mathcal{V}} \exp(\boldsymbol{u}_j^\top \boldsymbol{v}_c)\boldsymbol{u}_j}{\sum_{i \in \mathcal{V}} \exp(\boldsymbol{u}_i^\top \boldsymbol{v}_c)}\\ &= \boldsymbol{u}_o - \sum_{j \in \mathcal{V}} \left(\frac{\text{exp}(\boldsymbol{u}_j^\top \boldsymbol{v}_c)}{ \sum_{i \in \mathcal{V}} \text{exp}(\boldsymbol{u}_i^\top \boldsymbol{v}_c)}\right) \boldsymbol{u}_j\\ &= \boldsymbol{u}_o - \sum_{j \in \mathcal{V}} P(w_j \mid w_c) \boldsymbol{u}_j. \end{aligned}\end{split} \\ 词典索引集\mathcal{V} = \{0, 1, \ldots, |\mathcal{V}|-1\}

其中，词w，每个词有两个d维向量，为中心词时是v，为背景词时是u。

梯度公式说明了它的计算需要所有词以w_c为中心词的条件概率。

跳字模型的似然函数，即给定任一中心词生成所有背景词的概率：

假设背景窗口大小为m，时间步t，文字长度为T。

训练中，通过最大化似然函数来学习模型参数，等于最小化以下损失函数：

训练过程的梯度使用前面定义的公式，训练结束后，对于词典中的任一索引为i的词，我们均得到该词作为中心词和背景词的两组词向量vi和ui。在自然语言处理应用中，一般使用跳字模型的中心词向量作为词的表征向量。（表征是指可以指代某种东西的符号或信号，即某一事物缺席时，它代表该事物。）

连续词袋模型（continuous bag of words）：连续词袋模型假设基于某中心词在文本序列前后的背景词来生成该中心词。连续词袋模型关心的是，给定背景词“the”“man”“his”“son”生成中心词“loves”的条件概率

一般使用连续词袋模型的背景词向量作为词的表征向量。

CBOW对小型数据库比较合适，而Skip-Gram在大型语料中表现更好。

练习

每次梯度的计算复杂度是多少？当词典很大时，会有什么问题？
答：每一步的梯度计算都包含词典大小数目V。当然，CBOW的激素计算复杂度要高于Skip-Gram，主要体现在求单个的概率P的时候，CBOW需要计算多个背景词求和后再进行点积运算。而Skip-Gram直接中心词和背景词点积。
英语中有些固定短语由多个词组成，如“new york”。如何训练它们的词向量？提示：可参考word2vec论文第4节 [2]。
答：通过下面的公式，将评分高的当作一个短语。δ主要是作为一个折扣系数防止太多的短语组成非常罕见的词被形成。

10.2近似训练

近似训练：由于跳字模型和连续词袋模型的梯度计算的复杂度较高，使用近似计算的方法，来简化复杂度。

负采样（negative sampling）：使用负的样本来简化计算。

层序softmax（hierarchical softmax）：

练习

在阅读下一节之前，你觉得在负采样中应如何采样噪声词？
答：随机取样？均衡取样？
本节中最后一个公式为什么成立？
答：对于任意两个拥有同个父节点的子结点，相加等于其父结点。所以所有叶子结点之和等于倒数第二层结点之和，等于倒数第三层，直至等于根结点，等于1。

10.3word2vec的实现

二次采样：计算出一个词语被丢弃的概率。（越高频越容易丢弃）

提取中心词和背景词：

负采样：

swapaxes(a,b)：将第a维和第b维调换，类似于transpose。

nd.batch_dot(X, Y)：给定两个形状分别为( n , a , b )和( n , b , c )的NDArray，小批量乘法输出的形状为( n , a , c )

练习

在创建nn.Embedding实例时设参数sparse_grad=True，训练是否可以加速？查阅MXNet文档，了解该参数的意义。
答：
sparse_grad (bool) – If True, gradient w.r.t. weight will be a ‘row_sparse’ NDArray.加速了两三秒。代表使用稀疏行来计算梯度权重。但只有一部分优化算法支持稀疏梯度，包括SGD，AdaGrad，Adam.

10.4fastText子词嵌入

将单词当成一个由字符构成的序列来提取n元语法。例如，当n=3时，我们得到所有长度为3的子词：“<wh”“whe”“her”“ere”“re>”以及特殊子词“”。

将它所有长度在3∼6的子词和特殊子词的并集记为Gw，假设词典中子词g的向量为zg

计算复杂度更高。但较生僻的复杂单词，甚至是词典中没有的单词，可能会从同它结构类似的其他词那里获取更好的词向量表示。

练习

子词过多（例如，6字英文组合数约为3×10^8）会有什么问题？你有什么办法来解决它吗？提示：可参考fastText论文3.2节末尾 [1]。
答：会导致很多重复的子词在不同地方出现。使用一个特殊的哈希函数Fowler-Noll-Vo来存储字符。最终一个单词通过索引和n元语法的哈希来表示。
We hash character sequences using the Fowler-Noll-Vo hashing function (specifically the FNV-1a variant).We set K = 2.10^6 below. Ultimately, a word is represented by its index in the word dictionary and the set of hashed n-grams it contains.
如何基于连续词袋模型设计子词嵌入模型？

10.5GloVe全局向量的词嵌入

这一章比较不理解。希望在之后的应用环节能够再学到代码。

原来的跳字模型如下：

GloVe模型改进的地方：

练习

如果一个词出现在另一个词的背景窗口中，如何利用它们之间在文本序列的距离重新设计条件概率pij的计算方式？（提示：可参考GloVe论文4.2节 [1]。）
答：论文中没找到参考方法。仅有文中的"如果词wi出现在词wj的背景窗口里，那么词wj也会出现在词wi的背景窗口里。也就是说，x_ij=x_ji。不同于word2vec中拟合的是非对称的条件概率p_ij，GloVe模型拟合的是对称的log(x_ij)。因此，任意词的中心词向量和背景词向量在GloVe模型中是等价的。"
对于任意词，它在GloVe模型的中心词偏差项和背景词偏差项是否等价？为什么？
答：是，因为任意词的中心词向量和背景词向量在GloVe模型中是等价的。

10.6求近义词和类比词

近义词：通过KNN挑选TopN的作为近义词。

类比词：有关系的，可以类比的，例如最高级和普通级，形容词和名词等

'woman'-'man'+'son'='daughter'

练习

测试一下fastText的结果。值得一提的是，fastText有预训练的中文词向量（pretrained_file_name='wiki.zh.vec'）。
答：近义词很糟糕，比较少遇到符合语义上的近义词。
类比词也不好，一般结果都是输出原来的。
如果词典特别大，如何提升近义词或类比词的搜索速度？

10.7文本情感分类：RNN

情感分析（sentiment analysis）：使用文本情感分类来分析文本作者的情绪。

练习

增加迭代周期。训练后的模型能在训练和测试数据集上得到怎样的准确率？再调节其他超参数试试？
答：增加迭代周期后，训练集准确率一直提高，测试集提高仅到0.855左右，过拟合了。
使用更大的预训练词向量，如300维的GloVe词向量，能否提升分类准确率？
答：遇到了 Check failed: e == CUDNN_STATUS_SUCCESS (4 vs. 0) : cuDNN: CUDNN_STATUS_INTERNAL_ERROR可能是因为显存或内存不够或者cudnn驱动有问题？

10.8textCNN卷积神经网络实现情感分类

练习

动手调参，从准确率和运行效率比较情感分析的两类方法：使用循环神经网络和使用卷积神经网络。
答：从运行效率和准确率上，卷积神经网络均优于循环神经网络。
使用上一节练习中介绍的3种方法（调节超参数、使用更大的预训练词向量和使用spaCy分词工具），能使模型在测试集上的准确率进一步提高吗？
答：使用300维的词向量，准确率达到0.87左右。使用spaCy工具，再100维的词向量，准确率达到0.86。

10.9seq2seq编码器-解码器

强制教学（teacher forcing）：它是一种网络训练方法，对于开发用于机器翻译，文本摘要，图像字幕的深度学习语言模型以及许多其他应用程序至关重要。它每次不使用上一个state的输出作为下一个state的输入，而是直接使用训练数据的标准答案(ground truth)的对应上一项作为下一个state的输入。

编码器用来分析输入序列，解码器用来生成输出序列。（是一种循环神经网络）两者都可以用于不定长序列。

编码器、解码器最后有“”（end of sequence）以表示序列的终止。

解码器最初有“”（beginning of sequence）表示序列开始。

编码器（encoder）：作用是把一个不定长的输入序列转换成一个定长的背景向量c，该背景向量包含了输入序列的信息，常用的编码器是循环神经网络。

解码器（decoder）：假设编码器输入x1,x2,...,xt经过变换后变成隐藏变量h1,h2,...,ht，然后进入c，解码器通过c获取编码器的内容，进行变换后得到输出y1,y2,yt`。

理解：解码器和编码器都可以使用循环神经网络来实现，都用到了上一个时间步的输入或输出。

练习

除了机器翻译，你还能想到编码器-解码器的哪些应用？
答：用于CV：
Encoder：本身其实就是一连串的卷积网络。该网络主要由卷积层，池化层和BatchNormalization层组成。卷积层负责获取图像局域特征，池化层对图像进行下采样并且将尺度不变特征传送到下一层，而BN主要对训练图像的分布归一化，加速学习。 Decoder：既然Encoder已经获取了所有的物体信息与大致的位置信息，那么下一步就需要将这些物体对应到具体的像素点上 Decoder对缩小后的特征图像进行上采样，然后对上采样后的图像进行卷积处理，目的是完善物体的几何形状，弥补Encoder当中池化层将物体缩小造成的细节损失。
概括地说，encoder对图像的低级局域像素值进行归类与分析，从而获得高阶语义信息（“汽车”， “马路”，“行人”），Decoder收集这些语义信息，并将同一物体对应到相应的像素点上，每个物体都用不同的颜色表示。

10.10束搜索

贪婪搜索（greedy search）：每一次搜索，选择最值来组合结果。

穷举搜索（exhaustive search）：穷举所有的组合。

束搜索（beam search）：每一次搜索，选择前n个值，来组合加过。

练习

穷举搜索可否看作特殊束宽的束搜索？为什么？
答：可以，因为穷举等于束宽最大的束搜索。
在一节中，我们使用语言模型创作歌词。它的输出属于哪种搜索？你能改进它吗？
答：predict_rnn()函数属于贪婪搜索Y[0].argmax(axis=1).asscalar()这一句选择了Y中最大的值，可以使用束搜索改进。

10.11注意力机制

注意力机制（Attention）：以循环神经网络为例，注意力机制通过对编码器所有时间步的隐藏状态做加权平均来得到背景变量。解码器在每一时间步调整这些权重，即注意力权重，从而能够在不同时间步分别关注输入序列中的不同部分并编码进相应时间步的背景变量。

X表示乘以权重，a表示函数，可以有多种选择，内积（如果输入向量长度相同），或者如下：

矢量化（向量）计算：在上面的例子中，查询项为解码器的隐藏状态，键项和值项均为编码器的隐藏状态。

更新隐藏状态：使用GRU门控循环单元为例。

注意力机制能够为表征中较有价值的部分分配较多的计算资源。

练习

为什么不可以将解码器在不同时间步的隐藏状态连结成查询项矩阵Q，从而同时计算不同时间步的含注意力机制的背景变量c？
答：因为softmax函数是将所有的数组元素均参与进去计算，而不是每一行的计算。
不修改一节中的gru函数，应如何用它实现本节介绍的解码器？
答：把背景向量c和分别和三个权重W_cr，W_cz，W_cs点乘后，再分别于b_r，b_z，b_s相加。然后当成三个偏差b_r，b_z，b_h传入下面函数。

10.12机器翻译

机器翻译：将一段文本从一种语言自动翻译到另一种语言。

nd.ones((1,20)).squeeze(axis=0)：将第一个维度挤掉，跟expand_dims(axis=0)相反。

jupyter魔法命令：

%lsmagic：查看所有的魔法命令。

%%time：给出cell的代码运行一次所花费的世界。

%timeit statement_name：空格后加代码，可以测出一行所用的时间。

%prun statement_name：产生一个有序表格来展示在该语句中所调用的每个内部函数调用的次数，每次调用的时间与该函数累计运行的时间。

!shell_commend：执行shell命令有可以添加自动填充和代码美化的技术，下一步研究。

BLEU（Bilingual Evaluation Understudy）:评价机器翻译结果常使用的系数。

当预测序列和标签序列完全一致时，BLEU为1;

其中exp部分是惩罚系数。

练习

如果编码器和解码器的隐藏单元个数不同或隐藏层个数不同，该如何改进解码器的隐藏状态的初始化方法？
答：在下方函数中根据enc_state，进行reshape。
在训练中，将强制教学替换为使用解码器在上一时间步的输出作为解码器在当前时间步的输入，结果有什么变化吗？
答：使用如下函数出现格式不兼容，使用了reshape([-1])后，也不符合。测试发现，dec_output是（2，39），reshape是（2），不知如何作为输入，按行求和？也不行，出现错误“Embedding layer doesn't support calculate data gradient”。

《第九章》

9.1图像增广

为了在预测时得到确定的结果，通常只将图像增广应用在训练样本上，而不在预测时使用含随机操作的图像增广。

图像增广：将图片翻转，缩放扩大，随机截取，调整色调，明亮等操作以生成新的数据集。

练习

不使用图像增广训练模型：train_with_data_aug(no_aug, no_aug)。比较有无图像增广时的训练准确率和测试准确率。该对比实验能否支持图像增广可以应对过拟合这一论断？为什么？
答：支持，正如下述训练，训练集拟合程度提高更快，且测试集结果也不如有图像增广的高。
在基于CIFAR-10数据集的模型训练中增加不同的图像增广方法。观察实现结果。
答：每轮的耗时不变，测试集效率有提高，且测试集拟合的也比较慢。
查阅MXNet文档，Gluon的transforms模块还提供了哪些图像增广方法？

方法

涵义

9.2微调

迁移学习：下载预训练过的模型参数，而后以较小的学习率微调隐藏层，以较大的学习率从头学习输出层。

Gluon的model_zoo包提供了常用的预训练模型。

GluonCV工具包有更多计算机视觉的预训练模型。

微调步骤：

加载预训练模型
定义微调模型，features直接套用预加载的，output重新初始化，并设置多倍学习率。
训练函数，记得设置本机的ctx。

练习

不断增大finetune_net的学习率。准确率会有什么变化？
答：学习率调到0.05，准确率显著降低，且提高的也很慢。说明较大程度改变了原来的模型参数，可能会造成糟糕的结果。
进一步调节对比试验中finetune_net和scratch_net的超参数。它们的精度是不是依然有区别？

9.3目标检测和边界框

目标检测：辨认出目标所在的位置

边界框：给目标加上一个方框

练习

找一些图像，尝试标注其中目标的边界框。比较标注边界框与标注类别所花时间的差异。
答：手动标注的肯定很慢，自动标注的还没学到。

9.4锚框

锚框：以每个像素为中心生成多个大小和宽高比（aspect ratio）不同的边界框。

生成锚框：设定大小s_1——s_n，宽高比r_1——r_n.我们通常只对包含s_1或r_1的组合感兴趣。

以相同像素为中心的锚框的数量为n+m−1。对于整个输入图像有wh(n+m-1)个锚框。

交并比：也叫Jaccard系数，衡量两个集合的相似度。

标注训练集的锚框的类别和偏移值：为每个锚框标注两类标签：一是锚框所含目标的类别，简称类别；二是真实边界框相对锚框的偏移量，简称偏移量（offset）。每次取相似度矩阵X中的最大值（且大于阈值），并将所在行和列丢弃。

非极大值抑制：先为图像生成多个锚框，并为这些锚框一一预测类别和偏移量。随后，我们根据锚框及其预测偏移量得到预测边界框。移除相似的预测边界框。常用的方法叫作非极大值抑制（non-maximum suppression，NMS）。

np.set_printoptions(2)：设置NDArray小数点后只打印2位。

numpy中的expand_dims(axis=0)：在第'axis'维，加一个维度出来，原先的维度向’右边‘推。

练习

改变MultiBoxPrior函数中sizes和ratios的取值，观察生成的锚框的变化。
答：修改后，以相同像素为中心的锚框个数记得修改。
构造交并比为0.5的两个边界框，观察它们的重合度。

9.5多尺度目标检测

减少锚框：在输入图像中均匀采样一小部分像素，并以采样的像素为中心生成锚框。

可以在多个尺度下生成不同数量和不同大小的锚框，从而在多个尺度下检测不同大小的目标。

用输入图像在某个感受野区域内的信息来预测输入图像上与该区域相近的锚框的类别和偏移量。

练习

给定一张输入图像，设特征图变量的形状为1×ci×h×w，其中ci、h和w分别为特征图的个数、高和宽。你能想到哪些将该变量变换为锚框的类别和偏移量的方法？输出的形状分别是什么？
答：卷积？形状不知。我们可以将特征图在相同空间位置的ci个单元变换为以该位置为中心生成的a个锚框的类别和偏移量。本质上，我们用输入图像在某个感受野区域内的信息来预测输入图像上与该区域位置相近的锚框的类别和偏移量。

9.6目标检测数据集（皮卡丘）

numpy的transpose()：将维度进行置换，两维的为转置矩阵。

练习

查阅MXNet文档，image.ImageDetIter和image.CreateDetAugmenter这两个类的构造函数有哪些参数？它们的意义是什么？
- image.ImageDetIter的Parameters

9.7单发多框检测

numpy的flatten()：默认将数组按行变换展开。返回的是拷贝，而ravel()会修改数据。

填充为1的3×3卷积层不改变特征图的形状。

感受野计算公式：

单发多框检测模型（single shot multibox detection，SSD）：一共包含5个模块，每个模块输出的特征图既用来生成锚框，又用来预测这些锚框的类别和偏移量。第一模块为基础网络块，第二模块至第四模块为高和宽减半块，第五模块使用全局最大池化层将高和宽降到1。

单发多框检测在训练中根据类别和偏移量的预测和标注值分别计算损失函数，类别可以用交叉熵损失、焦点损失；偏移量可以用L1范数损失、平滑L1范数损失。

练习

限于篇幅，实验中忽略了单发多框检测的一些实现细节。你能从以下几个方面进一步改进模型吗？
偏移量预测改进平滑L1范数：
类别预测改进为焦点损失：

9.8区域卷积神经网络（R-CNN)

R-CNN模型：

Fast R-CNN：

Faster R-CNN：

使用填充为1的3×3卷积层变换卷积神经网络的输出，并将输出通道数记为c。这样，卷积神经网络为图像抽取的特征图中的每个单元均得到一个长度为cc的新特征。
以特征图每个单元为中心，生成多个不同大小和宽高比的锚框并标注它们。
用锚框中心单元长度为cc的特征分别预测该锚框的二元类别（含目标还是背景）和边界框。

Mask R-CNN：

练习

了解GluonCV工具包中有关本节中各个模型的实现 [6]。
答：详细教程：https://gluon-cv.mxnet.io/model_zoo/detection.html

9.9语义分割和数据集

练习

回忆一节中的内容。哪些在图像分类中使用的图像增广方法难以用于语义分割？
答：裁剪而没有放大到同样大小的不行。

9.10FCN全卷积网络

矩阵乘法实现卷积：看下方转置卷积教程。

转置卷积：可参考https://blog.csdn.net/tsyccnh/article/details/87357447，讲的更形象。转置卷积就是将卷积的结果乘以一个权重，而变回卷积之前的形状，不能恢复到原始数值。如果步幅为s、填充为s/2（假设s/2为整数）、卷积核的高和宽为2s，转置卷积核将输入的高和宽分别放大s倍。

上采样：放大。常用双线性插值的方法。

下采样：缩小。

FCN模型：全卷积网络先使用卷积神经网络抽取图像特征，然后通过1×1卷积层将通道数变换为类别个数，最后通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。模型输出与输入图像的高和宽相同，并在空间位置上一一对应：最终输出的通道包含了该空间位置像素的类别预测。

X[::3]，从第0个开始，每隔三个显示。

练习

用矩阵乘法来实现卷积运算是否高效？为什么？
答：不高效，还要涉及矩阵的变换，
如果将转置卷积层改用Xavier随机初始化，结果有什么变化？
答：结果是准确率卡在了0.729左右，后续迭代，损失值下降，但是没有提高准确率。

9.11样式迁移

样式迁移（style transfer）：使用卷积神经网络自动将某图像中的样式应用在另一图像之上。

内容损失（content loss）使合成图像与内容图像在内容特征上接近。

样式损失（style loss）令合成图像与样式图像在样式特征上接近

总变差损失（total variation loss）则有助于减少合成图像中的噪点。

卷积层参数使用预训练模型来提取特征。

第一和第三卷积层输出作为样式特征

第二卷积层输出作为内容特征。

模型参数为合成图像。

正向传播（实线）计算损失，反向传播（虚线）迭代模型参数。

拉姆矩阵：格拉姆矩阵（Gram matrix）XX⊤∈Rc×c中i行j列的元素xij即向量xi与xj的内积，它表达了通道i和通道j上样式特征的相关性。(假设该输出的样本数为1，通道数为c，高和宽分别为h和w，我们可以把输出变换成c行hw列的矩阵X。)

练习

选择不同的内容和样式层，输出有什么变化？
答：选择了最后一个卷积层[34]作为内容层，内容损失很快降低到0.86左右。输出图像肉眼看不出变换。样式和内容层使用了[2,7,12,14,16,21,23,25,28,30,32], [34]，迭代后，样式层损失仅降低到7左右。输出图像还是肉眼看不出差距。
调整损失函数中的权值超参数，输出是否保留更多内容或减少更多噪点？
答：直觉上，提高内容损失的权值超参数，可以让他更容易被惩罚，所以内容损失降的更低，从而保留更多的内容。由于不清楚如何辨别内容和噪点的数量多少，故无实验。