PPT1

发表：17年四月，world wide web会议，深度学习的网络结构，训练方法，GPU硬件的不断进步，促使其不断征服其他领域

何向南：中科大教授，92年，28岁

PPT2

点积和矩阵分解的关系：矩阵分解为两个矩阵相乘，又等价于第i行和第j列的点积

矩阵分解的限制性：Jaccard系数作为实际的结果，先计算u1，2，3，而后添加u4，发现，4和2的距离一定比4和3的距离更近

题外话：

Jaccard 主要用于判断集合间相似度，所以他无法像矩阵一样，体现更多的信息。

Cosine 的计算中，则可以把用户对电影的评分信息加进去。

PPT3:

目标：NCF,GMF,MLP,NeuMF

ranking loss：度量学习，相对位置，the objective of Ranking Losses is to predict relative distances between inputs. This task if often called metric learning.

解决方式：使用大量的隐藏因子去学习交互函数。

PPT4:

PPT5:

element-wise product:按元素积

将GMF作为一种特殊的NCF

如果a是恒等函数，h是1的均匀向量

PPT6:

经验：tower structure，halving the layer size for each successive higher layer

PPT7:

generalization ability：泛化能力，适应新样本的能力

PPT8:

神经张量网络，使用加法

PPT9:

神经矩阵分解，使用连结操作

PPT10:

显示评分：回归损失，预测一个值，平方损失

隐式交互：分类损失，预测离散结果，logistic

优化方法：随机梯度下降法

PPT11:

实验环境设置：

数据集，留一法，top-k排序，

HR@10：分母是所有的测试集合，分子式每个用户top-K推荐列表中属于测试集合的个数的总和

NDCG@10：最终所产生的增益（归一化折损累计增益）

PPT12:

BPR:基于矩阵分解的一种排序算法，针对每一个用户自己的商品喜好分贝做排序优化。在实际产品中，BPR之类的推荐排序在海量数据中选择极少量数据做推荐的时候有优势。淘宝京东有在用。部分填充，速度十分快。

eALS:最新的关于隐式数据的协同过滤算法，用一步到位的计算公式全部填充缺失值。

PPT13,14:

rel表示关联性，就是跟所想要的结果的关联度，0表示没有关联，越高说明关联性越高

i是位置，关联性乘以位置，就是第i个结果所产生的效益

IDCG是理想化的最大效益。

PPT15:

NeuMF，%5更优

NeuMF > GMF > MLP

PPT16:

理论成果

PPT18:

GMF: weights w can simply be absorbed into the embeddings matrices P and Q

总之，应用场景（数据集）不同，采用的方法应该不同，灵活使用推荐算法或模型

第一节，介绍论文

工作流程包括几个关键部分：脑信号采集、信号预处理、特征提取、分类和数据分析

• 分类结果用于控制智能设备，称之为脑机接口

头骨让信号保真度为5%（以信噪比（SNR）衡量）

预处理：包含多个步骤，如信号清理（平滑噪声信号或解决不一致性）、信号标准化（沿时间轴对每个信号通道进行标准化）、信号增强（去除直流电）和信号压缩（呈现信号的简化表示）。

分类结果应用：神经疾病诊断、情绪测量和驾驶疲劳检测。

脑机接口的深度学习的分类：

1. 仅用于特征提取；

2. 仅用于分类；

3. 同时用于特征提取和分类。

传统BCI所面临的挑战：

1. 大脑信号很容易被各种生物因素（如眨眼、肌肉伪影【肌肉产生的电波对脑电波的影响】、疲劳和注意力集中程度）和环境因素（如噪音）所破坏

2. 低信噪比的非平稳脑电生理信号

3. 特征提取高度依赖于人类在特定领域的专业知识。

4. 大多基于静态数据上，无法对快速变化的大脑信号进行准确分类【最先进的多类别运动图像脑电图分类准确里低于80%】

深度学习好处：

1. 直接作用于原始的大脑信号

2. 深层神经网络和第二层神经网络都能捕获潜在的，具有代表性的特征。

综述论文贡献：

1. 对非侵入性脑信号论文的全面性调查

   1. 脑电图及其亚类（运动脑电图，P300等）

   2. 功能性近红外光谱(functional near - infrared spectroscopy , fNIRS)【利用血液的主要成分对600-900nm近红外光良好的散射性，从而获得大脑活动时氧合血红蛋白和脱氧血红蛋白的变化情况，产生功能性神经影像】

综述论文内容：

1. 回顾大脑信号和深度学习技术

2. 讨论了流行的深度学习技术和最新的脑信号模型，为在给定特定信号亚类的情况下选择合适的深度学习模型提供了实用指南。

3. 回顾了基于深度学习的脑信号分析的应用，并指出了一些有前景的未来研究课题。

第二节，介绍大脑信号的分类

基于信号收集方法的非侵入性脑信号分类（虚线不调查）

P300包含于ERP中。

ERP：一种特殊的脑诱发电位，通过有意地赋予刺激以特殊的心理意义，利用多个或多样的刺激所引起的脑的电位。它反映了认知过程中大脑的神经电生理的变化，也被称为认知电位，也就是指当人们对某课题进行认知加工时，从头颅表面记录到的脑电位。

其他脑成像技术（fNIRS，fMRI）中的视觉/听觉任务未曾有采用过深度学习，但理论上可行。

第三节，概述常用的深度学习模型

分类模型：Multi-Layer Perceptron (MLP) , Recurrent Neural Networks(RNN) , Convolutional Neural Networks (CNN) --> 特征提取和分类

表示模型：Autoencoder(AE), Restricted Boltz-mann Machine (RBM) , Deep Belief Networks(DBN) --> 只能特征提取

生成模型：Variational Autoencoder (VAE)，Generative Adversarial Networks (GANs) --> 主要用于生成脑信号样本，增强训练集

各个非侵入式脑信号特征：

第四节，最先进的脑信号深度学习技术

4.1 EEG

4.1.1 自发脑电波

4.1.1.1 睡眠脑电：

主要用于识别睡眠阶段、诊断睡眠障碍或培养健康习惯

睡眠阶段包括清醒、非快速眼动1、非快速眼动2、非快速眼动3、非快速眼动4和快速眼动。

美国睡眠医学学会（AASM）建议将睡眠分为五个阶段：清醒、非快速眼动1、非快速眼动2、慢波睡眠（SWS）和快速眼动。

识别睡眠阶段，一般通过滤波器实现脑电信号的预处理，数据通常是30s的窗口，50hz。

• 分类模型：CNN用于单通道EEG的睡眠阶段分类，86%精确度

• 表示模型：DBN-RBM（深度置信网络-受限玻耳兹曼机）从睡眠脑电信号中提取功率谱密度（PSD,表示随机信号的强度），在局部数据集达到F-1值92.78%（兼顾召回率和精确度）

• 混合模型：

4.1.1.2 运动想象脑电：

深度学习在运动想象脑电图和真实运动脑电图的分类上显示出优越性

• 分类模型：大多使用CNN来识别脑电图，例如：

  • 有分别采用CNN和二维CNN进行分类的

  • 从EEG信号中学习情感信息，构建改进的LSTM控制智能家电

  • 使用CNN进行特征提取

4.1.1.3 情绪脑电图

个体的情绪可以从三个方面来评价：评价值（积极感情的值）、唤起度（激动的程度）和控制力。

这三个方面的结合形成了恐惧、悲伤和愤怒等情绪，这些情绪可以通过脑电图信号来揭示。

• 分类模型：传统上使用MLP，CNN和RNN正在越来越流行

  • 典型的基于CNN：CNN的分层，扩充CNN训练集

  • 通过多通道脑电信号转化为二维矩阵来捕捉通道之间的空间相关性

  • GRU（门控循环单元）组成的分类深度学习模型

4.1.1.4 精神病脑电图

大量研究人员利用脑电图信号诊断神经系统疾病，特别是癫痫发作

• 分类模型：CNN广泛应用于癫痫发作的自动检测

  • CNN对癫痫发作的高通量（1hz）EEG信号进行研究，获得了94.7%的AUC

  • 在抑郁症检测上采用了13层CNN模型，在30名受试者的局部数据集上进行了评估，基于左半球和右半球EEG信号的准确率分别为93.5%和96.0%

  • 利用CNN结构提取多通道EEG信号的合适特征，将阿尔茨海默病从轻度认知障碍患者和健康对照组中进行分类

4.1.1.5 数据增强

实验1：EEG信号转换为图像

• 首先证明了脑电波中包含的信息被赋予了区分视觉对象的能力

• 然后使用RNN提取了更健壮、更具区分性的脑电数据表示。

• 最后，利用GAN范式训练了一个由学习的EEG表示调节的图像生成器，该生成器可以将EEG信号转换为图像

实验2：将EEG信号转换为图像

• 当受试者观察屏幕上的图像时，采集脑电图信号。将脑电信号的潜在结构作为输入，提取脑电信号的潜在特征。

• GAN的产生器和鉴别器均由卷积层构成。该发生器根据训练后的脑电信号生成图像。

实验3：癫痫发作数据增强的GAN（生成式对抗网络）

• 发生器和鉴别器都是由全连接层组成的。

• 作者证明了GAN优于其他生成模型，如AE和VAE（可变自动编码器）。增强后，分类准确率从48%提高到82%。

4.1.1.6 其他

实验1：听觉/视觉刺激（持续存在的刺激）如何影响脑电图信号

• 13名受试者受到23种节律性刺激的刺激，其中包括12种东非和12种西方刺激。

• 对于24类分类，提出的CNN平均准确率为24.4%。

• 之后，作者利用卷积AE进行表征学习，CNN用于识别，12类分类的准确率达到27%

实验2：区分是在听歌还是想象歌曲

提出两个深度学习模型，使用二值分类任务，所提出的CNN和DBN-RBM（三个RBM）的准确率分别为91.63%和91.75%。

实验3：自发脑电图可以用来区分使用者的心理状态（逻辑与情绪）

实验4：认知负荷（处理具体任务时加在学习者认知系统上的负荷）或体力负荷对EEG的影响

• 首先通过小波熵和频带比功率提取信息特征

• 然后将其输入DBN-RBM进行进一步细化。

• 最后，利用MLP对认知负荷水平进行识别。

实验5：在不同心理负荷下，受试者之间及受试者本身中的一般特征是恒定的。

• 从高水平脑电信号中收集的脑电信号。

• 脑电信号经低通滤波器滤波后，转换到频域，计算功率谱密度（PSD）。

• 提取的PSD特征被输入到去噪D-AE结构中，以便于进一步的细化。最终得到了95.48%的准确率。

实验6：驾驶员疲劳检测 --- 三维CNN

• 精神疲劳程度的识别，包括警觉、轻度疲劳和严重疲劳

实验7：驾驶员疲劳检测 --- ICA+DBN-RBM

• ICA(独立成分分析)对脑电信号预处理

• 采用DBN-RBM进行分类

• 达到85%左右准确率，二分类（“昏昏欲睡”或“警惕”）。

• 从时间采样、通道批量和窗口采样三个层面对DBN-RBM进行了评估。实验表明，通道批量的性能优于其他两级。

实验8：驾驶员疲劳值检测 --- DBM-RBM+SVM，精度达到73.29%

实验9：调查了不同低负荷水平下驾驶员的心理状态。提出了一种基于脑电信号直接检测驾驶负荷的CNN方法。

实验10：基于EEG信号的眼睛状态（闭或开）的检测

• 三个RBM的DBN-RBM和三个AEs的DBN-AE，98.9%的高准确率

• MLP，97.5%准确率

事件相关去同步（ERD）表示正在进行的EEG信号的功率下降，

事件相关同步（ERS）表示EEG信号的功率增加

实验11：采用CNN在观看特定视频时通过脑电图检测学校欺凌行为。

• 二分类和四分类分别达到93.7%和88.58%。

实验12：结合RNN和CNN提出了一个级联框架来预测个体的情感水平和个人因素（五大人格特征、情绪和社会背景）。

实验13：试图根据使用者的脑电图信号来识别他们的性别

• 采用标准的CNN算法，在局部数据集上实现了81%的二元分类精度

实验14：驾驶员的脑电图信号可以区分刹车意图和正常驾驶状态

**实验15：**将大脑信号和推荐系统结合起来，通过EEG信号预测用户的偏好。

• 共有16名受试者接受了60个手镯状物体作为旋转视觉刺激物（3D物体）时采集脑电信号的实验。

• 然后采用MLP预测用户喜欢或不喜欢。本次勘探的预测精度为63.99%。

**实验16：**试图探索一个可用于各种脑信号范式的共同框架，并评估鲁棒性。基于compact CNN的EEGNet [73]

4.1.2 EP诱发电位

4.1.2.1 ERP事件相关电位

在大多数情况下，ERP信号都是通过P300现象来分析的。

4.1.2.1.i VEP视觉诱发电位

较热门。

实验1：通过深度学习提取具有代表性的特征来研究运动开始的 VEP（mVEP）

• 采用遗传算法结合多级传感结构对原始信号进行压缩。

• 压缩后的信号被发送到DBN-RBM算法中，以获取更抽象的高层特征。

实验2：P300信号特征提取

• 通过带通滤波器（2∼35hz）过滤视觉刺激的P300信号，

• 然后输入混合深度学习模型进行进一步分析。

• 该模型包括一个2D CNN来捕获空间特征，然后在LSTM层中进行时间特征提取。

实验3：使用AE模型进行特征提取，然后使用支持向量机分类器。

• 实验中，每一段包含150个点，分为五个时间步，每一步有30个点。

• 该模型在局部数据集上获得了88.1%的准确率。

实验4：DBN-RBM代表性模型与支持向量机分类器相结合进行隐藏信息测试（？？），97.3%准确率

实验5：提高P300写字机准确率

• 一种基于CNN的新模型，该模型包括5个具有不同特征集的低层CNN分类器

• 最后由低层分类器投票得到最终的高层结果。

• 第三届BCI竞赛数据集II中，最高准确率达到95.5%

4.1.2.1.ii AEP听觉诱发电位

较少研究。

实验1：提出并测试了18个CNN结构来对单次试验的AEP信号进行分类。

• 利用耳机产生古怪范式设计的听觉刺激来获得数据。

• 实验分析表明，无论卷积层数多少，CNN框架都能有效地提取时空特征。

• 实验结果表明，下采样数据的效果更好。

4.1.2.1.iii RSVP快速连续视觉表示

CNN和MLP在这里取得一定成功。

实验1：一种针对RSVP的主题间和任务间检测的CNN模型。

• 实验结果表明，CNN在交叉任务中表现良好，但在跨主题情境下表现不佳。

实验2：比较了三种不同的深度神经网络算法，以预测受试者是否看到了目标。

• MLP、CNN和DBN模型的AUC分别为81.7%、79.6%和81.6%。

...

4.1.2.2 SSEP稳态诱发电位

大多数研究稳态视觉诱发电位（SSVEP），指由闪烁的视觉刺激引起的脑震荡，通常产生于顶叶和枕叶。当施加一个恒定频率的外界视觉刺激时，与刺激频率或谐波频率相一致的神经网络就会产生谐振，导致大脑的电位活动在刺激频率或谐波频率处出现明显变化，由此产生SSVEP信号。

实验1：寻找SSVEP的中间表现形式。

• 提出了一种结合CNN和RNN的混合方法，直接从时域中提取有意义的特征，准确率达到93.59%。

实验2：紧凑CNN直接处理原始结果

• 平均准确率80%左右

实验3：采用了一种典型的稀疏AE模型，从多频视觉刺激中提取SSVEP的不同特征。

• 该模型采用了一个softmax层进行最终分类，准确率为97.78%。

...

4.2 fNIRS功能性近红外光谱

较少研究。

定义：利用血液的主要成分对600-900nm近红外光良好的散射性，从而获得大脑活动时氧合血红蛋白和脱氧血红蛋白的变化情况，产生功能性神经影像。

实验1：基于fNIRS信号分析了两种心理任务（心算和休息）之间的差异。

• 从前额叶皮层fNIRS中手动提取了6个特征，并比较了6个不同的分类器。

• 结果表明，MLP的准确率为96.3%，优于所有传统的分类器，包括SVM、KNN、naivebayes等。

实验2：试图通过fNIRS信号检测受试者的性别。

• 作者使用三层隐层去噪D-AE来提取显著特征并输入MLP分类器进行性别检测。

• 该模型在本地数据集上进行了评估，平均准确率为81%

• 相比fMRI信号，fNIRS具有更高的时间分辨率和更经济的价格

4.3 fMRI功能性磁共振成像

利用磁振造影来测量神经元活动所引发的血液变化。从而监测大脑活动

该领域，近年用了不少深度学习方法，特别是认知功能障碍的诊断上。

4.3.1 分类模型

分类模型中，CNN是一种很有前途的fMRI分析模型

实验1：根据功能磁共振成像（fMRI）和核磁共振成像（MRI）数据，应用深层CNN识别阿尔茨海默病。

实验2：利用一种新的CNN算法建立了一种基于fMRI的脑肿瘤分割方法，它可以同时捕获全局特征和局部特征

实验3：采用CNN模型处理脑瘤患者的功能磁共振成像（fMRI）进行三类识别（正常、水肿或活动性肿瘤）。在BRATS数据集上对模型进行了评估，得到了88%的F1分数

实验4：利用CNN进行特征提取。提取的特征用支持向量机分类，用于癫痫发作的检测

4.3.2 表示模型

大量文章证明了表示模型在识别功能磁共振成像数据方面的有效性。

实验1：利用一个由三个RBM分量组成的DBN-RBM从ICA处理的fMRI中提取显著特征，最终在四个公共数据集上实现了90%以上的F1平均测量值。

实验2：DBN-RBM和DBN-AE检测阿尔茨海默病

• 前者95.4%，后者97.9%。

实验3：应用D-AE模型从静止状态的fMRI数据中提取潜在特征，用于诊断轻度认知功能障碍（MCI）。-

• 将潜在特征输入支持向量机分类器，识别率达到72.58%。

4.3.3 生成模型

自然图像的重建引起广泛的关注。

实验1：从fMRI中重建视觉刺激的深卷积GAN，

• 目的是训练生成器生成与视觉刺激相似的图像。

• 发生器包含四个卷积层，以便将输入的fMRI转换为自然图像。

4.4 MEG脑磁图

用于测量由大脑中神经元的电活动引起的磁场。通过磁变化反映大脑活动

实验1：致力于通过去除诸如眨眼和心脏活动等伪影来细化MEG信号。

• 首先对MEG单峰进行ICA分解

• 然后用一维CNN模型进行分类。

• 最后，该方法在局部数据集上的灵敏度达到85%，特异性达到97%。

实验2：目标同实验1

• 该方法利用CNN获取时间特征，MLP提取空间信息

第五节，大脑信号的应用

5.1 医疗保健

• 基于深度学习的大脑信号系统主要用于检测和诊断精神疾病，如睡眠障碍、阿尔茨海默病、癫痫发作等。

睡眠障碍：

• 对于睡眠障碍的检测，大多数研究都集中在基于睡眠自发脑电图的睡眠阶段检测上。DBN-RBM和CNN被广泛应用于特征选择和分类。

阿尔茨海默病：

• 功能磁共振成像在阿尔茨海默病的诊断中有着广泛的应用。优点是高空间分辨率，几项研究的诊断准确率均在90%以上。

癫痫：

• 癫痫发作的检测主要基于自发脑电图。流行的深度学习模型包括独立的CNN和RNN，以及结合RNN和CNN的混合模型

• 例如，将D-AE应用于特征提取，然后将支持向量机应用于癫痫诊断

研究人员已经证明了深度学习模型在检测大量精神疾病方面的有效性，如抑郁症[113]、发作间期癫痫放电（IED）[230]、精神分裂症[211]、克雅氏病（CJD）[123]和轻度认知障碍（MCI）

5.2 智能设备

• 随着物联网的发展，越来越多的智能环境可以连接到大脑信号。

• 例如，辅助机器人可用于智能家居，其中机器人可以由个体的大脑信号控制。

• 基于视觉刺激的自发EEG和fNIRS信号的机器人控制问题。

• 大脑信号控制的外骨骼可以帮助那些在行走和日常活动中损坏下肢运动系统的残疾人。

5.3 信号传输

• P300 speller，深度学习模型使大脑信号系统能够从非300片段中识别出P300片段

• 使用一种结合RNN、CNN和AE的混合模型，从MI-EEG中提取信息特征来识别用户想要说的字母。

5.4 安全保密

应用于身份识别和身份验证

• 前者通过多类别分类来识别一个人的身份[6]。后者进行二元分类来决定一个人是否被授权

• 主要使用视觉刺激产生的信号来作为输入。

5.5 情感计算

个性化信息（如多媒体内容）检索或智能人机界面设计

• 试图根据脑电图信号，使用深度学习算法（如CNN及其变体）将用户的情绪状态分为两类（积极/消极）或三类（积极、中性和消极）

• DBN-RBM是从情绪自发脑电图中发现隐藏特征的最具代表性的深度学习模型

5.6 驾驶员疲劳度检测

一般情况下，如果驾驶员的反应时间小于0.7秒，则认为驾驶员处于警戒状态；如果反应时间大于2.1秒，则认为驾驶员处于疲劳状态。

目前，基于EEG的驾驶困倦可以得到较高的识别率（82%∼95%）

5.7 心理负荷测量

适当的心理负荷对于维持人类健康和预防事故是必不可少的。

持续脑电来评估操作者的心理负荷，以警告随着时间，操作者的性能下降。

• 可以通过fNIRS信号和自发脑电图来测量

• 通过一个循环卷积框架研究了跨多个心理任务的心理负荷测量。该模型同时从空间、频谱和时间维度学习脑电特征，二值分类（高/低负荷水平）的准确率为88.9%

5.8 其他

推荐系统，紧急刹车，视觉对象识别，内疚测试，隐藏信息测试，区分性别。

5.9 基准数据集

https://en.wikipedia.org/wiki/Self-driving_car https://physionet.org/physiobank/database/sleep-edfx/ https://massdb.herokuapp.com/en/ https://physionet.org/pn3/shhpsgdb/ https://physionet.org/pn6/chbmit/ https://www.isip.piconepress.com/projects/tuh.eeg/html/downloads.shtml https://physionet.org/pn4/eegmmidb/ http://www.bbci.de/competition/ii/ http://www.eecs.qmul.ac.uk/mmv/datasets/amigos/readme.html http://bcmi.sjtu.edu.cn/seed/download.html https://www.eecs.qmul.ac.uk/mmv/datasets/deap/ https://owenlab.uwo.ca/research/the.openmiir.dataset.html http://adni.loni.usc.edu/data-samples/access-data/ https://www.med.upenn.edu/sbia/brats2018/data.html

第六节，分析和指南，根据大脑信号选择适当的模型

6.1 脑信号采集

70%的EEG论文关注自发EEG（133种出版物）。自发的脑电图分成几个方面：睡眠、运动想象、情绪、精神疾病、数据增强和其他。

睡眠：总共19篇，6篇使用CNN，2篇RNN，还有3种RNN+CNN的混合模型。

运动想象：广泛使用CNN和基于CNN的混合模型。表示型模型常用DBN-RBN提取潜在特征。

情绪：总共25篇，超过一半使用表示模型（D-AE,D-RBM,DBN-RBM）。最典型的状态识别工作将用户的情绪识别为积极、中立或消极。进一步对配价和唤起率进行分类

精神疾病：大部分相关研究集中在癫痫发作和阿尔茨海默病的检测上。大部分相关研究集中在癫痫发作和阿尔茨海默病的检测上。许多研究可以达到90%以上的高准确率。在这一领域，标准的CNN模型和D-AE是普遍存在的。一个可能的原因是CNN和AE是最著名和最有效的深度学习模型的分类和降维

数据增强：基于GAN的数据扩充

其他：大约有30个研究正在调查其他自发脑电图，如驾驶疲劳、视听刺激冲击、认知/心理负荷和眼睛状态检测。这些研究广泛应用标准CNN模型和变体。

视觉诱发电位（VEP）引起大量研究（21篇）。6种混合模型。

快速连续视觉表示（RSVP），只有CNN算法。

fNIRS图像的研究很少采用深度学习的方法，主要的研究只是采用简单的MLP模型。我们认为，由于fNIRS具有高便携性和低成本的特点，应引起更多的关注。

至于功能磁共振成像，有23篇论文提出了深度学习的分类模型。CNN模型因其在图像特征学习中的突出表现而被广泛应用。

6.2 深度学习模式的选择标准

结论1：大多数采用判别模型。

结论2：超过70%的判别性模型都采用了CNN及其变体，为此我们提供了以下原因：

• 首先，CNN的设计足够强大，能够从EEG信号中提取潜在的鉴别特征和空间相关性进行分类。因此，有些研究采用CNN结构进行分类，而有些研究则采用CNN结构进行特征提取。

• CNN在一些研究领域（如计算机视觉）取得了巨大的成功，更容易找到代码。

• 一些脑信号图（如功能磁共振成像）是自然形成的二维图像，有利于CNN进行处理。

• 其他一维信号（如EEG）可以转换成二维图像，供CNN进一步分析。转换方式如下：

结论3：表示模型中，DBN，尤其是DBN-RBM是最常用的特征提取模型。原因有二：

• 它能有效地学习揭示相邻层中变量关系的生成参数

• 它使计算每个隐藏层中潜在变量的值变得简单

【大多数采用DBN-RBM模型的作品都是在2016年之前出版的。可以推断，在2016年之前，研究人员更倾向于使用DBN进行特征学习，然后使用非深度学习分类器；但最近，越来越多的研究希望采用CNN或混合模型进行特征学习和分类。】

结论4：生成模型很少独立使用，基于GAN和VAE的数据增强和图像重建主要集中在fMRI和EEG信号上，有前途。

结论5：53篇论文中，RNN和CNN的组合约占五分之一，结合后具有很好的时空特征提取能力。

结论6：表示模型+判别模型也很常用，28篇中有这种方法，所采用的表示模型多为AE或DBN-RBM，同时所采用的判别模型多为CNN。

6.3 应用表现

将脑信号分析应用于医疗领域是目前最吸引人和最热门的领域。

一般来说，大多数深度学习算法在多个睡眠阶段场景下都能达到85%以上的准确率。

对于fMRI图像，CNN在网格化空间信息学习方面具有很大的优势，使其获得了非常全面的分类准确率（90%以上）。

至于癫痫发作，一般是根据脑电图信号进行诊断。单一的RNN分类器（如LSTM或GRU）由于其良好的时间依赖性表示能力，似乎比其对应的分类器工作得更好。

检测阿尔茨海默病的一个关键方法是通过测量大脑特定区域的功能来分析大脑信号。具体来说，可以通过自发的脑电图信号或功能磁共振成像来进行诊断

由于视觉诱发电位明显且易于检测，许多研究都集中在VEP信号上。一个重要的数据来源是来自第三届BCI竞赛。

脑电信号具有较高的时间分辨率，能够捕捉快速变化的情绪。因此，几乎所有的研究都是基于自发的脑电信号。这些信号是在被试观看视频时收集的，视频被认为是激发受试者特定情绪的。主要是使用层次化CNN，DBN-RBM结合强分类器，前一种更好。

第七节，开放性挑战和未来方向

7.1 可解释性

一般框架需要两个关键能力：注意机制和捕捉潜在特征的能力。前者保证了框架能够集中于输入信号中最有价值的部分，而后者使框架能够捕捉到与众不同和信息丰富的特征。

方法2：CNN是最适合捕捉不同层次和范围特征的结构。未来，CNN可以作为一种基本的特征学习工具，并与适当的注意机制相结合，形成一个通用的分类框架。

方法1：可以考虑如何解释由深层神经网络导出的特征表示，学习的特征与任务相关的神经模式或精神障碍的神经病理学之间的内在关系。

7.2 跨个体

方法1：实现这一目标的一个可能的解决方案是建立一个个性化的迁移学习模型。

个性化情感模型可以采用转换参数传递的方法来构造个体分类器，并学习映射数据分布和分类器参数之间关系的回归函数

方法2：从输入数据中挖掘与主题无关的组件。输入的数据可以分解为两部分：一个依赖于主题的主题相关组件和一个所有主题都通用的主题无关组件。一个混合多任务模型可以同时处理两个任务，一个侧重于人的识别，另一个侧重于类识别。在类识别任务中，需要一个训练良好、收敛良好的模型来提取与主题无关的特征。

7.3 半监督和无监督分类

Adversarial V ariational Embedding （对抗性变异嵌入）-----> 高质量生成模型

有两种方法可以增强无监督学习：

• 一种是利用众包（给大众志愿者）方法对未标记的观测值进行标记；

• 另一种是利用无监督域自适应学习，通过线性变换来调整源脑信号和目标信号的分布

7.4 在线实施

在真实场景中，大脑信号系统需要接收实时的数据流并实时产生分类结果

由于受试者注意力不集中和设备固有的不稳定性（例如采样率波动）等诸多因素，采集到的实时信号更具噪声和不稳定性。通过我们的实验，在线脑信号系统的准确率通常比同类系统低10%。

方法：投票和聚合来平均多个连续样本的结果，提高解码性能。

7.5 硬件可移植性

脑电采集设备主要有三种：不便携头戴式、便携式头戴式和耳式脑电传感器。

第一种，采样频率高，信道数多，信号质量高，但价格昂贵。适合医院体检。

第二种，（例如Neurosky、Emotiv EPOC），有1∼14个通道和128∼256采样率，但读数不准确，长期使用后会造成不适。

第三种，还在实验室阶段。EEGrids是唯一商业化的耳脑电设备。

读后感

受限玻尔兹曼机 RBN（2000年后流行）

• 和DNN的区别是，RBM不区分前向和反向。

• RBM可以看做是一个编码解码的过程，从可见层到隐藏层就是编码，反之是解码。对于每个训练样本， 期望编码解码后的可见层输出和之前可见层输入的差距尽量的小。

• RBM详细推导过程：https://www.cnblogs.com/pinard/p/6530523.html

• 学习视频：https://www.bilibili.com/video/BV1dt411U7ad?from=search&seid=10143340215037418101

深度波尔茨曼机Deep Boltzmann Machine (DBM)

• 扩展RBM到三层及以上

RBN实现的深度置信网络 （DBN-RBN）

• 与DBM的区别是隐藏层之间为单向的。优化计算更简单。

降噪自编码器（D-AE）

DAE(Denoising Autoencoder)的核心思想是，一个能够从中恢复出原始信号的神经网络表达未必是最好的，能够对“损坏”的原始数据编码、解码，然后还能恢复真正的原始数据，这样的特征才是好的。

卷积神经网络（CNN）

• 池化层

循环神经网络（RNN）

长短期记忆（LSTM）

评价标准

• 敏感度

• 特异性

• 准确率

• F1值

摘要

用机器学习（即随机森林）:

1. 量化关系质量的可预测程度

P300 范式

1. 6 x 6的字符矩阵

2. 注意力一次集中到一个字符上

摘要

背景

本文综述人工智能/机器学习（AI/ML）算法在肾替代治疗（血液透析，腹膜透析和肾移植）中的研究现状及其影响。

《第一章》

机器学习

研究如何使计算机系统利用经验改善性能。

表征学习

关注如何自动找出表示数据的合适方式，以便更好地将输入变换为正确的输出。

深度学习

具有多级表示的表征学习方法。在每一级（从原始数据开始），深度学习通过简单的函数将该级的表示变换为更高级的表示。因此，深度学习模型也可以看作是由许多简单函数复合而成的函数。当这些复合的函数足够多时，深度学习模型就可以表达非常复杂的变换。

特点

1. 端到端的训练——将整个系统组建好之后一起训练。（整个模型一起训练，调整）

2. 从含参数统计模型转向完全无参数的模型——当数据非常稀缺时，我们需要通过简化对现实的假设来得到实用的模型。当数据充足时，我们就可以用能更好地拟合现实的无参数模型来替代这些含参数模型。（像人类一样，有经验根据经验判断，没经验用直觉）

不同之处

对非最优解的包容、对非凸非线性优化的使用，以及勇于尝试没有被证明过的方法。（某种意义上的直觉）

《第二章》

2.1. 环境搭建

1. 踩了个大坑，不要直接下载NVIDIA官网的cuda11.0，找不到mxnet-cu110的包。

2. 如果下载mxnet-cu101，也需要下载cuda10.1版本，才能import mxnet。

3. 在import mxnet的时候发现了dll文件找不到，下载了最新的vc和一个dependences walker软件查看dll。而后重启jupyter内核，莫名奇妙解决了，至今不知问题在哪。

4. 能翻墙就翻墙吧，然后不要乱配置源，保持原始的就可以了，有些包在国内版本比较低，有冲突。

2.2. 数据操作

1. NDArray(N维数组，也就是张量)

2. arange(n)——[0,1...,n]，理解为a指一维，range指范围

3. shape——数组的形状，即每个维度的长度所组合成的元组，（3，4）表示三行四列

4. size——元素总数

2.2. 练习

• 运行本节中的代码。将本节中条件判别式X == Y改为X < Y或X > Y，看看能够得到什么样的NDArray。

  答：逐个判断元素地比较大小

• 将广播机制中按元素运算的两个NDArray替换成其他形状，结果是否和预期一样？

  答：一行或者一列才能广播

2.3. 自动求梯度

今天完成题目： 874，1403，944，392，1005 874： 模拟机器人走路

• 通过python和贪心算法实现，特别耗时，导致了超时

• 可以通过逐步前进的方法

• 先使用map将成对的list转换为元组 tuple ，再用set变成集合，因为元组是不可变的。set(map(tuple,obstacles))

• python中set和list性能差距数百倍

• 直接使用list转化为set会去重元素

• map(func, itreable...) 会根据提供的函数对指定序列做映射。python内置函数

• map第一个参数 function 以参数序列中的每一个元素调用 function 函数，返回包含每次 function 函数返回值的新列表。

• 通过import inspect; inspect.getsourcefile(func)可以获得源码文件

1403：非递增顺序的最小子序列

• math.ceil(nums)向上取整，floor向下取整，不要乱取整，会失去原来的一些精度。

• 一开始由于用了取整，做错了

• list.sort()速度很快，仅使用于list

944：删列造序

• 使用列表的方法速度慢于使用字符串的方法

• sorted()，python内置排序函数，对所有可迭代对象有效

392：判断子序列

• 注意输入可能为空值，不要再错了啊

1005：K次取反后最大化的数组和

• 列清楚每种情况，然后将其转化为代码即可

• 记得提高专心度，提高解题速度

今天完成题目:693,190,268,371,1731,401,405,1684 693:交替位二进制数

• pass

190:颠倒二进制位

• pass

268:缺失数字

• pass

371,1731:两整数之和

401:二进制手表

1. 字符为hour,整数为minute

2. combinations获取所有的组合情况,permutations可以获取所有的排列情况

3. 限制时间范围

4. 转化为字符型

405:数字转换为十六进制数

• if num<0: num=0x100000000+num # 负数补码是一种偏移

1684:整数转换

• 同405类似,将负数补码看作偏移,之后再做比较

今天完成题目:1676,1632,1601,226,938,617 1676:最小高度树

• 取中数作为根,而后递归左右子树

1632:二叉树的深度

• 若无根,返回0

• 若无左右子树,返回1

• 有左无右,返回左子树的深度+1

• 有右无左,返回右子树的深度+1

• 有左有右,返回左和右子树的深度的较大值+1

1601,226:树的翻转

• 递归交换左右子树

938:二叉搜索树的范围和

• 若在[L,R]间,返回左右子树的范围和+根的值

• 若大于R,返回左子树的范围和

• 若小于L,返回右子树的范围和

• 因为二叉搜索树的特性就是左小右大

617:合并二叉树

• 同时递归遍历两颗二叉树的左右子树,并将结点的值加起来

1. git clone + ssh or https # 克隆文件，https可以代理，速度较快

2. sudo apt-get remove --purge + 软件名称 # 卸载软件

3. sudo apt-get autoremove --purge 软件名称 # 卸载软件

4. ubuntu终端下复制粘贴

   • ctrl + shift + c，ctrl + shift + v

   • 直接鼠标左键选中要复制的命令，然后在需要粘贴的地方按一下鼠标滚轮即可

5. gedit+文件 # 编辑文件

6. /boot/grub/grub.cfg # 引导文件的配置,splash quiet nomodeset recovery是四种开机引导的方式

7. 开机卡在logo界面解决办法: 修改开机引导方式quiet splash $vt_handoff 为 acpi_osi=linux nomodest

8. 更新资源包

   1. sudo apt update

   2. sudo apt upgrade

   3. sudo apt autoremove

9. apt search <软件包> 可以模糊搜索所有相关软件

10. 环境变量

    1. env # 查看所有变量

    2. export xxx=x # 临时添加环境变量

    3. echo $http_proxy # 输出某个变量的值

11. 安装proxychains实现终端全局网络代理

    1. 只需要在运行任何命令前加上proxychains即可

    2. proxychains gnome-terminal # 用全局代理方式打开终端,方便下载

12. rm -rf dirname # 强制删除某个文件夹及其内容,慎用

    1. rm -r filename # 递归删除子文件内容,-R可以删除文件夹

    2. rmdir dirname # 删除空目录

    3. mkdir dirname # 创建文件

13. jupyter nbconvert --to markdown filename # 将ipynb转换为markdown等格式

14. locate 文件名 # 通过数据库定位文件的位置,最快最好

    • whereis 文件名 # 模糊查找

    • sudo find / -name 文件名 # 精确全局查找

问题：

1. JSSP的输入和输出方式？

2. JSSP的处理过程？

3. 为什么makespan结果会比其他的论文好？

4. 代码中有哪些细节值得借鉴？

5. 论文中的其他困惑点？

相关论文：

作者使用单智能体和多智能体来划分目前DRL方法的两大类

1. 多智能体：2018 DQN，2020 DDPG效果更好

2. 单智能体：2020 GNN+MLP，2020 CNN(处理时间，时间表，机器利用率)+DRL，2019 DQN+Rule

IO过程(问题1回答)：

1. 一次只读入一个实例

2. 使用标准的JSSP文件（txt）方式读写，样例可看困惑点2

3. 一个二维数组solution，若是-1表示没排，否则为开始运行的时间步

处理过程(问题2回答)：

1. 离散集合={Job是否加工-J$_i$，空闲状态}，机器选择行为，行为对应作业和空闲

   1. 因此，对于每个Job而言，需要完成|M|个行为(机器的数量)。每个行为表示Job在每台机器上的加工时间，如果不需要在该机器上执行，可以当作一个0？

   2. 对于每个机器而言，需要运行至少|J|个与job有关的行为，加上若干个no-op（空闲）操作。

2. 每到一个时间步（可以定义为1秒或者1分），每台机器进行一个行为选择

奖励函数细读(问题3回答):

该函数相对于makespan能得到更紧密的解。

1. 不用执行到最后一步，就能获得一个局部reward。

2. makespan可以看成是全局p+empty，而这里是局部的p-empty，那么改变之处在于系数-1和全局变为局部。

代码中的优点(问题4回答)：

1. 作者新建自己环境的代码十分受用，让我对新建gym的环境有了一个详细的了解

2. wandb和ray两个库的使用具有一定的启发，但可能更适合较大的项目

   1. wandb能够使得训练日志自动上传网络并绘图

   2. ray能够快速使得模型快速落地，并变成分布式，相比较spark更简单，更便捷

困惑点(未解决，问题5)：

1. 第四页中的问题对称性，讲述了一些JSS问题的对称性，通过破坏对称性，而降低搜索解空间的大小

   1. 同一时间步长中，操作具有对称性，也就是操作的执行顺序待定。怎么解决？以及为什么说直接赋予机器从小到大的索引会导致失去全局视图。

   2. 同一机器中，"运行"操作和"无运行"操作具有对称性，也就是op和no-op两者的执行顺序待定。解决方案：当no-op时，其他的操作临时设未不可执行。以及通过非最终状态优先调度的规则。

复现代码时候遇到的问题(已解决，记录)：

1. 'env': 'JSSEnv:jss-v1'，该环境已经创建好并上传gym库中，作者使用的ray库会自动生成一个包含该环境名字的本地日志。而windows文件不允许冒号，所以需要修改ray库的底层代码中的日志文件名字生成方式。

代码阅读：

大体分三块

1. 强化学习环境：已经注册成gym库的环境，各种强化学习包都可以用。

2. CP.py：是使用OR tools的求解器，进行求解的方法，能达到比较好的解。

3. mian.py：使用ray中的PPO算法，只修改了一个全连接层，然后定义了一些参数，就可以使用作者的环境来训练。

其他读后感主要写在代码注释中，目前均已跑通。

目前根据官网教程和《动手学习深度学习》pytorch版学习

用于发布个人阅读深度强化学习+Scheduling领域的读后感

这是方向臻的学习笔记和资源存储仓库(资源请从github下载)。

2.2数据操作

2.2.1创建tensor的函数

还有很多函数可以创建Tensor

主要根据《神经网络与深度学习》书籍进行读书笔记,其中部分截图上传到github图床,需要翻墙才能正常阅读.

节点有节点的属性，边有边的属性

节点可以分为：labeled node和unlabeled node。

图卷积：

1. graph >> spatial-based convolution(空间卷积)

2. Fourier Domain(傅里叶变化) ; Spectral-based convolution

常见字母代表：

I：单位矩阵

A：邻接矩阵

E：边特征矩阵

F：节点特征矩阵

路线图

重点：GAT（graph attention network），GCN

拉普拉斯矩阵L = 度矩阵D - 邻接矩阵A

L是半正定，特征值都是大于等于0。Lf中的第i个结果代表了第i点和相邻节点的差。

fTLf代表了两个点的能量差异，可以当作一种“能量”，“频率”来使用。

特征值可以表示频率大小，特征值越大，差异越大。

频率越大，相邻点的信号变化量越大

各种任务

GatedGCN效果不错？

主要是在20年暑假期间学习开源框架MXNet的开源书籍

《动手学习深度学习》：https://zh.d2l.ai/chapter_preface/preface.html

目标：

• 了解图神经前沿理论和思想

• 学习和使用图神经理论的应用

3.1线性判别函数和决策边界

3.1.1二分类

在二分类问题中，我们只需要一个线性判别函数𝑓(𝒙; 𝒘) = 𝒘T𝒙+𝑏. 特征空间 ℝ^𝐷 中所有满足 𝑓(𝒙; 𝒘) = 0的点组成一个分割超平面（Hyperplane），称为决策边界（Decision Boundary）或决策平面（Decision Surface）.特征空间中每个样本点到决策平面的有向距离（Signed Distance）为𝛾 =𝑓(𝒙; 𝒘)/‖𝒘‖ . 理解:存在权重w,使其和所有特征x,标签y组合起来均大于0.

3.1.2多分类

对于(2),需要(C-1)+(C-2)+...+1=C(C-1)/2个判别函数 对于(3),argmax(f(x))是使得 f(x)取得最大值所对应的变量点x(或x的集合)。arg即argument，此处意为“自变量”。从而可以理解为c的概率最大.此方法在特征空间中不会有不确定的值.

3.2logistic回归

𝑔(⋅) 通常称为激活函数（Activation Function） 逆函数 𝑔−1(⋅)也称为联系函数（Link Function）. 标准 Logistic函数在机器学习中使用得非常广泛，经常用来将一个实数空间的数映射到(0,1)区间. Logistic回归可以看作是预测值为 “ 标签的对数几率”的线性回归模型. 因此， Logistic 回归也称为对数几率回归（Logit Regression）

3.2.1参数学习

因为logistic函数的导数是: 𝜎′(𝑥) = 𝜎(𝑥)(1 − 𝜎(𝑥)),带入y_hat'=y_hat(1-y_hat),下列中的y为真实标签数值.

3.3softmax回归

Softmax 回归（Softmax Regression）， 也称为多项（Multinomial）或多类（Multi-Class）的 Logistic回归，是 Logistic回归在多分类问题上的推广.

3.3.1参数学习

这边定义,只有C个分类,没有不属于所有分类的数. Softmax回归往往需要使用正则化来约束其参数. 因为𝐶 个权重向量是冗余的,也能避免计算 softmax函数时在数值计算上溢出问题.

3.4感知器（Perceptron）

3.4.1参数学习

损失函数是:ℒ(𝒘; 𝒙, 𝑦) = max(0, −𝑦𝒘T𝒙). 每次分错一个样本 (𝒙, 𝑦)时，即 𝑦𝒘T𝒙 < 0，就用这个样本来更新权重.

3.4.2收敛性

𝛾是一个正的常数.

二、模型结构、损失函数、优化、反向传播

偏差（bias)的理解：相当于给一个初值，然后通过学习调整这个初值。

感知层（perception layer）的理解：每一层相当于一个切割，可以通过二层模拟出一个凸，越多层表达越多场景。

激活函数（activate function）：选非线性的，线性跟权重没差。

损失函数（loss function）：定义一个损失值，越小越接近正确的参数值。

梯度下降（Gradient Descent）的理解：越倾斜，下降越快，越平稳下降越慢；容易达到局部最小值，卡在局部。随机小批量梯度下降（SGD，选1个）比较快。小批量梯度下降（Mini-Batch GD，选k个）.

训练速度：mini-batch>SGD>GD，因为现代电脑矩阵相乘的速度大于矩阵和向量相乘。

学习率：过大会学习过头，越过最小值。过小会学的很慢。

建议：1.数据随机；2.使用固定批量；3.调整学习率。

反向传播（backward propagation）：通过梯度和学习率更新权重。其实就是微积分链式法则在模型中的体现。反向传播计算出的梯度乘以前向计算的结果，就是下一个变数的偏微分了。

三、语言表达、RNN、批量

共现矩阵：表示一起出现过的单词的关系。

奇异值分解（singular value decomposition，SVD）:降低维度。

SVD问题：计算复杂度过高，难以加新词。

解决方法：降低维度，通过embedding的方法嵌入一个空间中的位置。常用word2vec，Glove方法。

知识型表示（knowledge-based representation）：通过符号等来表示知识（知识图谱）

语料库表示（corpus-based representation）：基于近邻的高维（共现矩阵），低维（降维或embedding）；原子特征（atomic symbol，one-hot向量）

循环神经网络(recurrent neural net，RNN)：将前面的影响传递给后面的网络。

梯度消失，梯度爆炸（Vanishing/Exploding Gradient）：指数太多次，导致大的越大，小的越小。解决方法：裁剪（clipping）

双向循环神经网络（Bidirectional RNN）：当时间可以双向的时候，可以使用。（不能预测股市这种单向时间的）

编码器-解码器：编码器生成W或背景向量C，解码器利用编码器结果来生成输出。

批量归一化计算：先归一化，后缩放和平移。

从经验法则来讲，L2正则化一般比L1正则化有效。

四、注意力机制

编码器-解码器实现注意力机制：编码器收集信息，收集完一整句（注意力在这）之后，保存在编码器，用解码器生成输出，直到遇到。

Q,K,V：Q是指query，K是指编码器中的key，V是指最后一层的Value。

五、word2vec

最大化和最小化：多个概率相乘求其最大值，相当于对其求log后加个负号求最小值。也就是说，凡是求最大值的，都可以通过符号变成求最小值。

2.1基本概念

模式识别（ Pattern Recognition，PR）：在早期的工程领域， 机器学习也经常称为模式识别， 但模式识别更偏向于具体的应用任务， 比如光学字符识别、 语音识别、 人脸识别等.

2.2机器学习三个要素

2.2.1模型

线性,非线性

2.2.2学习准则

训练集应当是独立同分布（Identically and Independently Distributed，IID）的样本组成. 样本分布应当是固定的.

经验风险最小化（Empirical Risk Minimization，ERM）准则:调整不同的参数θ,找到最小的平均损失. 结构风险最小化（Structure Risk Minimization，SRM）准则:在经验风险最小化的基础上添加了正则化（Regularization） 正则化（Regularization）理解:给损失函数添加上一个公式(通常用2-范数,等价于权重衰减),来限制损失函数的变化,从而不容易达到过拟合.

常用损失函数:

• 0-1损失函数,适用于二分类

• 平方损失函数,一般不适用于分类问题,用于预测标签y为实数值的任务

• 交叉熵损失函数,一般用于分类问题(不仅二分类) 交叉熵是负对数似然函数.

2.2.3优化算法　　

常见的超参数包括： 聚类算法中的类别个数、 梯度下降法中的步长、 正则化项的系数、神经网络的层数、支持向量机中的核函数等.

提前停止（Early Stop）：如果在验证集上的错误率不再下降，就停止迭代. 可以防止过拟合． 随机梯度下降法（Stochastic Gradient Descent，SGD）：在每次迭代时只采集一个样本， 计算这个样本损失函数的梯度并更新参数．

• 第 𝑡 次迭代时，随机选取一个包含 𝐾(2的ｎ次方计算效率高) 个样本的子集 𝒮𝑡，计算这个子集上每个样本损失函数的梯度并进行平均，然后再进行参数更新：

批量梯度下降和随机梯度下降之间的区别：在于每次迭代的优化目标是对所有样本的平均损失函数还是单个样本的损失函数.

2.3线性回归

共线性(collinearity):一个特征可以通过其他特征的线性组合来被准确的预测. 岭回归(Ridge Regression):给XX^T的对角线元素都加上一个常数𝜆使得 (𝑿𝑿^T + 𝜆𝐼)满秩. 岭回归的解:相当于结构风险最小化准则下的最小二乘法估计,其目标函数是: 令𝜕ℛ(𝒘) /𝜕𝒘= 0,得到解: 最小二乘法(Least Square Method, LSM):

机器学习任务分为两类: 1.样本的特征向量x和标签y之间存在未知的函数关系. 2.条件概率p(y|x)服从某个未知分布. 最大似然估计(Maximum Likelihood Estimation,MLE):找到一组参数w使得似然函数p(y|X;w,𝜎)最大,等价于它的对数似然函数 log p(y|X; w, 𝜎) 最大. 贝叶斯估计(Bayesian Estimation): 一种估计参数w的后验概率分布的方法,后验 = 先验 × 似然率;p(𝒚|𝑿; 𝒘, 𝜎)为 𝒘的似然函数，p(𝒘; 𝜈)为 𝒘的先验. 最大后验估计(Maximum A Posteriori Estimation,MAP):最优参数为后验分布中概率密度最高的参数.

2.4偏差方差

期望错误:理解为错误的平均值 偏差:一个模型在不同训练集上的平均性能和最优模型的差异,衡量拟合能力 方差:一个模型在不同训练集上的差异,衡量容易过拟合,会随着样本增加而减少. 模型复杂度增加,拟合能力变强,偏差减少,方差增大,从而导致过拟合. 情况:一般来讲,当一个模型在训练集上错误率高,说明模型的拟合能力不够，偏差比较高. 解决方法:通过增加数据特征、提高模型复杂度、减少正则化系数等操作来改进模型. 情况2:当模型在训练集上的错误率比较低，但验证集上的错误率比较高时，说明模型过拟合，方差比较高. 解决方法:通过降低模型复杂度、加大正则化系数、引入先验等方法来缓解. 此外，还有一种有效降低方差的方法为集成模型，即通过多个高方差模型的平均来降低方差

2.5机器学习算法类型

按函数 𝑓(𝒙; 𝜃)的不同，机器学习算法可以分为线性模型和非线性模型； 按照学习准则的不同，机器学习算法也可以分为统计方法和非统计方法. (最常用)按照训练样本提供的信息以及反馈方式的不同，将机器学习算法分为以下几类：

• 监督学习（Supervised Learning,SL）:机器学习的目标是通过建模样本的特征 𝒙 和标签 𝑦 之间的关系𝑦 = 𝑓(𝒙; 𝜃) 或 𝑝(𝑦|𝒙; 𝜃)，并且训练集中每个样本都有标签

  • 回归（Regression）:标签 𝑦 是连续值（实数或连续整数）， 𝑓(𝒙; 𝜃)的输出也是连续值

  • 分类（Classification）:标签 𝑦 是离散的类别（符号）. 在分类问题中， 学习到的模型也称为分类器（Classifier）. 分类问题根据其类别数量又可分为二分类（Binary Classification）和多分类（Multi-class Classification）问题.

2.6数据表示

图像特征:将N * M的图像的所有像素存储为N*M向量,也会经常加入一个额外的特征，比如直方图、宽高比、笔画数、纹理特征、边缘特征等. 文字特征:词袋（Bag-of-Words，BoW）模型,类似one-hot向量.还可以改进为二元特征,即两个词的组合. 特征学习（Feature Learning）， 也叫表示学习（Representation Learning）:如何让机器自动地学习出有效的特征. 特征选择（Feature Selection）:是选取原始特征集合的一个有效子集， 使得 基于这个特征子集训练出来的模型准确率最高.

• 子集搜索（Subset Search）:假设原始特征数为 𝐷， 则共有 2^𝐷 个候选子集. 特征选择的目标是选择一个最优的候选子集.常用的方法是采用贪心的策略： 由空集合开始， 每一轮添加该轮最优的特征，称为前向搜索（Forward Search）；或者从原始特征集合开始，每次删除最无用的特征，称为反向搜索（Backward Search）.

  • 过滤式方法（Filter Method）不依赖具体的机器学习模型. 每次增加最有信 息量的特征，或删除最没有信息量的特征. 信息量可以通过信息增益（Information Gain）衡量.

  • 包裹式方法（Wrapper Method）是用后续机器学习模型的准确率来评价一 个特征子集. 每次增加对后续机器学习模型最有用的特征，或删除对后续机器学 习任务最无用的特征.将机器学习模型包裹到特征选择过程的内部.

2.7评价指标

准确率:预测准确的概率. 错误率:预测错误的概率 精确率:所有实际为正例中,真正例的比率. 召回率:所有预测为正例中,真正例的比率. F1值: 𝛽 用于平衡精确率和召回率的重要性，一般取值为 1. 𝛽 = 1时的 F值称为 F1值，是精确率和召回率的调和平均. 微平均是每一个样本的性能指标的算术平均值. 对于单个样本而言，它的精确率和召回率是相同的（要么都是 1，要么都是 0）. 因此精确率的微平均和召回率的微平均是相同的. 同理，F1值的微平均指标是相同的. 当不同类别的样本数量不均衡时，使用宏平均会比微平均更合理些. 实际使用的评估方式:AUC（Area Under Curve）、 ROC（Receiver Operating Characteristic）曲线、PR（Precision-Recall）曲线 ROC曲线:

• 纵轴是真正例率(True Positive Rate, 简称TPR,也是召回率): 所有实际为正例中,真的正例的比率.

• 横轴是假正例率(False Positive Rate,简称FPR):所有实际为负例中,预测为正例的比率.

ROC曲线作用:

1. ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响。

2. 有助于选择最佳的阈值。ROC曲线越靠近左上角，模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。

3. 可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高。

AUC面积作用:衡量二分类模型优劣的一种评价指标，表示预测的正例排在负例前面的概率。 交叉验证（Cross Validation）:把原始数据集平均分为 𝐾 组不重复的子集，每次选 𝐾 − 1组子集作 (𝐾 一般大于 3,可以选10).为训练集，剩下的一组子集作为验证集. 这样可以进行 𝐾 次试验并得到 𝐾 个模型，将这𝐾 个模型在各自验证集上的错误率的平均作为分类器的评价.

2.8理论和定理

可能近似正确（Probably Approximately Correct，PAC）学习理论:PAC可学习指该学习算法能够在多项式时间内从合理数量的训练数据 中学习到一个近似正确的;𝑓(𝒙)模型越复杂,需要样本越多; 没有免费的午餐（No Free Lunch Theorem，NFL）:如果一个算法 对某些问题有效，那么它一定在另外一些问题上比纯随机搜索算法更差. 也就是 说，不能脱离具体问题来谈论算法的优劣. 丑小鸭定理（Ugly Duckling Theorem）:“ 丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”. 世界上不存在分类的客观标准，一切分类的标准都是主观的。 奥卡姆剃刀原理（Occam’s Razor）:“ 如无必要，勿增实体”.简单的模型泛化能力更好. 如果有两个性能相近的模型，我们应该选择更简单的模型. 因此，在机器学习的学习准则上，我们经常会引入参数正则化来限制模型能力，避免过拟合.

• 奥卡姆剃刀的一种形式化是最小描述长度（Minimum Description Length， MDL）原则:即对一个数据集 𝒟，最好的模型 𝑓 ∈ ℱ 是会使得数据集的压缩效果最好，即编码长度最小.

归纳偏置（Inductive Bias）:经常会对学习的问题做一些假设,在贝叶斯学习中也经常称为先验（Prior）.在最近邻分类器中，我们会假设在特征空间中，一个小的局部区域中的大部分样本都同属一类. 在朴素贝叶斯分类器中，我们会假设每个特征的条件概率是互相独立的.

4.1 神经元

定义:构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产出 输出 激活函数特定: (1)连续并可导（允许少数点上不可导）的非线性函数. 可导的激活函数可以直接利用数值优化的方法来学习网络参数. (2) 激活函数及其导函数要尽可能的简单,有利于提高网络计算效率. (3) 激活函数的导函数的值域要在一个合适的区间内, 不能太大也不能太小,否则会影响训练的效率和稳定性.

4.1.1 Sigmoid函数

Sigmoid型函数是指一类 S型曲线函数，为两端饱和函数. (𝑥 → −∞时，其导数 𝑓′(𝑥) → 0，则称其为左饱和) 常用的 Sigmoid型函数: Logistic函数和 Tanh函数.

Logistic: 𝜎(𝑥) = 1/[1 + exp(−𝑥)]理解:把一个实数域的输入“ 挤压” 到(0, 1). 当输入值在 0附近时，Sigmoid型函数近似为线性函数；当输入值靠近两端时，对输入进行抑制. 输入越小，越接近于 0；输入越大，越接近于 1. 特征: - 其输出直接可以看作是概率分布 - 其可以看作是一个软性门（Soft Gate）,用来控制其他神经元输出信息的数量tanh(𝑥) = (exp(𝑥) − exp(−𝑥))/(exp(𝑥) + exp(−𝑥))tanh(𝑥) = 2𝜎(2𝑥) − 1

理解:看作是放大并平移的 Logistic函数，其值域是(−1,1)

4.1.1.1 Hard-Logistic函数和 Hard-Tanh函数

两个函数:

4.1.2 ReLU函数

ReLU（Rectified Linear Unit，修正线性单元）

ReLU(𝑥) = max(0,𝑥)理解: ReLU 却具有很好的稀疏性， 大约50% 的神经元会处于激活状态.被认为有生物上的解释性，比如单侧抑制、宽兴奋边界（即兴奋程度也可以非常高）. ReLU 函数为左饱和函数，且在𝑥 > 0时导数为 1，在一定程度上缓解了神经网络的梯度消失问题，加速梯度下降的收敛速度

缺点:死亡 ReLU 问题（Dying ReLU Problem），如果参数在一次不恰当的更新后，第一个隐藏层中的某个 ReLU神经元在所有的训练数据上都不能被激活， 那么这个神经元自身参数的梯度永远都会是 0，在以后的训练过程中永远不能被激活.

4.1.2.1 带泄漏的ReLU

LeakyReLU(𝑥) = max(0,𝑥) + 𝛾 min(0,𝑥)当𝛾 < 1时:LeakyReLU(𝑥) = max(𝑥,𝛾𝑥)

4.1.2.2 带参数的ReLU

PReLU𝑖(𝑥)= max(0, 𝑥) + 𝛾_𝑖 min(0, 𝑥)

𝛾_𝑖 为 𝑥 ≤ 0 时函数的斜率. 因此， PReLU 是非饱和函数. 如果 𝛾𝑖 = 0， 那么PReLU就退化为 ReLU. 如果 𝛾𝑖 为一个很小的常数，则 PReLU可以看作带泄露的ReLU. PReLU 可以允许不同神经元具有不同的参数,也可以一组神经元共享一个参数.

4.1.2.3 ELU函数

ELU(x) = = max(0, 𝑥) + min(0, 𝛾(exp(𝑥) − 1))

𝛾 ≥ 0是一个超参数，决定 𝑥 ≤ 0时的饱和曲线，并调整输出均值在 0附近

4.1.2.4 Softplus函数

Softplus(𝑥) = log(1 + exp(𝑥))

看作是 Rectifier 函数的平滑版本,其导数刚好是 Logistic函数. Softplus函数虽然也具有单侧抑制、宽兴奋边界的特性，却没有稀疏激活性.

4.1.3 Swish函数

swish(𝑥) = 𝑥𝜎(𝛽𝑥)𝜎(⋅) 为 Logistic 函数， 𝛽 为可学习的参数或一个固定超参数. 𝜎(⋅)∈ (0, 1) 可以看作是一种软性的门控机制. 接近1为开,接近0为关.

• 当 𝛽 = 0时，Swish函数变成线性函数 𝑥/2.

• 当 𝛽 = 1时，Swish函数在 𝑥 > 0时近似线性， 在 𝑥 < 0 时近似饱和，同时具有一定的非单调性.

• 当 𝛽 → +∞ 时，𝜎(𝛽𝑥)趋向于离散的 0-1函数，Swish函数近似为 ReLU函数.

Swish函数可以看作是线性函数和 ReLU函数之间的非线性插值函数，其程度由参数 𝛽 控制

4.1.4 高斯误差线性单元

高斯误差线性单元（Gaussian Error Linear Unit，GELU）,类似swish,用门控机制来调整输出值

GELU(𝑥) = 𝑥𝑃(𝑋 ≤ 𝑥)𝑃(𝑋 ≤ 𝑥)是高斯分布𝒩(𝜇,𝜎2)的累积分布函数,𝜇,𝜎为超参数，一般设 𝜇 = 0,𝜎 = 1即可.

4.1.5 Maxout单元

Maxout单元是一种分段线性函数.

• Sigmoid 型函数、ReLU等激活函数的输入是神经元的净输入𝑧，是一个标量.

• Maxout单元的输入是上一层神经元的全部原始输出，是一个向量𝒙 = [𝑥1;𝑥2;⋯;𝑥𝐷].

理解:每个净输入对应一组权重w和偏移b,经计算后取最大值.

4.2 网络结构

神经网络:通过一定的连接方式或信息传递方式进行协作的神经元.

4.2.1 前馈网络

整个网络中的信息是朝一个方向传播，没有反向的信息传播，可以用一个有向无环路图表示. 前馈网络包括全连接前馈网络和卷积神经网络等. 前馈网络可看作一个函数,通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射

4.2.2 记忆网络

记忆网络，也称为反馈网络，网络中的神经元不但可以接收其他神经元的信 息， 也可以接收自己的历史信息. 在不同的时刻具有不同的状态. 记忆神经网络中的信息传播可以是单向或双向传递，因此可用一个有向循环图或无向图来表示. 为了增强记忆网络的记忆容量，可以引入外部记忆单元和读写机制，用来保存一些网络的中间状态， 称为记忆增强神经网络（Memory Augmented Neural Network，MANN）（第8.5节），比如神经图灵机和记忆网络记忆网络包括循环神经网络（第6章）、Hopfield网络（第8.6.1节）、玻尔兹曼机（第12.1节）、受限玻尔兹曼机（第12.2节）等. 记忆网络可以看作一个程序，具有更强的计算和记忆能力

4.2.3 图网络

实际应用中很多数据是图结构的数据，比如知识图谱、社交网络、分子（Molecular ）网络等. 图网络是定义在图结构数据上的神经网络 图网络是前馈网络和记忆网络的泛化，包含很多不同的实现方式，比如图卷 积网络（Graph Convolutional Network， GCN）[Kipf et al., 2016]、 图注意力网络（Graph Attention Network，GAT）[Veličković et al., 2017]、消息传递神经网络（Message Passing Neural Network，MPNN）[Gilmer et al., 2017]等.

4.3 前馈神经网络

前馈神经网络（Feedforward Neural Network，FNN）:多层的 Logistic回归模型（连续的非线性函数）组成.

• 第 0层称为输入层，最后一层称为输出层，其他中间层称为隐藏层.

• 第l-1层活性值（Activation）:𝒂(𝑙−1)

• 第l层神经元的净活性值（Net Activation）𝒛(𝑙)

多层感知器（Multi-Layer Perceptron， MLP）:由多层的感知器（不连续的非线性函数）组成.

4.3.1 通用近似定理

通用近似定理 (Universal approximation theorem，一译万能逼近定理)」：如果一个前馈神经网络具有线性输出层和至少一层隐藏层，只要给予网络足够数量的神经元，便可以实现以足够高精度来逼近任意一个在 ℝn 的紧子集 (Compact subset) 上的连续函数。 特征抽取:要取得好的分类效果，需要将样本的原始特征向量 𝒙转换到更有效的特征向量 𝜙(𝒙) 多层前馈神经网络也可以看成是一种特征转换方法.

4.3.2 机器学习应用

对于二分类问题𝑦 ∈ {0,1}， 并采用 Logistic 回归， 那么 Logistic 回归分类器可以看成神经网络的最后一层. 也就是说，网络的最后一层只用一个神经元，并且激活函数为 Logistic函数. 网络的输出可以直接作为类别𝑦 = 1的后验概率. 𝑝(𝑦 = 1|𝒙) = 𝑎(𝐿),

对于多分类问题，如果使用 Softmax 回归分类器，相当于网络最后一层设置𝐶 个神经元，其激活函数为 Softmax函数. 网络最后一层（第𝐿层）的输出可以作为每个类的后验概率. ̂y = softmax(𝒛(𝐿))

4.3.3 参数学习

交叉熵损失函数:ℒ(𝒚,𝒚) = − ̂y^T log(𝒚).𝒚 ∈ {0,1}^𝐶 为标签𝑦 对应的 one-hot向量表示.

4.4 反向传播函数

矩阵积分分三种形式: 反向传播算法的含义是：第𝑙 层的一个神经元的误差项（或敏感性）是所有与该神经元相连的第 𝑙 + 1层的神经元的误差项的权重和. 然后，再乘上该神经元激活函数的梯度. 使用误差反向传播算法的前馈神经网络训练过程可以分为以下三步:

1. 前馈计算每一层的净输入 𝒛(𝑙) 和激活值 𝒂(𝑙)，直到最后一层；

2. 反向传播计算每一层的误差项 𝛿(𝑙)；

3. 计算每一层参数的偏导数，并更新参数.

4.5 自动梯度计算

4.5.1 数值微分

找到一个合适的扰动Δ𝑥却十分困难:

• 过小，会引起数值计算问题，比如舍入误差(Round-off Error)近似值和精确值的差异；

• 过大，会增加截断误差(Truncation Error)是指理论解和精确解之间的误差.

4.5.2 符号微分

一种基于符号计算的自动求导方法.符号计算也叫代数计算. 例如x^2的导数是2x

缺点:

• 编译时间长

• 需要专门语言表示数学表达式,对符号预声明

• 难以调试

4.5.3 自动微分(Automatic Differentiation, AD)

自动微分的处理对象是一个函数或一段程序. 所有的数值计算可以分解为一些基本操作,然后利用链式法则来自动计算一个复合函数的梯度. 一般的函数形式𝑓 ∶ ℝ^𝑁→ ℝ^𝑀:

• 前向模式需要对每一个输入变量都进行一遍遍历，共需要𝑁遍.

• 反向模式需要对每一个输出都进行一个遍历，共需要𝑀遍.

• 风险函数为𝑓 ∶ ℝ^𝑁→ ℝ，输出为标量，因此采用反向模式为最有效的计算方式，只需要一遍计算

静态计算图是在编译时构建计算图，计算图构建好之后在程序运行时不能改变，静态计算图在构建时可以进行优化，并行能力强，但灵活性比较差. 动态计算图是在程序运行时动态构建.两种构建方式各有优缺点.动态计算图则不容易优化，当不同输入的网络结构不一致时，难以并行计算，但是灵活性比较高. Theano和Tensorflow1.x采用的是静态计算图，Tensorflow 2.0也支持了动态计算图.而DyNet、Chainer和PyTorch采用的是动态计算

4.6 优化问题

4.6.1 非凸优化问题

神经网络的优化问题是一个非凸优化问题.(局部最小值不是全局最小值)

4.6.2 梯度消失问题

Logistic函数导数:𝜎′(𝑥) = 𝜎(𝑥)(1 − 𝜎(𝑥))∈ [0,0.25] Tanh函数导数:tanh′(𝑥) = 1 −(tanh(𝑥))^2 ∈ [0,1] 梯度消失问题(Vanishing Gradient Problem):当网络层数增多时,梯度会不断衰减,直至消失. 解决方法:

• 使用ReLU激活函数的导数比较大.

• 权重衰减,丢弃法