作者：小伍哥
来源：小伍哥聊风控
大家好，我是小伍哥，今天接着搞异常检测。
深度学习用于异常检测，效果还是相当牛逼的。信用卡欺诈数据集，在孤立森林上能做到26%的top1000准确率，但是在Autoencoder算法上，最高做到了33.6%，但是这个数据很不稳定，有时候只有25%左右，但是至少这个模型潜力巨大，需要更多的试验，找到更稳定的网络结构。
自编码器（AutoEncoder, AE）是一类在半监督学习和非监督学习中使用的人工神经网络，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习（representation learning），自编码器包含编码器（encoder）和解码器（decoder）两部分 。
AutoEncoder是深度学习的一个重要内容，并且非常有意思，神经网络通过大量数据集，进行end-to-end的训练，不断提高其准确率，而AutoEncoder通过设计encode和decode过程使输入和输出越来越接近，是一种无监督学习过程，可以被应用于降维（dimensionality reduction）和异常值检测（anomaly detection），包含卷积层构筑的自编码器可被应用于计算机视觉问题，包括图像降噪（image denoising） 、神经风格迁移（neural style transfer）等 ，本文主要讲解如何利用AutoEncoder进行异常检测试验。
用AutoEncoder进行降噪，可以看到通过卷积自编码器，我们的降噪效果还是非常好的，最终生成的图片看起来非常顺滑，噪声也几乎看不到了。
用AutoEncoder进行降维。
一、Autoencoder结构简介
Autoencoder本质上它使用了一个神经网络来产生一个高维输入的低维表，Autoencoder与主成分分析PCA类似，但是Autoencoder在使用非线性激活函数时克服了PCA线性的限制。
Autoencoder包含两个主要的部分，encoder（编码器）和 decoder（解码器）。Encoder的作用是用来发现给定数据的压缩表示，decoder是用来重建原始输入。在训练时，decoder 强迫 autoencoder 选择最有信息量的特征，最终保存在压缩表示中。最终压缩后的表示就在中间的coder层当中。
以下图为例，原始数据的维度是10，encoder和decoder分别有两层，中间的coder共有3个节点，也就是说原始数据被降到了只有3维。Decoder根据降维后的数据再重建原始数据，重新得到10维的输出。从Input到Ouptut的这个过程中，autoencoder实际上也起到了降噪的作用。
二、Autoencoder异常检测流程
异常检测(anomaly detection)通常分为有监督和无监督两种情形。在无监督的情况下，我们没有异常样本用来学习，而算法的基本上假设是异常点服从不同的分布。根据正常数据训练出来的Autoencoder，能够将正常样本重建还原，但是却无法将异于正常分布的数据点较好地还原，导致还原误差较大。
如果样本的特征都是数值变量，我们可以用MSE或者MAE作为还原误差。例如上图，如果输入样本为
经过Autoencoder重建的结果为
还原误差MSE为
