思路一：基于样本的重构误差

• 算法解析： Chapter 1：基于样本的重构误差

• 算法论文： AI^2 : Training a big data machine to defend [Veeramachaneni et.al, 2016]

• 算法实现

  • 基于KernelPCA重构误差的异常检测： Recon_Error_KPCA.py
  • 基于LinearPCA重构误差的异常检测： Recon_Error_PCA.py
  • 纯Numpy版本： Recon_Error_PCA_Numpy_SVD.py
    • 不调用scikit-learn，只调用numpy，通过SVD实现PCA，再进行异常检测
    • 返回结果与Recon_Error_PCA完全一致

思路二：基于样本在Major/Minor Principal Component上的偏离度

• 术语定义：Major——累计约占50%的最大几个特征值对应的主成分；Minor——特征值小于0.2对应的主成分

• 算法解析： Chapter 2：基于样本在major/minor主成分上的偏离程度

• 算法论文： A Novel Anomaly Detection Scheme Based on Principal Component [Shyu et.al, 2003]

• 算法实现： RobustPCC.py

实证分析：异常样本在最大、最小的若干特征值对应的主成分上具有最大的方差

• 理论分析： Chapter 3. 实证分析：异常样本在最前、最后的若干主成分上具有最大的方差
• 验证代码： max_ev_decrease.py
• 验证细节与结果： 多个随机数据集证明异常样本在最前与最后的主成分上具有最大的方差

算法解析：

• Mahalanobis_Distance算法解析
• Mahalanobis_Distance变体的算法解析

算法实现：

• 马氏距离的初始定义Python实现： mahal_dist.py
• 马氏距离的变体Python实现： mahal_dist_variant.py

马氏距离及其变体对样本异常程度的判定是一致的

• 验证代码： verify_mahal_equivalence.py
• 验证方案与实验细节：马氏距离及其变体对样本的异常程度评估完全一致

• 如果数据集中异常样本的索引已知(记为observed_anomaly_indices)，则以此作为baseline
• 如果数据集中异常样本的索引未知，则以Isolation Forest返回的异常样本索引作为baseline

PU Learning三大处理方法： PU Learning三大处理方法详细解读

思路一：Two Step Strategy + Cost-Sensitive Learning

• 算法解读：
  • 核心**： PU Learning中的Two Step Strategy与Cost-Sensitive Learning相结合
  • Two Step Strategy： Two Step Strategy详解
  • Cost-Sensitive Learning： Cost-Sensitive Learning详解
• 算法论文： POSTER_ A PU Learning based System for Potential Malicious URL Detection
• 算法实现： pu_learning.py

思路二：Biased Learning

• 算法解读： Biased Learning解读
• 算法论文： Building Text Classifiers Using Positive and Unlabeled Examples
• 算法实现： biased_svm.py

思路三：Class Prior Incorporation

• 算法解读： Class Prior Incorporation解读
• 算法论文： Learning with Positive and Unlabeled Examples Using Weighted Logistic Regression
• 算法实现： weighted_lr.py

选取的模型评估指标： AUC、F1_Score、Coverage、G-Mean、Recall、ACC

Coverage详解

• 出处： 蚂蚁金服-风险大脑-支付风险识别大赛(第一赛季)

• 代码实现： coverage.py

• 定义：

G-Mean

• 出处： Addressing the Curse of Imbalanced Training Sets: One-Sided Selection [Miroslav Kubat, Stan Matwin; 1997]

• 代码实现： gmean.py

• 定义：

  

对比代码： semi_detection_contrast.py

对比思路：

• 步骤一： 生成一系列随机数据集，其中包含已观察到的异常样本集(记为正样本集P)，无标签样本集(记为U)

• 步骤二： 各个半监督异常检测算法对U集进行预测并返回预测值y_pred

• 步骤三： 生成U集时，其真实标签y_true是已知的，根据y_true、y_pred计算半监督异常检测算法的性能

• 步骤四： 不同的模型评估指标、不同的数据集对算法的性能有不同的评估，因此根据多个随机数据返回多个模型评估指标对应的值，再进行比较

对比结果：

• 备注：每一列表示以对应列名为模型评估指标时，在相应数据集上表现最优的算法
• 示例：第1列以AUC作为评估指标，根据10个随机数据集的结果取众数，Biased_SVM的表现是最佳的

解析

• 对比实验证明：各半监督异常检测算法均有各自的优势，但PUL CostSensitive的Recall最高，表明FN的高代价起到了一定效果

备注

• 上述实验结论受到实验数据集的样本构成、样本数量等多方面因素的影响，不一定具备普适性
• 在实际运用中，需要根据数据集本身的特点予以灵活选择相应的异常检测算法

对比代码： adoa_kadoa_contrast.py

对比结果： 在数据集、参数设置完全一致的情况下，KADOA的性能显著优于ADOA，但此结论有待更多数据集予以验证