从标记异常中学习，使用Python机器学习客户端进行有效的异常检测

在几篇独立的博客文章中，我们讨论了使用以下技术在具有多个特征的数据集中进行异常检测的问题看到下面成了一个分类，集群(DBSCAN)还有统计测试。然而，当感兴趣的数据集是高维的(即:包含许多特征)，或者正常点与异常点之间的边界复杂。在这种情况下，更好的方法是手动标记数据集中的异常点，然后训练有监督的机器学习模型对正常点和异常点进行分类。

在这篇博文中，我们将分析一个带有标记异常的特定数据集，并在中使用决策树算法SAP HANA预测分析库(PAL)通过SAP HANA Python机器学习客户端(hana_ml)建立异常检测分类模型。同时，为了从不同角度提高训练模型的性能，还采用了多种重采样技术。

介绍

使用标记的数据集将异常数据与正常数据分离似乎与常规分类问题一样简单。然而，正常和异常数据点之间的高度倾斜分布对建立任何有效的分类模型都是一个巨大的挑战，因为在数据集中异常通常很少被观察到，而正态则是压倒性的。例如，我们考虑一种患病率为0.1%的疾病，如果我们使用一个天真的模型，预测所有人都是非这种疾病的患者，那么这个模型的“高”准确率为99.9%，看起来不错。然而，如果我们欣然采用这种幼稚的模型来检测这种疾病，那么对所有真正的患者来说，这将是一场灾难。正常和异常标签之间的分布不平衡是异常检测问题的一个典型特征，特别是当正常点和异常点在数据集的特征空间中纠缠在一起时。

同时，异常情况通常比正常情况更有价值。例如，如果我们未能检测到银行账户之间的欺诈性交易，那么我们可能会有很大的损失;然而，如果我们怀疑一笔交易是欺诈的，而事实证明它不是真的，我们只需要支付一些人工验证程序，这非常便宜。与正常情况相比，异常情况的重要性更高是异常检测的另一个典型特征。

在这篇博文中，我们将做一个使用标记数据集进行异常检测的案例研究，以下内容将包括在我们的讨论中:

1. 介绍和背景知识的数据集为我们的案例研究，与简要的问题分析
2. 利用各种重采样技术从分类模型中进行异常检测

案例研究:甲状腺功能亢进的分类检测

数据集描述和问题分析

本文关注的问题是甲状腺疾病的识别。原始的完整数据集可在UCI机器学习存储库中获得[1]。原始数据集包含21个属性，其中15个是分类属性，6个是数字属性。数据集分为3类:正常、亚正常和超功能。机能亢进是这个数据集中的少数类别，但也是我们最感兴趣的情况，因为一旦获得，它可能会加速身体的新陈代谢，带来诸如体重无意下降、心跳加快或不规则、紧张、焦虑和易怒等症状。

在这篇博文中，我们指定的任务是区分超功能病例和非超功能病例(例如:正常和次正常)，只使用6个数值属性。在ODDS库中可以获得此目标数据集的简化版本[2]，其中所有属性值都使用Min-Max标量缩放到范围[0,1]。此外，该数据集中的label列的值为0和1，其中1表示hyperfunction, 0表示非hyperfunction。

让我们检查相应的数据集以进行进一步分析。我们假设数据已经存储在SAP HANA平台数据库中名为“PAL_THYROID_DATA_TBL”的表中。然后可以通过使用hana_ml建立到数据库的连接来访问数据集，如下所示:

从hana_ml导入hana_ml。dataframe import ConnectionContext cc = ConnectionContext('xx.xxx.xxx. xxx. conf ')xx'， 30x15， 'XXX'， 'Xxxxxxx') df = cc.table('PAL_THYROID_DATA_TBL')

然后,thyroid_dfhana_ml。包含数据集信息的DataFrame，可以通过如下方式获得该数据集的简要描述:

.collect thyroid_df.describe () ()

的平均值所揭示的类型列中，功能亢进病例占数据集中所有病例的不到3%，因此数据集是高度倾斜的W.R.T.甲状腺功能类型。

现在我们分别检查功能亢进和非功能亢进。

cc.sql('select * from ({}) where TYPE=1'.format(thyroid_df.select_statement)).describe().collect()

cc.sql('select * from ({}) where TYPE=0'.format(thyroid_df.select_statement)).describe().collect()

对数据的进一步研究告诉我们，在V1、V2、V3和V5等属性上，超功能病例和非超功能病例的分布有很大的不同(以分位数计算)。所以这些数值属性有可能区分甲状腺功能亢进和非功能亢进。

数据集的可视化是另一种评估分类问题难度的方法。由于数据集的特征空间为6维，因此必须进行降维。这里应用PCA将数据集从6D转换为2D，以绘制数据集的散点图(不涉及类型列)。

从hana_ml.algorithms.pal.decomposition导入PCA res = PCA()。fit_transform (thyroid_df、关键=“ID”特性=[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5))

thyroid_2d = res[['ID'， 'COMPONENT_1'， 'COMPONENT_2']] hyper_ids = 'SELECT ID FROM ({}) WHERE TYPE=1'.format(thyroid_df.select_statement) non_hyper_ids = 'SELECT ID FROM ({}) WHERE TYPE=0'.format(thyroid_df.select_statement) thyroid_2d_hyper = cc.sql('SELECT * FROM ({}) WHERE ID IN ({})'.format(thyroid_2d. sql)select_statement, hyper_ids)) thyroid_2d_non_hyper = cc.sql('SELECT * FROM ({}) WHERE ID IN ({})'.format(thyroid_2d. ids)。select_statement, non_hyper_ids))

进口matplotlib。pyplot as plt h1 = plt.scatter(thyroid_2d_non_hyper.collect()['COMPONENT_1']， thyroid_2d_non_hyper.collect()['COMPONENT_1']， c='red') h2 = plt.scatter(thyroid_2d_hyper.collect()['COMPONENT_1']， thyroid_2d_hyper.collect()['COMPONENT_2']， s = 5, c='blue') plt。legend((h1, h2)，('正常/亚正常'，'功能亢进'))plt.show()

从上图可以看出，超功能案例与非超功能案例的分布是不同的(在约简属性空间中)，但这两个类别并没有很好地分开。

数据分区

在建立任何异常检测分类模型之前，我们首先将整个数据集划分为训练部分和测试部分train_test_val_split ()方法，其中训练百分比设置为0.7，测试百分比设置为0.3(没有验证数据)。

罗hana_ml.algorithms.pal。train_test_val_split(data = thyroid_df, id_column='ID'， random_seed=2, partition_method='stratified'， stratified_column='TYPE'， training_percentage=0.7, testing_percentage=0.3, validation_percentage=0)

从hana_ml.algorithms.pal。unified_classification import UnifiedClassification dtc = UnifiedClassification(func=' decision - tree '， algorithm='cart') dtc。fit(data=train_， partition_method='no'， key='ID'， label='TYPE'， categorical_variable='TYPE') res_direct = dtc。分数(数据= test_键=“ID”,功能=[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5))

的返回结果的第2元素中提供了训练模型在测试数据集上的评价指标的值分数()函数，它可以被收集到python客户端，如下所示:

res_direct [1] .collect ()

值得一提的几个关键统计值:

1. 总体准确率为~99.38%，高于朴素的“总是非超功能”分类器。
2. 决策树分类器为测试中约85.7%的超功能病例分配了正确的标签
3. 决策树分类器预测的功能亢进病例约88.9%为真实的功能亢进病例。

训练模型的性能已经相当好了。然而，由于类在训练数据集中是不平衡的，平衡类数量的重采样技术有进一步提高分类模型性能的潜力。我们将在后面的小节中验证这一理由。我们的第一个尝试是对少数类进行过采样，以实现训练数据中的类平衡。

基于少数类过采样的模型训练

我们首先在训练数据集中使用超功能病例的数量增加几次合成少数派过采样技术(即SMOTE)，使功能亢进病例数与非功能亢进病例数具有可比性。

train_pos = cc.sql('SELECT * FROM ({}) WHERE TYPE=1'.format(train_select_statement)) train_neg = cc.sql('SELECT * FROM ({}) WHERE TYPE=0'.format(train_select_statement)) multi = int(train_neg.count()/train_pos.count())#次用于非超功能情况相对于超功能情况的计数

从hana_ml.algorithms.pal。预处理导入SMOTE SMOTE = SMOTE(smote_amount=multi*100) #smote_amount由百分比反映train_smote = SMOTE。fit_transform (data = train_[[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5’,'类型']],标签=“类型”,minority_class = 1)

dtc。fit(data=train_smote, partition_method='no'， label='TYPE'， categorical_variable='TYPE') score_res = dtc。分数(数据= test_键=“ID”,功能=[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5))

score_res [1] .collect ()

因此，通过对训练数据中的超功能病例进行过采样，使其与非超功能病例的大小大致相同，并重新训练决策树模型，我们看到以下关键统计数据显示出一些改进:

1. 总体准确率从~99.38%提高到~99.73%(相对于没有重新采样的训练)
2. 在测试中，96.4%的超功能病例被决策树分类器分配到正确的标签(而没有重新采样的病例为85.7%)
3. ~93.1%的决策树分类器预测的功能亢进病例是真正的功能亢进病例(88.9%没有重采样)

模型在测试数据集上的性能增量是不可忽略的，这表明了对少数类过采样的有效性。

对少数类进行过采样的另一种方法是直接复制，这相当于某种意义上的自举。

导入numpy为np train_mult = train_neg for I in range(np.int64(mult)): train_mult = train_multi .union(train_pos)#将阳性的情况重复多次，使其组大小与阴性组大致相同

dtc =统一分类(func=' decision - tree '， algorithm='cart')fit (data = train_mult[[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5’,'类型']],partition_method =“不”,标签=“类型”,categorical_variable =“类型”)score_res = dtc。分数(数据= test_键=“ID”,功能=[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5))

score_res [1] .collect ()

从hana_ml.algorithms.pal。预处理导入TomekLinks tmk = TomekLinks() train_tmk = tmk。fit_transform (train_、标签=“类型”)

dtc。fit(data=train_tmk, key =' ID'， partition_method='no'， label='TYPE'， categorical_variable='TYPE') score_res = dtc。分数(数据= test_键=“ID”,功能=[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5))

score_res [1] .collect ()

从hana_ml.algorithms.pal。采样dsp_rate=0.03 #非超功能病例的子采样率sp = Sampling(method='simple_random_without_replacement'， sampling_size=int(dsp_rate*train_neg.count())， random_state=2)# train_neg_sub = sp.fit_transform(train_neg) train_balanced = train_neg_sub.union(train_pos)

dtc。fit(data=train_balanced, key='ID'， partition_method='no'， label='TYPE'， categorical_variable='TYPE') score_res = dtc。分数(数据= test_键=“ID”,功能=[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5))

score_res [1] .collect ()

从hana_ml.algorithms.pal。预处理导入SMOTETomek stk = SMOTETomek(smote_amount=multi*100) train_stk = stk.fit_transform(data=train_， label='TYPE'， minority_class=1)

从hana_ml.algorithms.pal。unified_classification import UnifiedClassification dtc = UnifiedClassification(func=' decision - tree '， algorithm='cart') dtc。fit (data = train_stk[[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5’,'类型']],partition_method =“不”,标签=“类型”,categorical_variable =“类型”)score_res = dtc。分数(数据= test_键=“ID”,功能=[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,‘V5))

score_res [1] .collect ()

从hana_ml.algorithms.pal。预处理导入采样dsp_rate=0.5 sp = Sampling(method='simple_random_without_replacement'， sampling_size=int(dsp_rate*train_neg.count())， random_state=2) mult =int(train_neg.count()/train_pos.count()) train_neg_sub = sp.fit_transform(train_neg) from hana_ml.algorithms.pal。预处理导入SMOTE SMOTE = SMOTE(smote_amount=int(multi*100*dsp_rate)) train_pos_sup = SMOTE。fit_transform(train_pos, label='TYPE'， minority_class=1) train_balanced = train_neg_sub.union(train_pos_sup)

dtc。fit(data=train_balanced, key='ID'， partition_method='no'， label='TYPE'， categorical_variable='TYPE') score_res = dtc。分数(数据= test_键=“ID”,功能=[‘半’,‘V1’,‘V2’,‘V3’,‘V4’,' V5 ']) score_res [1] .collect ()

参考文献

[1]杜瓦，D.和格拉夫，C.(2019)。UCI机器学习资料库[http://archive.ics.uci.edu/ml]。加州欧文市:加州大学信息与计算机科学学院
[2] Shebuti Rayana(2016)。ODDS图书馆[http://odds.cs.stonybrook.edu]。纽约州石溪分校:石溪大学计算机科学系
[3]冯阳，周敏，童欣(2020)，不平衡分类:以目标为导向的回顾，技术报告，纽约大学，全球公共卫生学院