常见电子邮件分类算法的性能分析

樊攀 太原理工大学计算机科学与技术学院(大数据学院)

摘要：文本分类是机器学习领域的重要应用之一，旨在将文本数据自动划分为预定义的类别。在文本分类任务中，常用的机器学习算法包括朴素贝叶斯、支持向量机(SVM)、决策树和神经网络等。这些算法通过对文本进行特征提取(如TF-IDF、词嵌入等)，将文本转化为数值向量，进而利用监督学习的方法进行训练。通过训练，模型能够学习到从文本到类别的映射关系，从而实现对新文本的自动分类。这些算法在垃圾邮件识别、新闻分类、情感分析等领域有着广泛的应用。

关键词：TF-IDF；决策树；多层神经网络；朴素贝叶斯

一、研究的目的与内容

(一)目的和要求

使用多种机器学习算法来进行文本分类学习，以实现准确区分垃圾邮件和普通邮件。

(二)研究内容

已经给出了数据集，用留出法划分好训练集和测试集后再使用sklearn中的朴素贝叶斯算法、决策树算法、多层神经网络算法进行模型训练和测试，得到使用各个方法的模型学习曲线，比较各个方法的优缺点和适用范围。

二、总体方案

(一)算法实现的具体方案

引用机器学习所需要的库，通过库调用其中的机器学习算法。对数据集先进行解压缩，解压缩完成后还要对数据进行处理，遍历part1到part10文件夹，根据文件名中是否含有sp来给出是否是垃圾邮件的标签。处理完数据集后使用sklearn中的留出法选取数据，集中20%的数据作为测试集，其余的作为训练集，之后分别使用sklearn中的朴素贝叶斯算法、决策树算法、多层神经网络算法来进行训练和预测，最后输出各种学习算法的计算精度、F1值、查全率等指标进行对比。

(二)代码描述

首先引用sklearn等现有包中的各种方法，包括朴素贝叶斯算法、决策树算法、多层神经网络算法等，将各种方法的随机参数设置为相同数值，以避免数据不同对方法性能评定所造成的影响，同时保证了实验的可重复性和可验证性，最后调用相关方法，用列联表列出三个方法，在测试集上分别对应查全率、查准率、F1值等指标以及三种方法各自对应的学习曲线，以便对三种方法的优势和不足进行评定。

(三)运行结果

图1.朴素贝叶斯学习曲线

图1为朴素贝叶斯算法学习曲线，红色线代表测试集(学习过程中)的准确率(Score)，绿色线代表该模型在测试集上的准确率，线两侧的半透明带的宽度代表方差(方差越小，模型稳定性越好，泛化性能越好)。从图1可看出，随着训练量(Train examples)的增大，训练集正确率下降，测试集正确率上升，最后稳定在0.84左右，准确率一般，但方差较小，具有较强的抗过拟合能力。

图2.决策树

图2为决策树学习曲线，红色线代表测试集(学习过程中)的准确率(Score)，绿色线代表该模型在测试集上的准确率，线两侧的半透明带的宽度代表方差(方差越小，模型稳定性越好，泛化性能越好)。从图2可看出，随着训练量(Train examples)的增大，训练集正确率基本不变，测试集正确率上升，最后稳定在0.96左右，准确率高，但方差较大，存在过拟合风险大的不足。

图3.多层神经网络学习曲线

图3为朴素贝叶斯算法学习曲线，红色线代表测试集(学习过程中)的准确率(Score)，绿色线代表该模型在测试集上的准确率，线两侧的半透明带的宽度代表方差(方差越小，模型稳定性越好，泛化性能越好)。从图3可看出，随着训练量(Train examples)的增大，训练集正确率基本不变，测试集正确率上升，最后稳定在0.98左右，准确率极高，且方差较小，兼顾了准确率高以及抗过拟合能力强的优点。

(四)结论

在使用TF-IDF方法进行特征向量化后，通过对比朴素贝叶斯算法、决策树算法和多层神经网络算法的学习曲线可得出以下结论：

1.朴素贝叶斯算法准确率不高，但不易出现过拟合的情况且算法简单，运行时间短，对硬件配置要求不高，适合于训练量较少或硬件条件有限的情况下使用。

2.决策树算法准确率较高，但相比于另外两种算法，存在方差大、容易过拟合的缺陷，对计算机硬件有一定要求，适合于不存在过拟合风险的问题中，如车牌识别、颜色识别等单一识别问题，不适合于文字识别。

3.多层神经网络算法兼顾了极高准确率与极低过拟合风险两大优点，是三种方法中表现最优的，但计算量大，对计算机硬件要求高，适合于高精度分类问题。

三、遇到的问题及解决方案

(一)问题

1.文件路径错误。如果DATA_DIR变量中的路径不正确，或者子目录和文件结构不符合预期，将会导致文件无法被正确读取。

2.文本分词和停用词。对于英文文本，可能需要考虑分词和停用词的问题，假设处理的是英文邮件，可能需要添加相应的处理步骤。

3.参数调整。每个分类器都有许多参数可以调整，需要通过实验来确定最佳的参数设置。

(二)解决

1.正确调试代码中有关遍历目录的部分，保证不漏。

2.增加辨别语言部分的功能，通过对字母文字占比这一指标判定中英文，对于英文以空格、逗号等作为分隔符。

3.通过查阅以往实验数据，确定最佳参数组合范围，随后逐一调试。

四、体会

明确的目标和数据结构：代码的目标是处理邮件数据集，并使用不同的分类器进行训练和评估。首先，需要确保你理解数据集的结构和格式，以及你希望从数据集中提取什么信息。在上述例子中，邮件文本被读取并转换为TF-IDF特征向量，这是文本分类中常见的预处理步骤。

预处理的重要性：文本数据通常需要预处理才能被机器学习模型有效使用。在上述例子中，使用了TfidfVectorizer来将文本转换为数值特征向量。预处理步骤还包括忽略读取文件时可能出现的编码错误，这可通过errors='ignore'参数实现。

模型选择和参数调整：选择了三种不同的分类器(朴素贝叶斯、决策树和多层神经网络)来比较它们的性能。每种分类器都有其独特的优点和适用场景。此外，对于多层神经网络(MLP)，调整了隐藏层的大小、迭代次数、正则化强度等参数，以优化模型的性能。

评估的重要性：在训练模型后，使用测试集来评估模型的性能是至关重要的。这有助于了解模型在未见过数据上的表现，并可以指导进一步的模型选择和参数调整。在上述例子中，使用了准确率、分类报告和F1分数等评估指标。

迭代和改进：机器学习是一个迭代的过程，可能需要多次尝试不同的模型和参数设置才能找到最佳解决方案。此外，还可以考虑使用更复杂的特征提取方法、集成学习方法或其他技术来进一步提高性能。

参考文献：

[1]韩雪.贝叶斯优化在垃圾邮件过滤中的应用研究.徐州工程学院学报(自然科学版),2023 (02)

[2]高秀艳,颜笑.基于Python语言和朴素贝叶斯算法的中文文本情感分类器设计与实现.科技传播,2024 ,16 (12).

[3]居银银.基于决策树和最佳特征选择的神经网络钓鱼网站检测研究.安徽大学硕士论文,2020年第07期.

[4]王鹿.基于贝叶斯分类的垃圾邮件过滤技术研究.上海工程技术大学硕士论文,2021年第04期.

[5]冯军军，李力.机器学习在垃圾邮件过滤中的实现.电脑知识与技术,2021 ,17 (08).

作者简介：

樊攀，男，2004年10月生，安徽临泉人，太原理工大学计算机科学与技术学院(大数据学院)，研究方向：人工智能。