基于多尺度卷积神经网络的脑肿瘤分类与分割深度学习方法

研究背景

医学图像的自动分割和分类在脑肿瘤的诊断、预测和治疗中起着重要作用。使用传统的手动程序对数据库中的脑肿瘤图像进行定位和分类需要耗费大量的精力和时间成本。深度学习技术的出现为这一问题提供了解决方案。2021 年 2 月 2 日，来自西班牙巴利亚多利德大学通信工程学院的 David González-Ortega 教授及其团队在 Healthcare 期刊发表本文，提出了一种利用多尺度卷积神经网络进行脑肿瘤全自动分类和分割的深度学习方法。该方法在 233 名患者的 MRI 图像数据集上进行训练和测试，并取得了良好的分割和分类效果。与之前的方法相比，该方法具有更好的性能和准确度。

研究方法

卷积神经网络及其实现细节

本文首先提出了一种用于肿瘤分割的多通路 CNN 架构。该架构逐像素处理 MRI 图像，并使用四种可能的输出标签 (0-健康区域，1-脑膜瘤肿瘤，2-神经胶质瘤肿瘤，3-垂体肿瘤) 对每个像素进行分类。每个窗口都通过三个卷积路径进行处理，其中不同尺度的内核提取特征。三个路径的尺度特征在一个卷积层中连接起来，然后进入一个完全连接的阶段，最后通过 softmax 激活函数得到最终的分类结果。所提出的 CNN 使用 Pytorch 实现，共有约 300 万个可训练参数。在数据预处理阶段，使用弹性变换进行数据增强以防止过度拟合。训练数据集包含 233 名患者的 3064 张切片，每个切片都有相应的肿瘤类型标签和肿瘤边界信息。训练过程耗时 5 天，平均预测时间为 57.5 秒。

图 1. 卷积神经网络 (CNN) 架构。

数据集与数据预处理

在临床环境中使用脑 CE-MRI 切片进行肿瘤识别和建模。临床提供的通常只有一定数量的大切片间隙的数据可用，难以构建 3D 模型。本文方法基于的数据集包括了 233 名患者的 3064 个切片，涵盖了脑膜瘤、神经胶质瘤和垂体瘤的常见视图。这些切片被用于训练和性能测量，数据集提供了 5 倍交叉验证指数。图像具有 512×512 像素的面内分辨率，像素大小为 0.49×0.49 mm2，切片厚度为 6 mm，切片间隙为 1 mm。肿瘤边界由三名放射科医生手动描绘，每个切片都有相应的患者信息、肿瘤类型标签和肿瘤掩模。训练过程中使用弹性变换进行数据增强以防止过度拟合，并且从每个训练图像中提取训练示例。

图 2. 左：原始切片；右：图像变换；在两张图像中，肿瘤的边缘都以红色突出显示。

神经网络训练和性能测量

本研究使用 CNN 进行肿瘤分类和分割的性能评估过程。首先，研究人员使用给定的数据集进行 5 倍交叉验证，每个折叠使用随机梯度下降 (SGD) 优化器进行 80 个时期的训练，其参数设置为学习率 0.005，动量系数 0.9 和 dropout 参数 0.5。然后，在每个折叠中，使用滑动窗口方法在 612 个图像上测试模型的性能，通过将大小为 65×65 像素的测试窗口输入训练好的 CNN 来预测肿瘤类型标签。将标准化的训练窗口像素值用于测试窗口的标准化。研究人员根据预测的标签和标记的标签，计算分类函数的关系，根据预测的标签大小关系和置信度阈值来确定最终预测的标签。性能评估方面，研究计算了混淆矩阵、Dice 系数和灵敏度分数，并定义了预测肿瘤类型比率评分 pttas 来评估预测肿瘤类型的准确性。pttas 指数是根据预测肿瘤和真实肿瘤之间的大小关系来计算的。

评估指标使用以下公式计算：

研究结果

研究通过使用数据集中的 5 倍交叉验证训练/测试子组，测试了神经网络的性能。结果显示，在三种脑肿瘤 (脑膜瘤、神经胶质瘤和垂体肿瘤) 的分割中取得了较好的效果。

图 3. 图像显示肿瘤分割：检测到的区域显示为红色，而真实区域显示为绿色；结果，交叉区域显示为黄色。

通过分割指标的定量结果 (Dice 系数、敏感度和 pttas 指数)，可以看出该方法对于脑膜瘤的分割效果最好，垂体肿瘤的分割效果最差。此外，此方法还进行了肿瘤分类，结果表明其准确性为 0.973，优于其他深度学习方法。

研究总结

本文提出了一种基于 CNN 的全自动脑肿瘤分割和分类方法，并使用公开的 MRI 图像数据集进行性能评估。通过弹性变换的数据增强来增加训练数据集防止过度拟合。与其他七种脑肿瘤分类方法相比，此方法获得了最高的肿瘤分类精度 0.973。平均 Dice 指数和灵敏度分数分别为 0.828 和 0.940，平均 pttas 值为 0.967。该方法可以辅助医生进行脑肿瘤诊断，并可应用于其他医学成像问题。未来的工作包括与使用相同数据集的 FCN 架构进行比较，并研究多尺度 CNN 在其他领域的适用性。

原文出自Healthcare期刊