Prostate Cancer Diagnosis using Deep Learning with 3D Multiparametric MRI

Saifeng Liu, Huaixiu Zheng, Yesu Feng, Wei Li

The MRI Institute for Biomedical Research, Waterloo, ON, Canada;

Uber Technologies Inc. San Francisco, CA, USA;

LinkedIn, San Francisco, CA, USA;

USAA, San Antonio, TX, USA

结构： 提出新网络XmasNet（基于CNN） 端到端训练End-to-end training

功能： classification of prostate cancer lesions 前列腺癌损伤诊断

数据： 3D multiparametric MRI data provided by the PROSTATEx challenge

增强： through 3D rotation and slicing  3D旋转信息和切片信息

成绩： AUC (0.84)  PROSTATEx challenge竞赛第二名；收录在SPIE中。

难点： 1 the heterogeneous raw data 各类数据冗杂

2 the relatively small sample size 目标图像尺寸较小

策略： data preprocessing and data augmentation 数据预处理和数据增强

              采用深度学习的网络结构进行分类XmasNet

对比： feature engineering and decision tree model

数据处理和数据增强

数据划分：341案例，选择204个案例用于训练（剔除五个模糊图像），剩余

199个案例用于训练。其中，169 案例 (274 lesions) 作为训练集，30案例 (43lesions) 作为验证集。每个案例至少有一处损伤（lesion），且注明位置。

数据标签： clinically significant or non-significant。

其他标注：每个案例的标注：（其实我还没查明白这都是什么医学数据）

DWI：Diffusion Weighted Images——D

ADC：Apparent Diffusion Coefficient maps——A

Ktrans——K

T2WI：T2 Weighted Images ——T

三个处理步骤：

1、 Standardization标准化

线性插值成1mm。linear interpolation, 1mm isotropic resolution

       每个案例根据T2WI进行重构（还不太清楚怎么重构的）

2、 Refining lesion center 改善损伤中心

The lesion region was obtained through region growing and morphological operations, using DWI. （好吧，这步我也不知道怎么做到的）

之后获得的图像中心就是损伤中心。

3、 Train/validation sample preparation 训练集、验证集准备

169 案例 (274 lesions) 作为训练集，30案例 (43lesions) 作为验证集。

由其他标注中的DAKT中的三项数据作为RGB的三个通道，组成四种输入：DAK, DAT, AKT, DKT（每种输入都至少训练了一次深度模型，这个“至少”应该是针对后面所说的训练多个模型进行选择而言）

数据增强通过3D旋转和切片完成。

对损伤进行7个方向的切片。

对于每个切片进行了平面旋转、随机剪切、正负1像素的平移处理。

共得到207144 训练样本, 每个样本32×32 region of interest (ROI) surrounding the lesion center。

Caffe训练时应用了随机镜像处理。

验证集、测试集也进行了相同的数据增强。

测试集的没处损伤的预测由各个方向平均而得。

 

 

a: 四种输入；b: 切片方向；c: 32x32 ROI

深度学习模型 DEEP LEARNING MODEL: XMASNET

The end-to-end training of XmasNet was carried out on an AWS instance.（没看懂）

XmasNet受到了VGG启发。

结构如下图：

 

 

 

 

以DAK输入为例，学习率2×10-6,  Adam solver and weight decay 10-4. 最高的 AUC (0.92)出现在1610步，因而在此时停止训练. 以此方法, 训练20 个不同输入的XmasNet模型。测试集损伤的预测由各个模型加权平均得到。权重由greedy bagging algorithm（参考文献12）得到。

 

 

每次迭代为使得验证集AUC最大的模型权重加一，直至AUC收敛。

如下图，有权重的模型中权重较低的表示为权重高的模型提供了互补信息。

测试集的预测由各个方向平均求得。

 

 

对比方法：决策树FEATURE ENGINEERING AND DECISION TREE MODEL

每处损伤提取87个特征，包括均值、方差、纹理特征（energy, contrast）等obtained from a 3D Haralick texture analysis（参考文献13）。 140 decision tree models were trained using a gradient boosting algorithm, XGBoost（参考文献14）, with backward feature selection and hyper-parameter tuning performed independently for each model through 5-fold cross validation.

最后，选择交叉验证 AUC 最高的20个模型使用和深度模型一样的greedy bagging 过程。观察经常出现的特征 Ktrans , ADC, 大多是纹理特征。最常出现的四个特征：correlation, variance and the minimum intensity of the lesion region on Ktrans image, as well as the minimum intensity of the lesion region on ADC map. 这些特征在被选中的20个模型里均有包含。

其他方法：mpMRI（参考文献5）AUC (0.83) with PIRADS V2 reported in a previous study 测试集AUC=0.83

对比图如下：

 

 

训练集AUC分别为0.95和0.89.测试集AUC分别为0.84和0.80.

Sensitivity (also called the true positive rate, the recall)：TP

Specificity (also called the true negative rate)：TF

关键参考文献

[5] Kasel-Seibert, M., et al., “Assessment of PI-RADS v2 for the Detection of Prostate Cancer,” Eur. J. Radiol. 85(4), 726–731 (2016).

[12] Caruana, R., et al., “Ensemble Selection from Libraries of Models,” Proc. Twenty-First Int. Conf. Mach. Learn., 18, ACM, New York, NY, USA (2004).

[13] Vallières, M., et al., “A radiomics model from joint FDG-PET and MRI texture features for the prediction of lung metastases in soft-tissue sarcomas of the extremities,” Phys. Med. Biol. 60(14), 5471 (2015).

[14] Chen, T., Guestrin, C., “XGBoost: A Scalable Tree Boosting System,” Proc. 22Nd ACM SIGKDD Int. Conf. Knowl. Discov. Data Min., 785–794, ACM, New York, NY, USA (2016).