卷积神经网络在口腔医学影像领域的应用现状*

程一彤 武 峰

人工智能(Artificial Intelligence,AI)是研究通过计算机模拟人类某些智能行为和思维过程的学科,主要包括计算机实现智能的原理、制造类似于人脑智能的计算机,使其实现更高层次的应用[1]。深度学习是一种人工智能方法，可以在医学诊断、临床决策、个性化治疗等方向为临床医生提供帮助。其优势在于，从原始数据开始，深度学习通过从浅层到深层的非线性激活函数处理特征。当深入到更深层时，原始数据被转换成适合表示原始数据的高维特征[2]。深度学习中的分类、分割、检测等算法也都大大减少了医生、专家的工作量，并能辅助提取出某些人类难以识别的特征。

目前，深度学习技术已经成功地运用于临床医学的各个分支领域，例如检测胃癌[3]和乳腺癌[4]；
肿块或正常乳腺组织分类[5]、肺结节分类[6]；
肝脏[7]及心室[8]的分割等研究，且准确率达到95%以上。随着口内数字化X 线片、曲面体层摄影、锥形束CY(Cone beam Computed Yomography，简称CRCY)等影像设备的普及及应用，口腔影像数据呈指数型增长；
然而我国口腔医师及口腔助理医师数量严重不足，放射科医师更是少之甚少[9]。近年来自学习反向传播算法的发展和计算能力的不断提高，具有分层特征学习能力的卷积神经网络(Convolutional Neural Networks,CNN)较深度学习方法的其他模型应用更加广泛。例如在口腔医学领域，CNN 已经被应用于龋病[10-11]、根尖周病[12]等常见疾病的检测与诊断；
评估牙根形态[13]或牙槽骨丧失[14]；
牙齿[15]、软组织解剖结构[16]的分割等。

最为代表性的深度学习模型为CNN，因其具有强大的参数计算和数据处理能力，已成为近年来医学图像分析的研究热点。CNN 一般由输入层、卷积层、激活函数层、池化层和全连接层五种结构组成。其中卷积层中的卷积核是整个网络的核心，卷积层通过卷积核来获得特征的提取，激活函数增加网络的复杂度和表现力，故卷积核上的参数决定了该卷积层的作用。池化层提取主要特征，减少参数个数。全连接层将学到的特征进行分类。这些结构组成了优秀的CNN[17]。

CNN 是人工神经网络和计算机视觉深度学习的最新核心模型，在将大量数据输入神经网络后，系统自动提取数据集的特征，通过计算机逐步地学习，从而建立学习模型。它能以高精度解决图像识别、分割、分类等问题，在图像处理领域取得了很大的成功。

对于已创建的神经网络的评估，需要有以下几个指标作为衡量标准，这样才具有可靠性。准确率指经过系统的筛选后，检测正确的样本数占系统总样本数的比率。精确率即精度是指实际诊断占系统诊断的比例。召回率(灵敏度)是指系统给出的诊断占总样本中实际诊断的比率。而特异性则相反，是指系统检测出的正常样本占总样本中正常的比例。F1 分数便是精确率与召回率的调和平均值。

2.1 疾病的检测分类与诊断 传统疾病检测与诊断的方法一般都是由图像预处理、边界分割、特征提取和诊断分类等几个处理步骤组成。其中最重要的一步是从图像中提取具有区分性的特征。然而这些特性是专家基于特定领域的知识所标注的，提取出具有代表性的特征也并非易事。随着深度学习在口腔医学领域的兴起，龋病、牙周病、根尖周炎等常见疾病的诊断也向“全自动数据分析”前进了一步。

Lee 等[10]评估了深度CNN 算法在根尖片上诊断龋齿的能力。其使用已训练好的CNN 对数据集进行预处理，并通过迁移学习进行训练，对图像的灰度、白度与病变之间进行对比。最终前磨牙、磨牙和两种联合牙模型的诊断准确率分别为89.0%、88.0%和82.0%。Choi 等[11]人利用CNN 系统来检测X 线片中的邻面龋。首先将图中的牙齿水平对齐作为预处理，其次利用全卷积网络生成龋患概率图，最后使用优化方案和基于边缘的水平集方法提取可能存在龋齿的牙冠区域，F1 分数达74.0%。

Chang 等[14]基于深度学习与传统的计算机辅助诊断方法在全景片上利用牙体长轴、牙槽骨和釉牙骨质界水平，对牙槽骨丧失的百分率进行分析。根据牙槽骨丢失百分率，系统可以对牙周病进行分期。结果显示该方法与放射科医生诊断能力差异无统计学意义(P＜0.01)。Lee 等[18]也利用深度学习算法结合预训练的深度CNN 结构和自训练网络，通过根尖周X 线片诊断牙周病。结果显示前磨牙诊断准确率为81.0%，磨牙诊断准确率为76.7%。又使用临床诊断为重度牙周病的64 颗前磨牙和64 颗磨牙进行检测，预测拔牙的准确率分别为82.8%和73.4%。Krois 等[19]设计深层CNN，通过在全景片上检测牙槽骨吸收至根长的百分之多少对牙槽骨丧失情况进行评估。结果显示，CNN 在有限数量的图像片段的情况下，其诊断能力与口腔医师相比差异无统计学意义(P=0.067)。Kim 等[20]提出一种基于深度学习的方法来建立一个自动诊断系统，以检测全景片中的牙槽骨丢失情况。他提出的DeNYNet 方法不仅可以检测病变，而且可以确定具体病变牙。与临床医生相比，DeNYNet 在测试集上的F1 分为75%，而临床医生的平均表现为69%。

Orhan 等[12]运用深度CNN 的人工智能系统在CRCY 中诊断根尖周炎，结果显示人工智能系统能够检测153 个根尖周病变中的142 个。其正确检出率为92.8%。

对于传统诊断牙根纵裂的方法，临床医师会使用临床检查及CRCY 辅助进行诊断，偶尔会出现偏差及诊断失误。Fukuda 等[13]利用DetectNet 建立了基于CNN 的检测牙根纵裂深度学习模型。经过五次交叉验证，结果330 例牙根纵裂中，检出267例，20 颗无骨折牙齿被误检。召回率为75%，精度为93%，F1 分数为83%。由此可见CNN 学习模型可以作为全景片中牙根纵裂的检测工具。

CNN 已被广泛用于临床疾病分类。Poedjiastoeti等[21]创建了一个CNN 来区分全景片中的成釉细胞瘤和牙源性角化囊性瘤。经比较，CNN 的敏感度、特异性、准确率和诊断时间分别为81.8%、83.3%、83.0%和38s，口腔颌面外科专家在这些参数上均与CNN 检测不分上下，但诊断时间为23.1min。可见利用CNN 检测可以大大减少诊断时间。

传统的舌癌组织分类方法包括主成分分析、支持向量机和线性相关分析。然而，这些方法并没有很好地对非线性效应进行编码。Yu 等[22]将拉曼光谱与深度CNN 相结合用于舌癌的分类。证实了ConvNets 分类器能够通过更好地对非线性交互进行建模来规避这些问题。研究者共收集了12 例舌癌患者的光谱资料，使用核酸与氨基酸的显著差异来开发舌癌与非肿瘤组织的分类模型，该方法具有较高的灵敏度(99.31%)和特异性(94.44%)。

2.2 牙齿的识别定位与分割 牙齿分割就是将每一颗牙齿从三维牙颌模型上准确地分割出来。牙齿的识别与分割是获取患者的牙齿几何形状的重要步骤。在口腔正畸领域，可将牙齿精确分割后进行重新排牙，从而进一步制定正畸治疗计划，并可评估治疗效果。无论是X 线片还是CRCY 图像中的牙齿识别与分割仍然是一项具有挑战性的工作，因为有限的辐射剂量会导致图像质量较低，而且牙槽骨和中间骨组织还具有模糊性。传统的基于几何学的分割方法也很难实现单个牙齿的标记，因此往往得不到较好的分割效果。

在过去的二十年中，牙齿分割一直是重点研究领域，主要依靠基于阈值和区域生长等传统分割方法，而现在深度学习算法逐渐应用于牙齿分割，从二维影像到三维牙齿模型。牙齿分割在影像中的难点在于牙根的分割。牙根分割主要有三个原因导致十分困难。首先，CRCY 对比度较高，信号强度比较低。第二，边缘模糊减弱，牙根与邻近牙槽骨信号相似。此外，相邻的牙齿距离很近，牙根的结构也很复杂。Xu 等[15]对各种网络结构进行了广泛的实验，最终得到了一种用于牙齿分割的两级层次CNN 结构：一种用于牙齿-牙龈标记，另一种用于牙齿间标记。在此基础上，提出了一种新的边界感知牙齿简化方法，显著提高了特征提取阶段的效率。在CNN 预测之后，并进行基于图的标签优化，使用改进的模糊聚类进一步细化边界。最终网格标记方法的准确率超过了最先进的基于几何的方法，达到了99.06%的面积测量，这直接适用于正畸CAD 系统。它对模型表面可能存在的任何异物(如气泡、牙科配件等)也具有很强的排干扰性。

相比整个牙齿的分割，牙内部的解剖结构更难以准确分割。Hiraiwa 等[23]人最近进行的一项新研究，检测了深度学习系统利用全景片来评估下颌第一磨牙远中根的根管数目，将CRCY 作为金标准，对400 例患者未进行根管治疗的760 颗下颌第一磨牙的CRCY 及全景片进行分析。将全景片中的牙根形态进行分割，应用于深度学习系统中。结果显示，在CRCY 图像中，21.4%的远中根可见多根管，而深度学习系统的判断准确性为86.9%。

Chen 等[24]提出了在YensorFlow 库中使用CNN 特征的更快区域检测和识别根尖片中牙齿的研究，在X 线片中进行了三个后处理步骤，即过滤系统、神经网络模型和规则库模块。他们的研究表明，该系统的准确率和召回率都达到90%。为了证明系统的鲁棒性，将这些算法与三位医师手动注释进行了比较，结果表明，机器的性能已经接近初级口腔医师水平。Münevver[25]利用深度学习方法在X 线片上对乳牙进行自动检测和编号。使用更快的R-CNN Inception v2 模型，在421 幅全景片中进行训练和测试，最终该人工智能系统的灵敏度和准确度分别为98.04%和95.71%。

AL Kheraif 等[26]首先应用混合图像分割方法对X 线片上的牙齿及其周围组织进行分割，最后利用CNN 进行牙齿疾病检测分类，例如：牙齿数目异常、牙齿结构异常、修复体或种植体的存在、龋齿等。基于测试集的检测结果对系统进行了评价，准确率达97.07%。Miki 等[27]基于CRCY 图像利用CNN 研究出七种牙齿类型的自动分类系统。通过旋转和强度变换增加训练数据，证明了该系统的高效率，从而证明了该系统的分类性能是成功的，具有较高的分类效率。Li 等[28]也研究使用深度CNN在CRCY 图像上对牙齿类型进行自动分类。结果表明：切牙、尖牙、前磨牙和磨牙的敏感度分别为88%、86%、84%和90%。平均灵敏度为87.0%。Lin 等[29]基于全景片利用CNN 建立一个自动分类系统，首先检测然后定位牙齿，最后对不同的牙齿状况进行分类，如正常牙、修复牙、缺失牙、固定义齿、根管治疗牙、冠修复牙和阻生牙。该模型经过修正后，精度可达90.23%，取得了良好的效果。

无论是在X 线片中或是CRCY 中对牙齿进行分割，单颗牙齿的识别与分割都有利于口腔医师分析目标牙齿的状况，做出更精确的诊断和治疗计划。而这一项任务已逐渐从手动转向自动，可以很大程度上减少人为操作带来的误差及减少医生的工作量，对牙齿疾病的诊断和治疗都具有重要的意义。

2.3 口腔解剖结构的定位与分割 精细解剖结构的分割常用于医学三维可视化、诊断或治疗，特别是在复杂的医学病例中，是许多医学领域日益重要的课题。

2017 年，Arik 等[30]首次研究了深度CNN 在全自动定量头影测量分析中的应用。训练CNN 输出不同标志点位置的概率估计，并使用基于形状的模型进行组合。最终在测试集上评估了整个系统，并与其他的技术进行了比较。该系统显示了较高的解剖标志点检测精度(与文献中的顶级基准相比，在2mm 范围内的成功检测率高1%到2%)和较高的解剖类型分类精度(测试集的平均分类精度为76%)。结果该系统显示了较高的解剖标志点检测精度和较高的解剖类型分类精度。此研究证明仅输入原始图像的CNN 系统有望用于精确的定量头影测量。

最近，Kwak 等[16]尝试利用二维及三维深度学习网络，在CRCY 影像上检测及分割下颌管，初步探索可得二维深度学习网络分割的全局精度为96.0%，三维深度学习网络分割的全局精度为99.0%。Vinayahalingam 等[31]开发并验证了一种基于U-net 深度学习的自动化方法来检测和分割全景片上的下颌第三磨牙牙根和下牙槽神经，在81 张全景片中手动分割下颌第三磨牙牙根和下牙槽神经，训练CNN 进行检测。U-net 结合了低分辨率信息和高分辨率信息，能够提供牙齿类别识别依据，并提供准确分割定位依据，完美适用于口腔影像图像分割。

2.4 辅助制定治疗计划及预后评估 在2017年，Murata 等[32]第一次尝试将深度学习技术应用于正畸评估。这是基于深层CNN 提出了一种自动诊断成像的深度学习模型，为正畸治疗提供了一个客观的面部特征形态学评估。其将患者的面部图像作为训练数据并生成多标签(如面部特征的形态学评估)。最终多标签与面部部位的评估结果相对应。自动诊断成像系统极大地减少了评估过程所需的时间。它还有助于提供客观的诊断，这对口腔医学、口腔医师及患者都十分重要。

随着医疗大数据时代的到来及深度学习的进一步发展，深度学习技术已不断出现在口腔医学领域及口腔诊疗的过程中，但仍有问题待进一步解决。

缺少高质量的标注训练样本，可能导致训练出来的模型过拟合或者推广性不好。这个问题不仅在口腔医学领域是一个难题，在临床医学领域也广泛存在。因此，目前有迁移学习等方法来努力解决深层网络训练对大数据集的感知需求。该方法对于在数据量较少或关键资源有限的情况下训练网络非常有效。

当前的人工智能算法就像黑匣子一样，使得人们很难识别或调整。因此，为了提高人工智能的可靠性，有必要开发一种能够被人类理解和编辑的面向深度学习网络的可视化和修改工具。

我们还需要强调口腔医学领域数据标准化的需要，以及建设数据集的标准化。尤其是，CRCY 在不同的品牌、机器和曝光条件下表现出很大的图像变化，这可能成为深入学习研究的障碍。因此，为了使利用CNN 进行三维诊断的方法切实可行，建立CRCY 图像质量的国际标准还是有必要的[33]。此外，CRCY 图像不能提供优越的软组织分辨率，使软组织和病变密度相似。因此，牙周炎、牙槽骨丧失等可能改变了人工智能系统的测量的精准度。牙齿异常、不完全的根尖发育、开放的根尖部等也可能影响算法的分析。为了解决这些问题，还需要对正常解剖进行进一步的编程。

目前认为深度学习中的CNN 是一种可以在诊断医学、临床决策、个性化医疗等各个领域为医生提供帮助的工具。应用于医学领域的深度学习算法的诊断精度正在接近专家水平，将计算机辅助诊断的作用从“第二意见”工具转变为更具有协作性的工具。但CNN 在口腔医学领域的研究刚处于起步阶段，仍有光明的前景等待发掘。例如，在口腔修复领域，通过对三维牙颌模型进行识别、分割与多视图特征的提取，建立数据库，从而判别嵌塞牙位与非嵌塞牙位的异同并进行分类，为获得准确的调牙合位点、磨除量或其他个性化治疗方案提供基础。在口腔颌面外科，可以尝试评估术后淋巴结转移的可能性及复发的概率。

现在看来，CNN 在口腔医学领域虽然取得了一定的成功，但CNN 与口腔医学的结合仍需进一步研究，CNN 终将助口腔医学领域走向更智能的阶段。

猜你喜欢牙根口腔医学卷积美国牙医学教育对我国口腔医学住院医师规范化培训的启示中国毕业后医学教育(2022年1期)2022-08-19正畸力对临时支抗装置接触牙根引起牙根表面损伤的影响及其修复过程中国实用医药(2022年14期)2022-07-302021年第十六届中国口腔医学十大新闻评选结果中华老年口腔医学杂志(2022年1期)2022-05-19口腔正畸治疗中牙根吸收的研究进展今日健康(2021年12期)2021-11-30基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02《中华老年口腔医学杂志》征稿征订口腔颌面修复学杂志(2021年5期)2021-10-17卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14从滤波器理解卷积电子制作(2019年11期)2019-07-04口腔医学高考金刊·理科版(2019年10期)2019-02-14基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20

推荐访问:卷积 神经网络 口腔