在航空制造中，钛合金常用于飞机的主要承力构件，需要对其组织形态进行检测，及时发现缺陷，保证材料的力学性能。显微组织检测是金相检测的一个重要项目，通过使用金相显微镜对样品进行观察，确定材料的结构、组织形态和元素分布。长期以来，钛合金的显微组织检测都是靠人工观测显微镜下的金相图像，然后与标准图样、尺寸要求对比进行的，效率低，对人员经验依赖严重。

试图解决该问题的方法中，传统图像识别算法需要计算轮廓矩作为识别特征，而金相图片很难提取到轮廓；传统机器学习在面对像素形式的图像数据时，无法克服平移不变性问题；近年来兴起的深度学习可以通过卷积和池化学习到具有平移不变性的特征，为解决问题带来了希望，但在实际应用中仍面临着一些困难。本文将以TA15 钛合金为突破口，讨论使用深度学习技术进行钛合金显微组织检测的方法。

1 数据采集

将需要检测的各显微组织形态的钛合金试样磨制到镜面程度，热镶嵌到酚醛树脂模具中，并使用金相显微镜拍取多个位置的组织图片。由于深度学习本质上是对像素值进行数学运算，所以需要考虑清晰度与视野的问题，即图片的像素数与其表达的物理距离之间的关系。理论上，只要多张原始图片之间像素数与物理距离的比一定，即可通过简单的裁剪获得训练图片，本文所用的显微镜在500x 的视野下20μm 对应的像素数为143 左右，该值因设备的拍摄像素密度而异。图片应纹理清晰、亮度均匀（如图1 左），不应有黑边、标尺等其它内容（如图1 右）。

拍摄完成后，依照航标11-CL-059D 对图片进行人工鉴定，并按鉴定结果分类保存。注意原始图片中的组织形态应尽量典型，避免将纹理介于两个类别之间的图片用于训练。

2 数据准备

原始图片如果直接用于训练，会存在以下问题：

（1）旋转/翻转不变性，与一般图像识别（如手写数字）不同，钛合金显微组织图像具有旋转和翻转不变性，如将一张TA15 合金A1 组织的图片旋转180°或水平镜像，得到的仍是A1 组织，原始图片的数量一般不足以覆盖这么多种情况。

（2）图片尺寸太大，以本文采集的原始图片尺寸1008×768 输入的话，要经过非常多的层才能收缩到一个尺寸合适的特征图，而这么多信息又不都是必要的。

这些问题可以由数据增强解决。需要注意的是，图片直接绕中心旋转会导致四角处没有像素值，即使使用反射填充也会留下一条明显的“分界线”（如图2 左下角），当旋转接近45°的奇数倍时，这一现象将非常明显。这对于一般图像识别问题不大，但钛合金显微组织本身就像一种纹理，图像变换后纹理不一致是不可接受的。

为解决上述问题，可以使用根据旋转角与目标尺寸回推裁切尺寸的方法。即对于随机的旋转角α∈[0，360）deg，求其对90 的余数α'，计算：

式中d 为目标尺寸，本文取512，ε 由下式确定：

​

将原始图片灰度化后，在随机位置裁切出形状为（D，D）的正方形图片，绕中心旋转α，再从中心位置裁切出形状为（d，d）的小正方形，对小正方形做随机水平、垂直翻转，然后在样本（图片）范围内对像素值进行标准化，得到增强后的图片。对每一张原始图片重复上述步骤以生成数据集。本文通过数据增强生成训练图片3018 张，验证、测试图片各626 张，以A1 类别为例，如图3。

​

3 设计与训练模型

由于缺乏明确可靠的理论指导，神经网络结构的设计一直是深度学习中的一大问题。结合金相检测专业知识，本文的思路是：TA15 合金的显微组织评级（分类）需要关注初生α、次生α、β 组织的大小和数量，注意到初生α 面积较大，而次生α、β 区图像较细，所以神经网络在输入后分成两条路径处理。其中一条支路使用了4×4 最大池化层，并在随后使用了带孔卷积块，加速特征图收缩且减少了池化的使用；另一支路则使用了传统的卷积、池化层堆叠结构。整个网络在适当的位置使用了批标准化，最后两条支路的张量展平合并，输入全连接层进行分类。

经过了大量的尝试与迭代优化后，本文得出了一种性能较好的网络结构，如图4。

确定模型结构后，使用categorical_crossentropy 损失函数、adam 优化器，使用准确率作为性能指标，训练30个轮次。本文第28 轮时模型的验证准确率达到了98.52%，测试发现模型存在轻度过拟合，但性能已经满足要求，于是使用这个模型。

4 构建管线

检测新的试样时，首先读取待测试样的显微组织图片，与训练时一样将其转换为灰度图片。由于网路的输入比原图小，需要对原图进行裁切，为避免裁切随机性导致的结果波动，可以在图片内随机位置裁出10 个形状为（d，d）的子图，并在之后综合考虑它们的结果。将数据进行张量化与样本范围的标准化，输入神经网络进行预测，对输出张量沿0 轴求均值，得到的结果可以视为该试样属于各个类别的概率。

考虑到模型验证准确率约98.5%，意味着每100 次检测预期会错1-2 次，此时需要对于合格类别（A-C 类）有高置信度，否则就需要对全部预测结果进行人工复核，自动检测将失去意义。所以对于合并后的softmax 输出，不使用argmax 得出类别索引，而是规定一个较大的阈值t（如0.8），仅当模型的自信程度大于t 时才输出这个类别，否则输出“待定”，提醒操作人员人工检查。

至此构建了从原始图片到显微组织类别的预测管线，部署至合适的使用场景（如web 应用）后即可使用。

5 结束语

本文介绍了一种基于深度学习的TA15 钛合金显微组织检测方法，详细说明了实现步骤与过程中的主要问题，包括原始数据采集需要注意的事项、数据增强方法、神经网络结构以及后处理/管线构建方法，最终实现了从原始图片到显微组织类别的端到端预测。本文方法的整体流程，如图5。

​

最后，由于水平和精力有限，本文在模型结构的尝试上仍以传统卷积层为主，诸如Inception 系列的胶囊网络、ResNet 系列的残差连接等热门方法并未考虑，可能遗漏性能更好的网络结构；另外，其他的图像预处理方法，如将灰度图像二值化以突出有用信息，都值得进一步研究。