文|小彭的灿烂笔记

编辑|小彭的灿烂笔记

前言

农业是人类的基本活动之一，它确保了全球粮食安全，但农田中的杂草会对作物的生长和产量造成严重损害，因为杂草能直接与作物争夺阳光、水和养分，并且它们也会成为在作物中传播疾病和害虫的来源。

杂草控制有助于促进农业可持续发展，从而提高农业生产效率，减少农业资源浪费，保护生态环境，实现农业可持续发展。

最近卷积神经网络（CNN）极大地推动了计算机视觉的进步，与传统的机器学习算法相反，深度学习算法会自动执行特征选择，并且具有更高的准确性。

这些方法在农业图像处理中得到了广泛的应用，CNN已被用于根据无人机（UAV）获取的遥感图像预测和估计成熟阶段水稻的产量，提出了一种基于深度学习的鲁棒检测器，用于实时识别番茄病虫害。

有人构建一个CNN，用于在幼苗阶段对胡萝卜和杂草进行分类，通过利用纹理信息和形状特征，显著提高了植物分类的准确性。

还有人构建了一个大型的、公共的、多类的深海杂草数据集，并使用ResNet50进行杂草分类。

自FCN提出以来，UNet、DeepLabV3和DeepLabV3Plus等图像语义分割模型，已经出现并广泛应用于农业杂草分割领域，语义分割模型可快速提取作物和杂草的特征，提取过程中，无需复杂的背景分割和数据模型建立。

大豆数据集

大豆数据集取自位于安徽省合肥市庐阳区的安徽农业大学国家高新技术农业园的大豆田，并选择15-30天的大豆幼苗进行数据收集。

用于图像采集的设备，包括DJI手持云台，型号Pocket2，采集装置位于离地面约50厘米处，视频分辨率设置为1920×1080，帧速率为24帧/秒（fps）。

然后从视频中提取帧，获得553张图像来构建大豆数据集，为了确保更快的训练和方便的手动注释，将图像大小调整为1024×768，该分辨率在计算效率和保留足够的视觉细节，以进行准确的图像分析之间取得了平衡。

使其成为许多计算机视觉应用程序和数据集中常用的分辨率，以7：2：1的比例将它们随机分配给训练集、验证集和测试集。

大豆数据集中的原始图像和相应的注释（绿色：裁剪，红色：杂草）

甜菜数据集

甜菜数据集来源于BoniRob，此数据集中的图像是在德国波恩附近的甜菜农场捕获的，2016年，一个预先存在的农业机器人被用来记录数据集，该数据集专注于甜菜植物和杂草。

该机器人配备了JAIAD-130GE相机，图像分辨率为1296×966像素，摄像头位于机器人底盘下方，安装高度离地面约85厘米，数据收集时间跨度超过三个月，每周大约记录三次数据。

该机器人捕获了甜菜植物在生长过程中的多个阶段，官方数据集包含数以万计的图像，在这项工作中，可以标签分为三类：甜菜作物、所有杂草和背景。

为方便起见，使用2677张随机选择的图像，来创建甜菜数据集，将数据集随机分为70%训练、20%验证和10%测试集，将绿色注释表示甜菜作物，红色注释表示杂草，黑色注释表示土壤。

甜菜数据集中的原始图像和相应的注释（绿色：裁剪，红色：杂草）

胡萝卜数据集

胡萝卜数据集来源于CWFID数据集，此数据集中的图像，是在德国北部的一个商业有机胡萝卜农场收集的，这些图像是在胡萝卜幼苗的早期真实叶子生长阶段，是通过使用JAIAD130GE多光谱相机捕获的。

该相机可以捕获可见光和近红外光，图像的分辨率为1296×966像素，在采集过程中，相机垂直放置在地面上方，高度约为450毫米，焦距为15毫米，为了减轻不均匀照明的影响，在机器人下方的阴影区域使用人工照明，以保持图像上一致的照明强度。

数据集由60张图像组成，随机拆分了70%的样本用于训练，20%用于验证，10%用于测试，同样绿色注释表示胡萝卜幼苗，红色注释表示杂草，黑色注释表示土壤和背景。

胡萝卜数据集中的原始图像和相应的注释（绿色：裁剪，红色：杂草）

水稻数据集

水稻数据集来源于水稻幼苗和杂草数据集，此数据集中的图像分辨率为912×1024像素，并使用带有f-s1000–36mmf/360.3–4.5ISSTM镜头的IXUS6HS相机拍摄。

在图像捕获期间，相机距离田地水面80-120厘米，该数据集包含224张图像，并带有8位灰度格式的相应注释，将原始注释转换为24位RGB格式，并以7：2：1的比例将数据集随机拆分为训练集、验证集和测试集。

用绿色注释表示水稻幼苗，红色注释表示杂草，黑色注释表示水或其他背景。

水稻数据集中的原始图像和相应的注释（绿色：作物，红色：杂草）

使用上面提到的卷积注意力机制MCA，来构建一个由MCA和FFN网络组成的MSFCABlock，我们能够看到MSFCABlock增强了编码器和解码器之间的功能关联。

在MSFCABlock中，接触特征通过3×3卷积和批量归一化（BN），然后通过使用残差连接将其与MCA模块的输出连接，再使用具有残差连接的前馈网络（FFN）对特征进行处理。

MSFCABlock中的FFN结构将输入特征向量映射到高维空间，然后使用激活函数应用非线性变换，从而生成新的特征向量，与原始特征向量相比，此新特征向量包含更多信息。

全局上下文建模多层感知器（MLP）和大卷积，从远程建模中捕获全局上下文特征，从而使所提出的MSFCABlock能够有效地提取特征。

所提出的多尺度特征卷积注意力块（MSFCABlock）的架构

建议的MSFCANet的整体架构可以参考下图，所提出的网络由编码器和解码器组成，编码器使用VGG16网络作为主干，其中蓝色块代表卷积层，由于使用基于VGG16的编码器。

因此卷积层是完全卷积的，粉色块表示最大池化层，绿色块表示上采样层，使用转置卷积方法进行上采样，该方法可以为不同的任务学习不同的参数，从而使其与其他方法（例如双线性插值）相比更加灵活。

黄色块表示串联，棕色块表示建议的MSFCABlock，所提出的MSFCABlock在解码过程中结合了编码器不同层的特征，从而为杂草分割提供了出色而密集的上下文信息集成，以及更丰富的场景理解。

它增强了多尺度特征聚合，在网络设计中的作用，参数尺寸小的大卷积也减少了网络参数的数量。

拟议的MSFCA-Net的体系结构

为了验证所提出的MSFCA-Net的性能，对大豆杂草数据集进行了实验，并将结果与其他最先进的方法进行了比较，包括FCN，FastFcn，OcrNet，UNet，Segformer，DeeplabV3和DeeplabV3Plus。

结果显示出其性能指标，包括拟议的MSFCA-Net和上述基于大豆杂草测试集的模型的性能指标，包括MIoU，作物IoU，杂草IoU，BgIoU，召回率，精度和F1分数。

结果的定量分析表明，所提出的MSFCA-Net在大豆数据集上具有高效性能，优于其他模型，该模型的MIoU、作物IoU、WeedIoU、BgIoU、召回率、精度和F1得分分别为92.64%、92.64%、95.34%、82.97%、99.62%、99.57%、99.54%和99.55%，优于其他模型。

特别是所提出的方法MIoU和WeedIoU，分别比排名第二的OcrNet高2.6%和6%，这是因为所提出的MSFCA-Net，利用跳过连接将编码阶段学习的低分辨率特征，在语义上映射到高分辨率像素空间，在存在样本不平衡和难以学习的类的情况下，表现出高性能。

所提出的方法与其他基于大豆数据集的最新方法的比较

因此与目前流行的模型相比，该模型在处理样本不平衡和对难以学习的样本的学习能力方面，具有较强的优势。

MSFCA-Net和测试数据集上其他方法的部分分割结果显示，其中绿色代表大豆，红色代表杂草，黑色代表背景，标签表示手动注释的图像。

对3个网络模型预测结果的分析表明，MSFCA-Net的分割结果更加精细，具有优异的抗噪能力，这是因为MSFCA-Net使用多尺度卷积注意力机制集成了多尺度特征，有效地整合了局部信息和全局上下文信息。

基于大豆数据集使用不同方法获得的分割结果

OcrNet，UNet和Segformer倾向于对图像中的类别进行错误分类，并且无法准确分割大豆幼苗和杂草，FCN，FastFcn，DeeplabV3和DeeplabVPlus产生的分割结果，反映了预测类别的基本形态，但边缘模糊且精度较低。

本方法的分割效果最好，轮廓清晰，细节完整，图像平滑，分割结果最接近人工标注，表明MSFCA-Net网络模型能够有效、准确地分割图像中的杂草、大豆和背景。

甜菜数据集测试

对甜菜数据集进行实验，总共包含2677张图像，训练集中有1874张图像，与这项工作中使用的其他数据集相比，甜菜数据集相对较大，用于训练八种不同的模型。

结果表明与大豆数据集上相比，所有其他模型在甜菜数据集上的性能明显较低，虽然甜菜数据集的训练图像较多，但与大豆数据集相比，背景更复杂，数据收集质量相对较差。

另一方面，拟议的MSFCA-Net在这种具有挑战性的情况下，仍然表现出良好的性能。

与其他模型相比，MSFCA-Net在各种指标方面表现良好，该模型的MIoU、作物IoU和杂草IoU，分别为89.58%、95.62%和73.32%，分别领先排名第二的OcrNet3.5%、3.4%和6.8%。

所提出的方法与其他基于甜菜数据集的最新方法的比较

测试集上各种网络的部分分割结果显示，其中红色代表杂草，绿色代表大豆植物，黑色代表背景，“图像”是指原始甜菜图像，“标签”是指原始注释图像。

尽管其他网络能够识别这些类别，但与提议的MSFCA-Net相比，它们在细节和边缘轮廓方面的性能较差。

通过比较这些图像中的粉色框，可以观察到其他网络在不同程度上，表现出分割误差，这归因于它们在处理复杂背景方面的表现不佳。

另一方面，所提出的MSFCA-Net的分割结果更好，甜菜、杂草和背景的分类更准确。

基于甜菜数据集使用不同方法获得的分割结果

在胡萝卜数据集上进行测试

在胡萝卜数据集中，有60张图像，基于70%的随机拆分，仅使用42张图像来训练网络，基于测试集的八个不同网络的预测结果记录在表格。

最后得出的结果表明，样本少、每像素预测密度高，样本有限的模型训练，容易出现过拟合和分割性能差等问题。

并且其他模型的性能相对较低，表明现有模型在样本严重稀缺的小数据集的作物和杂草分割方面无效。

但与现有模型相比，所提出的模型性能明显更好，该模型的MIoU、作物IoU和WeedIoU分别为79.34%、59.84%和79.57%，分别比排名第二的OcrNet高出4.2%、1.1%和10.4%，这证明了所提模型在小样本数据集上，具有较强的学习能力。

所提出的方法与其他基于胡萝卜数据集的最新方法的比较

结论

在这项工作中提出的MSFCA-Net，一个用于作物和杂草分割的多尺度特征卷积注意力网络，利用非对称大卷积核设计了聚合多尺度特征的注意力机制，并采用跳过连接，有效整合局部和全局上下文信息，

显著提高了所提模型的分割精度，增强了其处理细节和边缘分割的能力，还设计了一种结合骰子损失和焦点损失的混合损失计算模式。

为作物和杂草设计了单独的损失函数，这种混合损失有效地提高了所提模型在处理类不平衡方面的性能，增强了其从困难样本中学习的能力。

与其他模型相比，它的模型在大豆、甜菜、胡萝卜和大米数据集上表现出明显更好的性能，mIoU得分分别为92.64%、89.58%、79.34%和78.12%，这证实了其强大的泛化能力和在复杂背景下，处理作物和杂草分割的能力。

网络上的消融实验证实了所提出的模型，使用非对称大卷积核和空间注意力提取特征的能力。

还对田间大豆幼苗和杂草数据集进行了采集和人工标注，丰富了农用杂草数据数据集，为今后的研究提供了丰富有效的数据，这项工作对智能除草和智能农业的发展具有重要意义。