Abstract

实例分割是场景理解的一项重要任务。与完全开发的2D相比，点云的3D实例分割还有很大的改进空间。在本文中，我们介绍了PointGroup，这是一种新的端到端自下而上的架构，特别专注于通过探索目标之间的空隙空间来更好地对点进行分组。我们设计了一个双分支网络来提取点特征并预测语义标签和偏移量，以将每个点移向其各自的实例质心。遵循聚类组件以利用原始点坐标集和偏移偏移点坐标集，利用它们的互补优势。此外，我们制定了ScoreNet来评估候选实例，然后使用非最大抑制(NMS)来删除重复项。我们在两个具有挑战性的数据集ScanNet v2和S3DIS上进行了广泛的实验，在这两个数据集上，我们的方法实现了最高性能，分别为63.6%和64.0%，而之前的最佳解决方案在IoU阈值为0.5的mAP方面实现了54.9%和54.4%。

1. Introduction

实例分割是一项基本且具有挑战性的任务，不仅需要预测语义标签，还需要预测场景中每个目标的实例IDs。鉴于室外和室内环境在自动驾驶、机器人导航等方面的潜在应用，它最近引起了极大的兴趣。

卷积神经网络提高了2D实例分割的性能[10, 17, 29, 5]。然而，给定无序和非结构化的3D点云，2D方法不能直接扩展到3D点，这使得后者仍然非常具有挑战性[49,19,53]。在本文中，我们通过探索3D目标之间的空隙空间以及语义信息来解决具有挑战性的3D点云实例分割任务，以更好地分割单个目标。

图 1

图 1：我们的ScanNet v2方法的3D实例分割示例。实例有不同的颜色。

具体来说，我们为3D实例分割设计了一个名为PointGroup的自下而上的端到端框架，其关键目标是更好地对点进行分组。我们的管道是首先提取每点语义预测并进行有效的点分组以收集候选目标实例。我们利用语义分割主干来提取描述性特征并预测每个点的语义标签。与分割头平行，我们采用偏移分支来学习相对偏移，以将每个点带到其各自的真实实例质心。通过这种方式，我们将同一目标实例的点移向同一质心并将它们聚集得更近，从而能够更好地将点分组为目标并分离同一类的附近目标。

利用预测的语义标签和偏移量，我们采用一种简单而有效的算法将点分组到集群中。对于每个点，我们以它的坐标为参考，将其与附近具有相同标签的点进行分组，并逐步扩大该组。重要的是，我们在两个单独的通道中考虑两个坐标集——原始点位置和那些被预测偏移量移动的点位置。我们将此过程称为“双设定点分组”。这两种类型的结果相互补充，以实现更好的性能。此外，我们设计了ScoreNet来评估和挑选候选组。最后采用非极大值抑制去除重复预测。

我们对具有挑战性的ScanNet v2[8]和S3DIS[2]数据集进行了广泛的实验。 PointGroup在两者上都达到了最高的准确度。对于ScanNet v2，我们在测试集上的表现在mAP50方面为 63.6%，比之前的最佳解决方案[23]高8.7%。对于S3DIS，我们实现了64.0% mAP50、69.6% mPrec50和69.2% mRec50，大大优于所有以前的方法。

总而言之，我们的贡献有三点。

• 我们提出了一个自下而上的3D实例分割框架，名为PointGroup，以处理具有挑战性的3D实例分割任务。
• 我们提出了一种基于双坐标集的点聚类方法，即原始集和移位集。与新的ScoreNet一起，可以更好地分割出目标实例。
• 所提出的方法在各种具有挑战性的数据集上取得了最先进的结果，证明了它的有效性和通用性