0参数量 + 0训练，3D点云分析方法Point-NN刷新多项SOTA

论文链接：https://arxiv.org/pdf/2303.08134.pdf代码地址：https://github.com/ZrrSkywalker/Point-NN本文提出了一个用于 3D 点云分析的非参数收集 Point-NN，它仅由纯不可进修的组件组成：最远点采样（FPS）、k 近邻（k-NN）、三角函数（Trigonometric Functions）以及池化（Pooling）操作。不需要参数和训练，它能够在各种 3D 工作上都取得不错的准确率，甚至在 few-shot 分类上可以大幅度超越现有的完全训练的模型。基于 Point-NN 的非参数框架，这项研究对于当前 3D 领域的贡献以下：1、首先，我们可以通过插入简单的线性层，来构建 Point-NN 的参数化收集，Point-PN。由于 Point-NN 具有强大的非参数基础，所构建出的 Point-PN 仅需要少量可进修参数就可以表现出优秀的 3D 分类和分隔本能。2、其次，由于 Point-NN 不需要训练的属性，我们可以将其作为一个即插即用的增强模块，去增强现有已经训练好的 3D 模型。通过提供互补知识，Point-NN 可以在各种 3D 工作上提升原本的 SOTA 本能。一、引言1. 动机3D 点云的处理和分析是一项具有挑战性的工作，并且在学术界和工业界都取得了广泛的关注。自从 PointNet++ 起，后续的 3D 模型为了提升本能，一方面设计了更加复杂的部分空间算子，一方面增大了收集的可进修参数量。然而，除了不断更新的可进修模块，他们基本都沿用了同一套潜在的多尺度收集框架，包括最远点采样（FPS）、k 近邻（k-NN）和池化（Pooling）操作。目前，还几乎没有研究去探索这些非参数组件的潜力；因此，本文提出并探索了以下问题：这些非参数组件对于 3D 理解的贡献有多大？仅仅利用非参数组件，能否实现无需训练的 3D 点云分析？2. 贡献

为了解决以上问题，本文首次提出了一个非参数化（Non-Parametric）的 3D 收集，Point-NN，整体结构如上图所示。Point-NN 由一个用于 3D 特点提取的非参数编码器（Non-Parametric Encoder）和一个用于特定工作识别的点云记忆库（Point-Memory Bank）组成。非参数编码器采用了多阶段的结构设计，利用了最远点采样（FPS）、k 近邻（k-NN）、三角函数（Trigonometric Functions）和池化（Pooling）来逐步聚合部分几何图形，为点云生成一个高维度的全部特点。我们仅仅采用了简单的三角函数来捕捉部分空间几何信息，没有利用任何可进修算子。接下来，我们利用此编码器，去提取到所有训练集点云的特点，并缓存为点云记忆库。举行测试时，点云记忆库通过对测试点云和训练集点云的特点，举行相似度匹配，来输出特定工作的预测。不需要任何训练，Point-NN 可以在多种 3D 工作中实现优越的本能，例如 3D 分类、分隔、检测，甚至可以超过一些现有的经过完全训练的模型。基于此，我们进一步提出了两点 Point-NN 对于现今 3D 领域的贡献，以下图（a）和（b）所示：

1）以 Point-NN 为基础框架，我们通过在 Point-NN 的每个阶段插入简单的线性层，引入了其 parameter-efficient 的变体 Point-PN，如上图 (a) 所示。Point-PN 不包含复杂的部分算子，仅仅包含线性层以及从 Point-NN 继承的三角函数算子，实现了效率和本能的双赢。2）我们将 Point-NN 作为一个即插即用的模块，为各种 3D 工作中训练好的模型提供互补知识，并在推理过程中可以直接提升这些训练模型的本能，如上图 (b) 所示。二、方法    1.Point-NNPoint-NN 由一个 Non-Parametric Encoder (EncNP) 和一个 Point-Memory Bank (PoM) 组成。对于输入的点云，我们利用 EncNP 提取其全部特点，并通过 PoM 的特点相似度匹配，来输出分类结果，公式以下图所示：

接下来，我们依次介绍 Point-NN 中的这两个模块。（1）非参数编码器 (Non-Parametric Encoder)非参数编码器首先将输入点云举行 Raw-point Embedding，将 3 维的原始点坐标转化为高维度特点，再经过 4 个阶段的 Local Geometry Aggregation 逐步聚合部分特点得到最终的点云全部特点，以下图所示。

a. 原始点云映射 (Raw-point Embedding)我们参考了 Transformer 中的 positional encoding，对于输入点云的一个点，利用三角函数将它嵌入到一个维向量中：其中分别表示三个轴的位子编码。以为例，对于通道索引，具体的位子编码公式以下：

其中，α,β 分别控制了尺度和波长。通过这种三角函数的编码，我们可以将点云的绝对位子信息映射到高维度的特点空间中，并通过后续的点乘操作可以根据权重获取不同点之间的相对位子信息，并捕获三维形状的细粒度结构变化。b. 部分几何特点的聚合 (Local Geometry Aggregation)对于每一个点云尺度的处理，我们分为三个步骤。首先是特点扩维 (Feature Expansion)。我们利用 FPS 举行点云数量的下采样，对于下采样后得到的每一个中心点，我们采用 k-NN 去找到他的 k 个邻域点以及对应的特点。基于此，我们将中心点特点和在特点维度举行拼接，实现特点扩维，这样可以在更深的收集层中编码更多的语义信息：

其次是几何信息提取 (Geometry Extraction)。我们先利用均值和标准差对的坐标举行归一化，并利用三角函数举行相对位子的编码，来获取的相对几何权重，标记为。之后，我们通过下面的公式得到加权后的邻域特点。最后是部分特点聚和 (Feature Aggregation)。我们利用最大池化和平均池化来举行部分特点聚合。

在完成 4 个阶段的 Local Geometry Aggregation 后，我们再次运用最大池化和平均池化来得到点云的全部特点。（2）点云记忆库 (Point-Memory Bank)在经过非参数编码器 (Non-Parametric Encoder) 的特点提取后，由于 Point-NN 不含任何可进修参数，我们没有利用传统的可进修分类头，而是采用了无需训练的 point-memory bank。首先，我们利用非参数编码器去构造关于训练集的 bank，接着在推理过程通过相似度匹配输出预测，以下图所示。

a. 记忆构建 (Memory Construction)Point memory 包括一个 feature memory和一个 label memory。以点云分类工作为例，假设给定的训练集包含 K 个类别的 N 个点云。通过 Non-Parametric Encoder 可以得到 N 个训练集点云的全部特点，同时将对应的分类标签转换为 one-hot 编码，接着将它们沿着样本维度举行拼接，缓存为两个矩阵。

b. 基于相似度的预测 (Similarity-based Prediction)在推理阶段，我们利用构造好的 bank 举行两个矩阵乘法来完成分类。首先，我们通过 Non-Parametric Encoder 来计算测试点云的全部特点，并计算与 feature memory 之间的余弦相似度。

接下来，将 label memory 中的 one-hot 标签与举行加权，越相似的 feature memory 对最终的分类 logits 贡献越大，反之亦然。

通过这种基于相似性的计算，point-memory bank 可以在不经过任何训练的情况下，进修到从训练集中提取的知识，在推理过程自适应地完成不同工作。2.Point–NN 在其他 3D 工作的拓展以上主要是对 Point-NN 在分类工作中的应用的介绍，Point-NN 也可以被用于 3D 的部件分隔和 3D 目标检测工作。（1）部件分隔 (3D Part Segmentation)与分类工作对全部特点举行提取再举行分类不同的是，部件分隔需要对每个点举行分类。因此，论文采用了一个接在 non-parametric encoder 后的对称的 non-parametric decoder，举行点云特点的上采样，恢复至输入时的点数量。具体来说，在 decoder 的每个阶段，我们将部分中心点的特点通过相对位子加权，来扩散到周围的领域点。对于 point-memory bank，首先利用 encoder 和 decoder 得到训练集的每个点的特点，为了节省显存消耗，对于每一个物体，我们将每个部件的特点取平均值，再作为 feature memory 存入到 bank 中。（2）目标检测 (3D Object Detection)对于检测工作，我们将 Point-NN 作为一个 3D 检测器的分类头利用。当预训练好的检测器产生 3D proposal 后，Point-NN 与分类工作相似，利用 non-parametric encoder 来获取被检测物体的全部特点。在构建 point-memory bank 时，我们在训练集中对在每个 3D 框标签内的点云举行采样，将采样后的每个物体的全部特点举行编码得到 feature memory。特别的是，我们没有像其他工作一样对每个物体的点云坐标举行归一化，这是为了保留在原始空间中的 3D 位子信息，实现更好的检测本能。3. 从 Point–NN 延伸 (Starting from Point-NN)（1）作为结构框架构建 Point-PN (As Architectural Frameworks)我们讲 Point-NN 视为一个良好的非参数化框架，在其中插入简单的可进修线性层，来构建参数化的 3D 收集，Point-PN。Point-PN 相比于现有的 3D 收集，不含有复杂的部分算子，以极少的可进修参数量实现了优秀的 3D 本能。

我们构建 Point-PN 的步骤以下：首先，将 point-memory bank 替换为传统的可进修的分类头，如上图（A）所示；在 ModelNet40 的分类工作上，这一步将分类本能从 Point-NN 的 81.8% 提高到了 90.3%，且仅仅利用了 0.3M 的参数量。接着，我们将 raw-point embedding 替换为线性层（B），可以将分类本能进一步提高到 90.8%。为了更好地提取多尺度层次特点，我们接着将线性层插入到每一阶段的 non-parametric encoder 中。具体来说，在每个阶段，两个线性层分别被插入到 Geometry Extraction 的前后来捕捉高层空间信息，如图中（C、D、E）所示。这样，最终的 Point-PN 可以仅仅利用 0.8M 的参数量达到 93.8% 的本能，且只包括三角函数和简单的线性层。这说明，与现有的高级的操作算子或者大参数两相比，我们可以从非参数框架出发，来获取一个简单高效的 3D 模型。

（2）作为即插即用模块 (As Plug-and-play Modules)Point-NN 可以在不举行额外训练的情况下增强现有 3D 预训练模型的本能。以分类工作为例，我们直接将 Point-NN 与预训练模型预测的分类 logits 举行相加，来提供互补的 3D 知识提升本能。以下图对特点的可视化所示，Point-NN 主要提取的是点云的低层次高频特点，在尖锐的三维结构周围产生了较高的响应值，例如飞机的翼尖、椅子的腿和灯杆；而经过训练的 PointNet++ 更关注的是点云的高层次语义信息，通过对它们的 logits 相加可以得到互补的效果，例如，飞机的机身、椅子的主体和灯罩。

三、实验    1.Point-NN 和 Point-PN    （1）3D 物体分类 (Shape Classification)

对于 2 个代表性的 3D 物体分类数据集，ModelNet40 和 ScanObjectNN，Point-NN 都获得了良好的分类效果，甚至能够在 ScanObjectNN 上超过完全训练后的 3DmFV 模型。这充分说明了 Point-NN 在没有任何的参数或训练情况下的 3D 理解能力。Point-PN 在 2 个数据集上也都取得了有竞争力的结果。对于 ScanObjectNN，与 12.6M 的 PointMLP 相比，Point-PN 实现了参数量少 16 倍，推理速度快 6 倍，并且精度提升 1.9%。在 ModelNet40 数据集上，Point-PN 获得了与 CurveNet 相当的结果，但是少了 2.5X 的参数量，快了 6X 的推理速度。（2）少样本 3D 分类 (Few-shot Classification)

与现有的经过完全训练的 3D 模型相比，Point-NN 的 few shot 本能显著超过了第二好的方法。这是因为训练样本有限，具有可进修参数的传统收集会存在严重的过拟合问题。（2）3D 部件分隔 (Part Segmentation)

70.4% 的 mIoU 表明由 Point-NN 在分隔工作中也可以产生执行良好的单点级别的特点，并实现细粒度的 3D 空间理解。Poinnt-PN 能够取得 86.6% 的 mIoU。与 Curvenet 相比，Point-PN 可以节省 28 小时的训练时间，推理速度快 6X。（3）3D 目标检测 (3D Object Detection)

将 Point-NN 作为检测器的分类头，我们采用了两种流行的 3D 检测器 VoteNet 和 3DETR-m 来提取类别无关的 3D region proposals。由于我们没有举行点云坐标的归一化处理（w/o nor.），这样可以保留原始场景中更多物体三维位子的信息，大大提升了 Point-NN 的 AP 分数。    2.Point-NN 的即插即用 (Plug-and-play)    （1）3D 物体分类 (Shape Classification)

Point-NN 可以有效提高现有方法的分类本能，在 ScanObjectNN 数据集上，Point-NN 可以对 PointNet 和 PoitMLP 的分类准确率均提高 2%。（2）3D 分隔和检测 (Segmentation and Detection)

对于分隔工作，由于 ShapeNetPart 数据集上的测评指标已经比较饱和，Point-NN 对 CurveNet 提升的 0.1% 已经是很好的效果。对于检测工作，Point-NN 对 3DETR-m 的增强达到了很好的 1.02%和 11.05%。

四、讨论    1. 为什么 Point-NN 中的三角函数可以编码 3D 信息？    （1）捕获高频的 3D 结构信息通过下图中 Point-NN 特点的可视化，以及我们分解出的点云低频和高频信息，可以观察到 Point-NN 主要捕获了点云的高频空间特点，例如边缘、拐角以及其它细粒度的细节。

（2）编码点之间的相对位子信息三角函数本身可以提供点云的绝对位子信息。对于两个点和，首先获取它们的 C 维的位子编码，公式以下：

而它们之前的相对位子关系可以通过它们之间的点乘得到，公式以下：

以 x 轴为例，这个公式表示了 x 轴上两个点之间的相对位子。因此，三角函数可以得到点云之间的绝对和相对位子信息，这更有利于 Point-NN 对部分化点云的结构理解。2.Point–NN 可以即插即用的提升 Point–PN 的本能吗？

如上表所示，Point-NN 对 Point-PN 的提升极其有限，从上图可视化的结果来看，Point-NN 和 Point-PN 之间的互补性比 Point-NN 和 PointNet++ 之间的互补性更弱。这是因为 Point-PN 的基础结构是继承自 Point-NN，因此也会通过三角函数获取 3D 高频信息，和 Point-PN 拥有相似的特点捕获能力。3. 和其他无需训练的 3D 模型的比较

现有的 3D 模型中，有一类基于 CLIP 预训练模型的迁移进修方法，例如 PointCLIP 系列，它们也不需要举行 3D 领域中的训练过程。从上表的比较可以看出，Point-NN 可以实现很优越的无需训练的分类本能。4.Point–NN 与 PnP–3D 的增强效果比较

PnP-3D 提出了一种对于 3D 模型的即插即用的可进修增强模块，但是它会引入额外的可进修参数，并且需要重新训练而消耗更多的计算资源。如上表所示，相比之下，Point-NN 也能实现相似的增强本能，但是完全不需要额外参数或者训练。五、总结与展望    本文首次在 3D 领域中，提出了一个无参数无需训练的收集，Point-NN，并且在各个 3D 工作上都取得了良好的本能。我们希望这篇工作可以启发更多的研究，来关注非参数化相关的 3D 研究，而不是一味的增加复杂的 3D 算子或者堆叠大量的收集参数。在未来的工作中，我们将探索更加先进的非参数 3D 模型，并推广到更广泛的 3D 应用场景中。