120倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)

作者:泡椒味的口香糖 | 来源:计算机视觉工坊

在公众号「计算机视觉工坊」后台,回复「原论文」可获取论文pdf和代码链接

全景分割和实例分割任务的标注是非常庞大的工作量,很多生成模型和NeRF都在尝试直接合成全景分割训练集,但是都存在目标交叉区域的类别模糊问题。

今天笔者将为大家分享PanopticNeRF-360这项工作,是PanopticNeRF的扩展,可以使用3D粗标注快速生成新视点的大量高质量RGB和全景分割。号称将标注时间从1.5h降低到了0.75min(120倍)。

当然笔者水平有限,如果有理解不当的地方欢迎大家一起讨论~

PanopticNeRF-360用于生成全景分割,因此输入图像也需要鱼眼相机。整个框架的是输入是前视双目相机和侧视的两个鱼眼相机,还有3D粗标注(3D空间的立方体、椭球多面体都可以),来生成连续的RGB、全景分割、实例分割。这里也推荐工坊推出的新课程国内首个面向自动驾驶目标检测领域的Transformer原理与实战课程

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

代码已经开源了,感兴趣的读者可以关注一下,下面来看具体的论文信息。

训练自动驾驶汽车的感知系统需要大量的注释。然而,在2D图像中手工标记是高度劳动密集型的。虽然现有数据集为预先录制的序列提供了丰富的注释,但它们在标注很少遇到的视点方面存在不足,这潜在地阻碍了感知模型的泛化能力。在本文中,我们提出了PanopticNeRF-360,这是一种新的方法,它将粗糙的3D注释与嘈杂的2D语义线索相结合,以从任何视点生成一致的全景标签和高质量图像。我们的关键见解在于利用3D和2D先验的互补性来相互增强几何和语义。具体来说,我们建议利用3D和2D空间中的噪声语义和实例标签来指导几何优化。同时,改进的几何形状通过经由学习的语义场在3D空间中合并3D和2D注释来帮助过滤3D和注释中存在的噪声。为了进一步增强外观,我们结合MLP和哈希网格来产生混合场景特征,在高频外观和主要的连续语义之间取得平衡。我们的实验展示了PanopticNeRF-360在KITTI-360数据集的具有挑战性的城市场景上优于现有标签转移方法的一流性能。此外,PanopticNeRF-360支持高保真、多视图和时空一致的外观、语义和实例标签的全方位渲染。

PanopticNeRF和PanopticNeRF-360这两篇文章希望干件啥事?

全景分割和实例分割的数据标注太贵了,希望用深度学习实现自动或者半自动化标注。

主要思想是啥?

主体框架还是用NeRF,因为它的新视点合成能力太强了!可以建立3D语义场和实例场来渲染大量的全景分割和实例分割标注。不过这篇文章侧重的不是改进NeRF结构,而是利用NeRF的渲染结果去做联合优化。

PanopticNeRF-360的具体原理是啥?

整个框架的输入是前视双目相机、两个侧视鱼眼相机、3D粗标注(立方体、椭球、多面体都可以),对空间中的每个点x,先分别使用一个MLP f和哈希网格h建模几何、语义和外观信息,直接合并两个特征(f1和f2)。之后就是两个语义场,一个由3D粗标注建模的固定语义场和一个可学习的语义场,两个语义场分别去渲染得到2D语义标签,还有一个固定的3D实例场区渲染2D全景分割。用固定场渲染得到的实例分割和全景分割做为伪真值去引导几何优化(优化的还是语义场中的体密度),再做一个几何-语义的联合优化去解决类别模糊问题(3D场景中两个目标重叠区域该定义为什么类别)

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

这篇文章主要是有两个创新点,一方面它是第一个基于3D粗标签来生成高质量全景分割的模型,另一方面它提出了两种优化策略来同时优化几何和语义预测。

这个优化策略具体是怎么搞的?

室外采集的图像有大量的曝光,并且不同目标在3D空间中有很多重叠区域,因此直接做普通的几何-语义联合优化的话,改进效果不明显。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

因此,作者提出了两种优化策略,分别是标签引导的几何优化和几何语义联合优化,实际上是引入了两个固定的语义和实例场。

标签引导的优化就是用固定场(还是来源于最初的3D粗标注)渲染得到的语义分割和全景分割做为真值去优化可学习语义场,更侧重渲染2D分割图中精确的物体边界。而联合优化也就是同时估计目标的3D类别和对应的2D分布,更侧重在不同物体的3D框有交集时解决类别模糊问题。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

这里面还有个线回归,是用可学习语义场渲染的全景分割去优化固定场的渲染结果,实际运行中只用到了建筑物类别。这里也推荐工坊推出的新课程国内首个面向自动驾驶目标检测领域的Transformer原理与实战课程

到这里,渲染分割图够了,那如何渲染RGB图呢?

渲染RGB图最关键的是高频信息!语义标签在相同目标上是连续的,目标对应的外观却包含了大量高频细节,所以直接渲染RGB的话必然会损失高频信息。这也就是pipeline中最前面哈希网格的作用,这一点和NICE-SLAM很像。

有个问题,前面哈希网格和MLP直接合并是不是太简单了?

这里作者测试了直接合并,还有做element-wise "product"的方案(参考文章Factor fields: A unified framework for neural fields and beyond),发现直接合并的策略简单但有效。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

如果把固定的实例场也改为可学习的,会不会提高性能?

作者计算了整个视频序列上3D目标交叉的数量和体积,发现大部分都是语义目标有交集,但是实例和实例之间的交集很少,所以没必要再单独建立一个实例场。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

最后再简单说一下这个联合优化

前面说了,这部分主要用来预测重叠区域的语义类别,这也是提出可学习场的主要原因,不然使用固定场就可以预测几何信息。这部分主要是两个交叉熵损失,对每个类别k都引入了一个权重w,同时对每个3D点都引入语义损失:

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

可以看一下引入联合优化的具体效果:

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

PanopticNeRF-360和PanopticNeRF的区别是什么?

PanopticNeRF是3DV 2022的文章,PanopticNeRF-360是它的扩展,主要区别如下:

1、普通全景分割生成->360°全景分割;

2、将实例标签合并到了标签引导的几何优化中,从而实现全景标签引导的几何优化;

3、提高生成质量,mIoU提升0.8,PQ提升2.3;

4、将场景特征从纯MLP改进为MLP和哈希网格的混合,提高训练速度(2.5倍加速)。

实验是在KITTI-360上搞的,对比方案包括其他3D-2D和2D-2D的标签迁移数据集,训练用了一块3090。

3D-2D语义标签迁移的定量对比,PanopticNeRF-360的mIoU和Acc最高,相对于CRF方案两个指标分别提升了2.4%和11.9%。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

3D-2D语义标签迁移的定性对比,在低纹理、曝光、重叠区域的预测效果很好。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

鱼眼3D-2D语义标签迁移,同样在曝光区域效果比较好。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

3D-2D全景标签迁移的定量结果,同样超过了CRF方案。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

3D-2D全局分割标签迁移的定性对比。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

算是消融实验,对比不同方案做为场景表征的性能。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

消融实验,对比整个pipeline中各个模块的影响。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

消融实验的定性对比,主要是证明各个损失对分割目标物体边界的影响。

20倍加速!PanopticNeRF-360:快速生成大量新视点全景分割图像(全景分割pq)"

文章中做了大量的对比实验,受于篇幅限制只展示这些,感兴趣的读者可以阅读一下论文原文。

PanopticNeRF-360是PanopticNeRF的扩展版本,借助3D粗标注快速生成大量的新视点全景分割和RGB图,并引入几何-语义联合优化来解决交叉区域的类别模糊问题,对于数据标注领域有一定价值。但感觉这个方案还是需要3D粗标注,而一步本身就需要很大的工作量,不值得后续能否不使用粗标注就生成2D分割呢。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年5月16日 上午10:23
下一篇 2024年5月16日 上午10:35

相关推荐

  • 工程项目管理软件——让天下没有难管的项目(工程项目管理软件)

    助飞工程项目管理软件汇总了国内同行软件的精华功能,以企业工程成本管理和控制为核心,全面核算成本。对工程的预算管理、计划进度、档案管理、合同管理(购销、承包及分包、周材和设备租入)、…

    科研百科 2022年10月5日
    227
  • 学校管理系统项目有哪些

    学校管理系统项目有哪些 学校管理系统是一种用于管理学校内部事务的软件系统。这些系统通常包括学生管理,教师管理,财务管理,教学管理等功能。学校管理系统可以提高学校的工作效率,提高教学…

    科研百科 2024年12月30日
    0
  • 科研项目概算模板

    科研项目概算模板 科研项目的概算模板是一个重要的工具,可以帮助研究人员估算项目的成本,以便在预算范围内进行项目规划。一个好的概算模板应该清晰明了,能够帮助研究人员更好地理解项目的成…

    科研百科 2025年2月17日
    1
  • ide 开发工具

    IDE(Integrated Development Environment)是一种集成开发环境,为开发人员提供了一个统一的平台,用于编写、调试和测试软件应用程序。IDE是现代软件…

    科研百科 2023年7月21日
    191
  • 品质项目管理

    品质项目管理 品质管理是确保产品符合质量标准和客户需求的重要过程。在现代制造业中,品质管理已经成为一种必要的管理方法,以确保产品和服务的质量。品质项目管理是品质管理的重要组成部分,…

    科研百科 2024年9月23日
    28
  • 科研项目的项目管理单位法人主体责任、项目负责人区别

    科研项目的项目管理单位法人主体责任、项目负责人区别 科研项目的项目管理单位是科研项目的法人主体,负责项目管理、组织和监督工作。项目负责人是项目管理单位聘请的专业人员,负责项目的具体…

    科研百科 2024年10月29日
    2
  • 驻区单位和社区入户做好党建工作的意见

    驻区单位和社区入户做好党建工作的意见 为进一步加强驻区单位和社区党建工作,提高党建工作的实效性,根据《中国共产党章程》、《中国共产党组织法》等相关法律法规,提出以下意见: 一、加强…

    科研百科 2024年10月20日
    0
  • 看《DOOM启世录》谈游戏项目管理(doom启示录)

    文/瞿炎长 作者简介:老瞿,游戏制作人,冷笑话制造王,修炼特别快,人称瞿快练。 如果仅选一本,这就是我唯一给游戏设计师推荐的书。 现在流行直播带货。 而我喜欢给年轻的策划推荐各类书…

    科研百科 2022年7月25日
    264
  • 如何查询国自然结题

    如何查询国自然结题? 随着科技的不断发展,科研项目的资助和评审方式也在不断地更新和变化。其中,国自然基金委是一个非常重要的机构,负责资助各种类型的自然科学基金项目。而对于想要查询某…

    科研百科 2024年10月13日
    14
  • 科研项目任务分工表

    科研项目任务分工表 本文介绍了科研项目任务分工表的重要性和使用方法。在科研项目中,任务分工表可以帮助团队成员明确各自负责的任务,提高协作效率,保证项目进度和质量。本文将详细介绍科研…

    科研百科 2024年10月9日
    12