近日, ICCV 2023第一届OmniObject 3D挑战赛和第五届大规模视频物体分割挑战赛均落下帷幕,由我院广西电力装备智能控制与运维重点实验室高放教授带领的GXU-LIPE团队荣获OmniObject3D挑战赛3D物体生成赛道第二名以及大规模视频物体分割挑战赛视频实例分割赛道第三名。
参与OmniObject3D挑战赛3D物体生成赛道的GXU-LIPE团队由高放(教授)、双丰(院长)、於俊(中科大副教授)、郑含博(副教授)、李少东(讲师)、刘勇(硕士研究生)、金岩(博士研究生)、麻胜恒(校外合作伙伴)组成。团队针对3D 生成模型存在缺乏几何和纹理细节等问题,为了提高算法的生成性能,从模型架构调整和训练优化策略两方面出发。在模型架构调整层面,团队设计了更深的映射网络,使模型能够生成一个不跟随训练数据分布的隐变量,从而减少特征纠缠,做到特征解耦;在训练优化策略层面,团队提出了一种分阶段的超参数调整策略,能够在提升模型性能的同时缩短训练时间。此次比赛的参赛队伍包括新加坡南洋理工大学、北京邮电大学等团队。
一、OmniObject3D挑战赛
OmniObject3D挑战赛由上海人工智能实验室发起,由 ICCV 2023 AI for 3D Content Creation Workshop承办。在有限的观测或随机条件下,真实的三维物体重建及生成是一项巨大的挑战,这类工作在各种视觉和机器人任务中有着广泛的应用。为了推动这一领域的研究,上海人工智能实验室推出了 OmniObject3D 大型数据集,这是一个高质量、真实扫描的三维物体数据集,并包含海量的物体种类,GXU-LIPE团队所参与的3D物体生成赛道着重选拔应用于 OmniObject3D 数据集上的真实 3D 物体生成算法。
参与大规模视频物体分割挑战赛视频实例分割赛道的GXU-LIPE团队由高放(教授)、於俊(中科大副教授)、双丰(院长)、金岩(博士研究生)、吴文杰(硕士研究生)、石磊(硕士研究生)、麻胜恒(校外合作伙伴)组成。团队针对跟踪过程出现的突兀信息和帧率过低的问题,设计了突兀信息过滤和形变补偿,利用相邻帧中的实例表示之间的相似性提升跟踪器的区分能力,提高跟踪方法的鲁棒性。另一方面,形变补偿可以更好地适应低帧率视频中的物体运动导致的剧烈变化,从而更准确地捕捉物体在不同帧之间的关联关系,达到提升了跟踪的稳定性和准确性的目的。此次比赛的参赛队伍包括武汉大学、北京航空航天大学、浙江大学、英国斯旺西大学、快手科技等团队。
二、大规模视频物体分割挑战赛
大规模视频物体分割挑战赛基于YouTube-VOS基准,是由苹果公司、丰田研究所、字节跳动、英伟达Meta现实实验室联合举办的视频分割挑战赛,其第一届赛事在欧洲计算机视觉国际会议ECCV 2018中举办。
视频实例分割将图像实例分割任务从图像域扩展到视频域。新问题旨在同时检测、分割和跟踪视频中的对象实例。给定一个测试视频,该任务不仅需要标记预定义类别集的所有实例的掩码,还需要关联跨帧的实例标识。该任务的目标是最大限度地减少基本事实和假设之间的差异,一种好的视频实例分割方法应该能够对所有实例具有良好的检测率,可靠地跟踪所有实例,并准确地定位实例边界。
这些挑战赛的获奖体现了我院科研团队紧跟国际学科前沿,不断取得国际先进成果,助力我校“双一流”建设。