在3D动画中,骨骼的应用非常复杂,但一个名为“用于视频渲染的铰接广告牌”的项目改变了这个问题。《北京空间地图》的这个小系列向您全面介绍了用于视频渲染的铰接式广告牌。
他们提出了基于多输入视频流的无人物角色视图视频的新表示和渲染方法。其基本思想是使用细分为骨架结构的纹理广告牌来近似人体关节的3D形状。广告牌会聚集粉丝,这样每个骨架都会为每个源摄像头包含一个广告牌。他们称之为清晰的广告牌。
在本文中,他们描述了半自动、数据驱动的算法来构造和渲染这种表示,它可以稳健地处理甚至具有挑战性的采集场景,包括稀疏的摄像机定位、不准确的摄像机校准、低视频分辨率或场景遮挡。
首先,对于每个输入视图,使用基于图像轮廓、运动捕获数据和时间视频相关性的二维姿势估计,为每个身体部位创建分割模板。然后,根据2D姿势和分割,通过3D关节优化和摄像头校准误差补偿。
构建实际的铰接式广告牌模型。渲染方法包括新的方法,混合每个广告牌的纹理贡献,并具有自适应接缝校正,以消除相邻广告牌纹理之间的可见不连续性。它们的铰接式广告牌不仅可以最小化传统广告牌渲染中已知的重影伪影,还可以减少对更复杂的三维表示和多视图重建技术的错误设置和灵敏度的限制。