一文详解丨连接数实世界的纽带-无标记动捕

无标记运动捕捉系统的发展源自对计算机视觉和机器学习领域中人类行为分析的逐渐深入研究。随着科学技术的飞速发展和人们对智能化系统需求的增加,人体运动捕捉技术作为一项重要的技术逐渐引起了人们的关注。这一技术的潜在应用非常广泛,覆盖了智能监控、行为识别、手势控制、虚拟现实、角色动画、运动分析等诸多领域。

在过去的二十年里,基于计算机视觉的人体运动捕捉系统经历了长足的发展。这些系统在摄像机配置、捕获数据的表示、算法类型、以及对特定身体区域和整体身体的应用方面都有所不同。摄像机配置方面,有的系统采用单个摄像头,而有的系统则采用多个摄像头组成的摄像机阵列,以捕获不同角度的图像数据。捕获数据的表示形式包括二维图像、三维点云、骨骼模型等。在算法类型方面,有的系统采用传统的计算机视觉方法,而有的系统则采用深度学习方法,甚至有的系统结合了两者的混合方法。

无标记运动捕捉方法的发展是为了解决当前领域面临的一系列挑战和需求。传统的运动捕捉系统通常需要在对象身上放置标记或使用固定物来追踪运动,这些方法虽然能够提供一定程度的准确性,但却存在一些局限性。

例如,在医学领域,这些标记可能会干扰患者的自然运动,限制了对病理运动的准确分析;在体育科学领域,这些标记可能会影响运动员的表现,造成数据的失真。因此,无标记运动捕捉技术的出现填补了这一空白,为准确地捕捉和分析人体运动提供了新的可能性。无标记运动捕捉技术可以帮助医生更准确地分析患者的运动模式,诊断和治疗各种运动相关的疾病。对于一些关节疾病或运动障碍,医生可以利用无标记运动捕捉技术来监测患者的运动,分析其运动模式的变化,制定个性化的康复计划。此外,无标记运动捕捉技术还可以用于评估手术效果,跟踪术后康复进程等。

在体育科学领域,无标记运动捕捉技术可以帮助教练和运动员更好地理解和改善运动技能。通过分析运动员的运动数据,识别出其中的不足之处,并制定相应的训练计划和改进措施。例如,对于一名篮球运动员,无标记运动捕捉技术可以帮助教练分析其投篮动作的细节,找出其中的问题并进行针对性的训练。

在虚拟现实和电影制作领域,无标记运动捕捉技术可以帮助制作更加逼真和自然的虚拟人物动画。通过捕捉演员的自然动作和表情,将其应用到虚拟人物身上,可以使得虚拟人物的行为更加生动和自然,提升用户的沉浸感和体验质量。

随着技术的不断发展,无标记运动捕捉系统逐渐向着更高精度、更广泛应用、更智能化的方向发展。传感器技术的进步使得系统能够更加准确地捕捉人体运动,例如采用更高分辨率的摄像头或更灵敏的传感器。同时,机器学习和深度学习等人工智能技术的应用为系统的智能化和自动化提供了可能,使得系统能够更好地理解和识别各种复杂的动作。此外,随着对虚拟现实和增强现实等技术的需求增加,无标记运动捕捉系统在这些领域中的应用也变得愈发重要,为用户提供了更加沉浸式和交互性的体验。

关于TheCaptury

Captury是马克斯·普朗克信息学研究所(MPI)子公司,从成立之初就一直专注于开发最强大、最易于使用的无标记动作捕捉技术。这使他们的客户能够在许多不同的垂直领域快速部署该技术。除了DARI在医疗保健市场的最大客户外(DARImotion是部署了该技术最成功的商业产品,已经获得美国FDA),许多国际客户还在各种应用中部署了该技术。主要市场可以分为医疗保健和娱乐,已经与客户开发了大量特定的用例,从虚拟现实体验到专业舞蹈表演的录制,再到生物识别步态分析和幼儿园儿童的功能性运动呈现。

马克斯·普朗克信息学研究所MPI:成立于1990年,是马克斯·普朗克学会第一个专门致力于计算机科学的研究所。它位于萨尔布吕肯,当时已经是德国最重要的大学计算机科学研究场所之一。目前,MPI有6 个部门和一个独立研究小组。用于分析和描述计算机科学的算法的开发与年轻科学家的教育同样是研究活动的中心。其研究范围从基础(算法和复杂性、编程逻辑)到各种应用领域(计算机图形学、几何计算、约束求解、程序验证、数据库和信息系统)。

capturylive实时无标记动捕

Capturylive提供实时无标记动作捕捉解决方案,其灵活性无与伦比,无需标记点、可穿戴设备或其它专用硬件即可轻松实现人体动作捕捉。

功能介绍:

全身追踪-使用 CapturyLive,启动跟踪过程既简单又灵活。您可以手动将“骨架”放在任何摄像机中可见的人的顶部,也可以让系统自动搜索并为您找到该人。该系统可适应房间亮度的变化,即使空间中有其他人或物体,也可以进行跟踪。

手指追踪-手指跟踪模块作为 CapturyLive 的附加组件提供。手指追踪与系统的全身追踪功能完全集成,可捕获所有手指段。

相机校准-使用 CapturyLive 简化的三步流程轻松校准您的系统。首先对相机进行对焦,然后进行镜头校准,以测量每个相机的镜头畸变参数和焦距。最后,进行空间校准,建立坐标系,测量每个相机的相对位置。虽然对焦和镜头校准是一次性事件,但每次移动相机时都应重复空间校准。整个过程只需5-10分钟,使用 CapturyLive 进行校准变得轻而易举。

受试者模型校准-为了获取和扩展一个新人,采用了两个阶段的过程。首先,在所有视频观看中,骨架都覆盖在人身上,并缩放以匹配他们的身体尺寸。这可以通过自动搜索功能完成,或者操作员可以将骨架拖放到跟踪区域中可见的任何人的顶部。在第二阶段,该人需要四处走动并进行各种动作,例如弯曲膝盖或手臂。这有助于更准确地确定骨骼长度和关节中心。整个过程只需几秒钟。

流式传输-Captury Live 通过其易于使用的插件支持广泛的流媒体协议。无论您选择使用我们现有的协议之一还是创建自己的协议,我们都能满足您的需求。我们目前支持的实时流格式列表包括:UE、Unity、Motion Builder 和 BoB。其他流协议包括 OSC、VRPN、ROS 和 OSVR。为了实现最终定制,我们的 API 使您能够构建自己的实时流式处理管道。

记录和导出-CapturyLive 提供了动作或视频录制的功能,并提供了一个用户友好的框架,用于根据您的工作流程和数据管理偏好组织录制。此外,它还提供各种导出选项,包括 FBX、BVH、C3D 或 CSV 格式,允许您导出所需的特定数据。这为您的动作捕捉要求提供了无与伦比的灵活性和适应性。

生物力学分析-CapturyLive 为运动分析和可视化提供了全面的图表工具选择。它能够测量 3D 运动学,包括所有主要骨骼和关节(包括手指)的旋转和位置。用户可以根据自己的需要灵活地添加、 删除或修改图表。支持 AMTI 或 Bertec 的测力台或 Noraxon 的 EMG。

capturylive优势:

CapturyLive是用于专业实时动作捕捉的一站式解决方案,能够追踪全身、手指和面部表情。

它是一种集软硬件一体化的解决方案,可以处理视频图像,实时追踪人体动作。该系统可扩展, 摄像头数量可以从4个增加到12个或更多,具体取决于您需要追踪的数量和表演空间的大小。

系统设置-用于实时动作捕捉的 Captury 支持千兆以太网摄像机,可支持各种帧速率和分辨率。这些摄像机通过以太网电缆连接到计算机通过以太网电缆和网络交换机连接到电脑上,使它们将同步视频图像图像传送到视觉处理器。接收后,对图像进行处理、并生成 3D 数据。

系统运行机制-capturylive 动作捕捉技术采用了轮廓提取模型匹配再加上两种先进的AI技术,通过将这些方法巧妙地融合在一起开发出了最先进的运动捕捉解决方案,业内无与伦比。并且 CapturyLive 支持多人实时动捕,具体效果由摄像机的数量决定。

易于使用-CapturyLive 可实现动捕数据直观、流式、报告化。CapturyLive 系统友好交互体验,可以单人操作,并且即插即用,无需特殊准备。我们的系统采用非侵入性和我们的技术可以捕捉 自然、真实的人体动作,确保更流畅、更真实的表演。

接口/集成-提升您的动作捕捉工作流程与领先的游戏引擎和动画平台的无缝集成。我们的系统还支持工业应用的附加流媒体协议。对于最终的定制,我们的 API 使您能够构建自己的实时流管道。

精准-使用 CapturyLive 经过验证的技术,体验无与伦比的准确性和一致性提供精确和可重复的动捕数据,捕捉运动中最细微的差别。我们的系统最大限度地减少了抖动,即使是最复杂的情 况也能准确地跟踪,例如两个演员距离很近,在地面上滚动,坐在椅子上,或者拿着物体。

测试灵活-设置不再局限于受限的环境,例如绿色屏幕或标准地板和墙面的演播室。该系统现在可以配置在复杂和混乱的环境,甚至在动态的背景下(如移动的车辆或人)。同样,表演者也不限于穿特殊的紧身衣日常服装,如牛仔裤和 T 恤就足够了。

Captury 独特算法介绍:

大多数跟踪方法采用背景减影,需要稳定的背景和光分布作为最优条件。为了使基本条件更方便使用,Captury 开发了一种新的跟踪方法。代替背景减影法,captury 利用高斯函数集 来估算物体并且追踪它的运动。高斯函数常用于图像处理、建模和计算机图形学(Wildenburg,2018)。Capturylive 使用高斯函数集来显示二维摄像机视图和三维空间人体模型。在二维中,高斯函数集变成圆形,而三维的和变成球形。这种方法导致了如图所示的身体模型。

Captury Face 人脸追踪解决方案

我们的面部追踪解决方案可作为全身追踪解决方案 CapturyLive 或 CapturyStudio 的附加组件提供,也可作为独立版本提供。

兼容 ARKit-使用 CapturyFace,您可以自由地使用任何兼容 ARKit 的角色来满足您的面部表演捕捉需求。利用 Apple 的 52 种混合形状的强大功能,我们提供高度准确的激活效果,使你能够轻松捕捉细微的面部表情。

网络摄像头性能捕获-只需一个高清网络摄像头,您就可以无缝捕捉高保真面部表情,而无需专门的设备或复杂的设置。无论您是动画师、游戏开发人员还是内容创作者,我们的解决方案都能让您轻松让角色的面孔栩栩如生,并专注于创建引人入胜的内容。

支持头戴式相机-除了支持使用任何质量的网络摄像头进行跟踪外,我们还支持跟踪头戴式摄像机的镜头。无论您喜欢网络摄像头还是头戴式摄像头,我们的解决方案都能确保准确的跟踪和精确的动作捕捉,从而实现逼真和身临其境的面部动画。

实时流媒体-我们的面部表演捕捉解决方案可无缝集成到您现有的工作流程中,使您能够将捕捉的内容直接流式传输到领先的游戏引擎和动画软件中。这种简化的流程不仅可以节省您的时间和精力,还可以确保您在熟悉的环境中立即可视化和完善您的面部表演,从而加速您的创意迭代并增强您的整体制作工作流程。

Capturyingame 无标记赛场追踪系统

Capturyingame 属于定制的高端解决方案,适用于更大的空间和 5+ 人的跟踪。

CapturyInGame 是一种定制的动作捕捉解决方案,旨在在实际比赛中实时跟踪运动员,无论他们是在球场上还是在场上。

CapturyStudio 后处理软件

Captury 的产品组合包括后处理解决方案,可实现与实时动作捕捉系统相同的精度和性能。与我们所有的系统类似,我们的后处理解决方案不需要标记点或可穿戴设备。

专业后期处理动作捕捉解决方案,能够跟踪全身、手指和面部表情。CapturyStudio 是一种软件解决方案,它使用计算机视觉和动作捕捉技术来分析视频图像并提取人体运动数据。它可以与直接连接到计算机的相机一起使用,也可以上传录制好的视频到软件中使用。

全身动捕-使用 CapturyStudio 启动跟踪过程很简单。只需将一个“骨架”放在任何摄像机中可见的人身上,然后在简短的演员缩放后开始跟踪过程。对其他执行者重复此过程。您可以在视频序列中的任何时间点开始跟踪,并向前或向后跟踪。CapturyStudio 可以跟踪捕获画面中的任意数量的人员。

手指追踪-手指跟踪模块作为 CapturyStudio 的附加组件提供。手指追踪与系统的全身追踪功能完全集成,可捕获所有手指段。

相机校准-CapturyStudio 包含用于对录制过程中使用的摄像机执行时间和空间校准的工具。这包括同步相机、内在和外在校准。在典型的项目工作流程中,首先记录内部和外部校准序列,然后记录参与者校准和跟踪序列。同步工具用于对未使用硬件同步摄像机录制的多个视频执行时间同步。

受试者模型校准-为了获取和扩展一个人,采用了两个阶段的过程。首先,在任何视频视图中,骨架都会映射到人身上。这是通过操作员将骨架拖放到跟踪区域中可见的任何人的顶部来完成的。在第二阶段,自动缩放人,这有助于更准确地确定骨骼长度和关节中心。整个过程只需几秒钟。

流式传输/导出-CapturyStudy 支持多种流协议,并为 Unreal、Unity 和 MotionBuilder 提供易于使用的插件。其他支持的流格式包括 BoB、OSC、VRPN、ROS、OSVR 和 VIZRT。CapturyStudio 还 提供 FBX、BVH、C3D 和 CSV 格式的导出选项,允许您导出所需的数据。

生物力学分析-CapturyStudio 为运动分析和可视化提供了全面的图表工具选择。它能够测量 3D 运动学, 包括所有主要骨骼和关节(包括手指)的旋转和位置。用户可以根据自己的需要灵活地添加、 删除或修改图表。支持 AMTI 或 Bertec 的测力台或 Noraxon 的 EMG。

CapturyDome 无标记三维体形跟踪系统

CapturyDome 是一款 3D 体积扫描仪,可根据相机数据重建真实世界的运动模型。它生成捕获对象的逼真体积图像,高度逼真的数字克隆。

相机控制-控制 100+高分辨率摄像机。CapturyDome 灵活的分布式架构允许捕获来自多家制造商的数十台高分辨率高速相机,包括但不限于 XIMEA、FLIR、Matrix Vision 和 RED。

校准-使用多个相机校准系统的工作方式与使用较小系统的工作方式相同。交互式工作流程可指导用户完成校准过程。通常,镜头和体积校准是分开进行的。对于半球系统,镜头参数在体积校准期间会进行细化,以为您提供尽可能高的校准质量。

导出-视频和校准文件可以从分布式存储系统导出,并以各种格式保存在完全可配置的文件夹结构中,incl. JPEG 或 PNG 序列、视频文件、Agisoft 校准文件等。提供足够的灵活性来与规则相匹配。

Captury的应用领域

生命科学-Captury 与传统的基于标记的系统相比,它以更有效的方式跟踪和量化数据,并与第三方运动分析软件和设备实时无缝连接。转变到无标记运动分析系统可以减少医生和研究人员收集数据所需的时间。Captury 提供了一个全面的动作捕捉系统,可提供客观精准的运动学数据, 从而为人体运动研究者提供帮助。

3D 游戏开发-Captury 技术简化了游戏开发中的动作捕捉流程,无需特殊穿戴设备、标记或校准。演员可以直接进入系统,他们的动作将被实时跟踪并流式传输到游戏引擎,从而使 3D 角色动画更快速、更具成本效益。

虚拟现实-在虚拟现实领域,无标记动作捕捉技术用于捕捉一个人的动作并将其转换为虚拟环境中化身或数字角色的动作。这可以提供更沉浸式和交互式的体验,因为用户的动作可以直接转化到虚拟世界中。

虚拟直播/基于位置的娱乐游戏-CapturyLive 采用无标记人体追踪技术,无需标记或干扰性设备,即可打造完全沉浸式和交互式的体验。这可以让参观者与 3D 虚拟环境互动,并与人和物进行交互,从而创造令人兴奋和独特的娱乐或教育体验。

运动员实时动捕-Captury 提供了实时或后期捕捉运动员的能力,无论他们是在场上还是在球场上,都无需任 何准备。它不仅提供球员及其动作的 3D 可视化,还提供客观精确的人体运动学数据。运动员和教练可以利用不受限制的运动数据来提高表现、监控训练进度,还可以有效地预防运动损伤。

视觉特效 / 电影动画 / 广告制作-Captury 技术简化了视觉特效领域的动作捕捉流程,减少了演员准备时间和数据清理工作,同时使动画师可以直接操作。我们的解决方案可以用于电影制作的所有阶段,从原型制作到后期制作,让整个过程更加高效和经济实惠。