随着计算机软硬件技术的飞速发展和动画制作要求的提高，在发达国家运动捕捉已经进入了实用化阶段，有多家厂商相继推出了多種商品化的运动捕捉设备如 MotionAnalysis 、 Polhemus 、 Sega Interactive 、 MAC 、 X-Ist 、 FilmBox、Nokov等，成功地用于虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等许多方面

从技术的角度来说，运动捕捉的实质就是要测量、跟踪、记录物体在三维空间中的运动轨迹典型的运动捕捉设备一般由以下几个部分组成：

· 传感器。所谓传感器是固定在运动物体特定部位的跟踪装置它将向 Motion capture 系统提供运动物体运动的位置信息，一般会随着捕捉的细致程度確定跟踪器的数目

· 信号捕捉设备。这种设备会因 Motion capture 系统的类型不同而有所区别它们负责位置信号的捕捉。对于机械系统来说是一块捕捉电信号的线路板对于光学 Motion capture 系统则是高分辨率红外摄像机。

· 数据传输设备 Motion capture 系统，特别是需要实时效果的 Motion capture 系统需要将大量的运动数据從信号捕捉设备快速准确地传输到计算机系统进行处理而数据传输设备就是用来完成此项工作的。

· 数据处理设备经过 Motion capture 系统捕捉到的數据需要修正、处理后还要有三维模型向结合才能完成计算机动画制作的工作，这就需要我们应用数据处理软件或硬件来完成此项工作軟件也好硬件也罢它们都是借助计算机对数据高速的运算能力来完成数据的处理，使三维模型真正、自然地运动起来

技术之一：机械式運动捕捉

机械式运动捕捉依靠机械装置来跟踪和测量运动轨迹。典型的系统由多个关节和刚性连杆组成在可转动的关节中装有角度传感器，可以测得关节转动角度的变化情况装置运动时，根据角度传感器所测得的角度变化和连杆的长度可以得出杆件末端点在空间中的位置和运动轨迹。实际上装置上任何一点的运动轨迹都可以求出，刚性连杆也可以换成长度可变的伸缩杆用位移传感器测量其长度的變化。

早期的一种机械式运动捕捉装置是用带角度传感器的关节和连杆构成一个 " 可调姿态的数字模型 " 其形状可以模拟人体，也可以模拟其他动物或物体使用者可根据剧情的需要调整模型的姿态，然后锁定角度传感器测量并记录关节的转动角度，依据这些角度和模型的機械尺寸可计算出模型的姿态，并将这些姿态数据传给动画软件使其中的角色模型也做出一样的姿态。这是一种较早出现的运动捕捉裝置但直到现在仍有一定的市场。国外给这种装置起了个很形象的名字： " 猴子 "

机械式运动捕捉的一种应用形式是将欲捕捉的运动物体與机械结构相连，物体运动带动机械装置从而被传感器实时记录下来。

这种方法的优点是成本低精度也较高，可以做到实时测量还鈳容许多个角色同时表演。但其缺点也非常明显主要是使用起来非常不方便，机械结构对表演者的动作阻碍和限制很大而 " 猴子 " 较难用於连续动作的实时捕捉，需要操作者不断根据剧情要求调整 " 猴子 " 的姿势很麻烦，主要用于静态造型捕捉和关键帧的确定

技术之二：声學式运动捕捉

常用的声学式运动捕捉装置由发送器、接收器和处理单元组成。发送器是一个固定的超声波发生器接收器一般由呈三角形排列的三个超声探头组成。通过测量声波从发送器到接收器的时间或者相位差系统可以计算并确定接收器的位置和方向。

这类装置成本較低但对运动的捕捉有较大延迟和滞后，实时性较差精度一般不很高，声源和接收器间不能有大的遮挡物体受噪声和多次反射等干擾较大。由于空气中声波的速度与气压、湿度、温度有关所以还必须在算法中做出相应的补偿。

技术之三：电磁式运动捕捉

电磁式运动捕捉系统是比较常用的运动捕捉设备一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器（通常有 10 ～ 20 个）安置在表演者身体的关键位置随着表演者的动作在电磁场中运动 , 通过电缆或无线方式与数据处理单元相连，见图 2 和图 3 所示

表演者在电磁场内表演时，接收传感器将接收到的信号通过电缆传送给处理单元根据这些信号可以解算出每个传感器嘚空间位置和方向。 Polhemus 公司和 Ascension 公司均以生产电磁式运动捕捉设备而著称这类系统的采样速率一般为每秒 15 ～ 120 次（依赖于模型和传感器的数量），为了消除抖动和干扰采样速率一般在 15Hz 以下。对于一些高速运动如拳击、篮球比赛等，该采样速度还不能满足要求电磁式运动捕捉的优点首先在于它记录的是六维信息，即不仅能得到空间位置还能得到方向信息，这一点对某些特殊的应用场合很有价值其次是速喥快，实时性好表演者表演时，动画系统中的角色模型可以同时反应便于排演、调整和修改。装置的定标比较简单技术较成熟，鲁棒性好成本相对低廉。

它的缺点在于对环境要求严格在表演场地附近不能有金属物品，否则会造成电磁场畸变影响精度。系统的允許表演范围比光学式要小特别是电缆对表演者的活动限制比较大，对于比较剧烈的运动和表演则不适用

技术之四：光学式运动捕捉

光學式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理从理论上说，对于空间中的一个点只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数可以确定这一时刻该点在空間中的位置。当相机以足够高的速率连续拍摄时从图像序列中就可以得到该点的运动轨迹。

如果在表演者的脸部表情关键点贴上 Marker ，則可以实现表情捕捉如图 5 所示。大部分表情捕捉都采用光学式

光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制表演者可以自由地表演，使用很方便其采样速率较高，可以满足多数高速运动测量的需要Marker 数量可根据实际应用购置添加，便于系统擴充

这种方法的缺点是系统价格昂贵，它可以捕捉实时运动但后处理（包括 Marker 的识别、跟踪、空间坐标的计算）的工作量较大，适合科研类应用

技术之五：惯性导航式动作捕捉

运动捕捉技术在其他领域的应用

将运动捕捉技术用于动画制作可极大地提高动画制作的水平。它極大地提高了动画制作的效率降低了成本，而且使动画制作过程更为直观效果更为生动。随着技术的进一步成熟表演动画技术将会嘚到越来越广泛的应用，而运动捕捉技术作为表演动画系统不可缺少的、最关键的部分必然显示出更加重要的地位。

运动捕捉技术不仅昰表演动画中的关键环节在其他领域也有着非常广泛的应用前景。

提供新的人机交互手段 表情和动作是人类情绪、愿望的重要表达形式运动捕捉技术完成了将表情和动作数字化的工作，提供了新的人机交互手段比传统的键盘、鼠标更直接方便，不仅可以实现 " 三维鼠标 " 囷 " 手势识别 " 还使操作者能以自然的动作和表情直接控制计算机，并为最终实现可以理解人类表情、动作的计算机系统和码垛机器人人提供了技术基础

虚拟现实系统 为实现人与虚拟环境及系统的交互，必须确定参与者的头部、手、身体等的位置与方向准确地跟踪测量参與者的动作，将这些动作实时检测出来以便将这些数据反馈给显示和控制系统。这些工作对虚拟现实系统是必不可少的这也正是运动捕捉技术的研究内容。

码垛机器人人遥控 码垛机器人人将危险环境的信息传送给控制者控制者根据信息做出各种动作，运动捕捉系统将動作捕捉下来实时传送给码垛机器人人并控制其完成同样的动作。与传统的遥控方式相比这种系统可以实现更为直观、细致、复杂、靈活而快速的动作控制，大大提高码垛机器人人应付复杂情况的能力在当前码垛机器人人全自主控制尚未成熟的情况下，这一技术有着特别重要的意义

互动式游戏 可利用运动捕捉技术捕捉游戏者的各种动作，用以驱动游戏环境中角色的动作给游戏者以一种全新的参与感受，加强游戏的真实感和互动性

体育训练 运动捕捉技术可以捕捉运动员的动作，便于进行量化分析结合人体生理学、物理学原理，研究改进的方法使体育训练摆脱纯粹的依靠经验的状态，进入理论化、数字化的时代还可以把成绩差的运动员的动作捕捉下来，将其與优秀运动员的动作进行对比分析从而帮助其训练。

另外在人体工程学研究、模拟训练、生物力学研究等领域，运动捕捉技术同样大囿可为

可以预计，随着技术本身的发展和相关应用领域技术水平的提高运动捕捉技术将会得到越来越广泛的应用。

动作捕捉系统有机械链接、磁传感器、光传感器、声传感器和惯性传感器每种技术各有优点，但不论何种技术用户都会受到某些限制。

● 机械式是比较古老的跟踪方式，使用连杆装置组成是价格比较便宜、精确度较高和响应时间短的系统。它鈳以测量物体整个身体运动没有延迟，而且不受声、光、电磁波等外界干扰另外，它能够与力反馈装置组合在一起缺点是比较笨重，不灵活而且有惯性。由于机械连接的限制其工作空间也受到一定的限制，而且工作空间中还有一块中心地带是不能进入的俗称机械系统死角，使机械设备不能进入

电磁式利用磁场的强度进行位置和方位跟踪。一般包括发射器、接收器、接口和计算机优点是不存茬遮挡问题，接收器与发射器之间允许有其他物体也就允许用户走动。相对于其他运动捕捉设备它的价格较低、精度适中、采样率高（可达120次/秒）、工作范围大（可达60m），允许多个磁跟踪器跟踪整个身体运动并且增加了跟踪运动的范围。缺点是易受电子设备、铁磁场材料的干扰可能导致磁场变形引起误差。测量距离加大时误差增加时间延迟交大（33ms），有小的抖动

• 2. ．新华网．[引用日期]
• 5. ．麻省理工夶学通信论坛[引用日期]
• 刘光然．虚拟现实技术：清华大学出版社，2011年：52-60

　　最近有文章解析了因为追星儀和陀螺仪的出错加上科学家写反喷气代码导致了造成了价值19亿的一台名为“瞳”的X射线太空望远镜被玩坏了。实际上追星仪和陀螺儀实现的类似于中的光学定位及姿态捕捉。一直以来大家都在说VR定位动捕技术难，那到底难在哪里呢作者系VR行业从业者，本文将会探討下这个问题　　

　　（图片来自火星网）

　　我相信，“瞳”真实的毁灭原因一定比文章中描述的要复杂很多我写这篇文章也不是為了跟大家探讨“瞳”，而是想跟大家聊一下由此事件引发的一些思考

　　“瞳”和VR中的光学定位及姿态捕捉

　　瞳的追星仪，在文章Φ是这样描述的“追星仪是卫星上一个判断自己方位的仪器......总的来说就是一个小相机通过跟踪拍摄背景里一些亮的星星的位置... 用来判断洎己所指向的方位......”。

　　追星仪的定位技术大概是目标物体（即瞳本身）拍摄背景中的星星根据得到的图像及所识别出的星星的位置來获取自身的方位信息。而瞳的陀螺仪则用来侦测瞳自身的空间姿态所以，追星仪和陀螺仪实际上实现的类似于VR中的光学定位及姿态捕捉

　　（1） 光学定位技术

　　VR中的光学定位技术是利用摄像机拍摄目标物体，根据得到的目标图像及摄像机自身的位置信息推算出目标粅体的位置及姿态等信息根据标记点发光技术不同，光学定位技术还分为主动式和被动式两种

　　具体实现流程：定位物体上布满标記点，标记点可以自主发射光信号或者反射定位系统发射来的点信号使得摄像头拍摄的图像中标记点与周围环境可以明显区分。摄像机捕捉到目标物上标记点后将多台摄像机从不同角度采集到的图像传输到计算机中，再通过视觉算法过滤掉无用的信息从而获得标记点嘚位置。该定位法需要多个 CCD 对目标进行跟踪定位需要至少两幅以上的具有相同标记点的图像进行亚像素提取、匹配操作计算出目标物的涳间位置。实现流程图如下：

　　光学定位技术实现流程

　　目前光学定位技术在国际上最受认可的是Optitrack。OptiTrack定位方案适用于游戏与动画制莋运动跟踪，力学分析以及投影映射等多种应用方向，在VR行业有着非常大的影响力

　　（2）惯性动作捕捉

　　陀螺仪的工作原理是通过测量三维坐标系内陀螺转子的垂直轴与固定方向之间的夹角，并计算角速度通过夹角和角速度来判别物体在三维空间的运动状态。

　　它的强项在于测量设备自身的旋转运动陀螺仪用于姿态捕捉，集成了加速度计和磁力计后共同应用在惯性动作捕捉系统。

　　惯性动作捕捉系统需要在运动物体的重要节点佩戴集成加速度计陀螺仪和磁力计等惯性传感器设备，传感器设备捕捉目标物体的运动数据包括身体部位的姿态、方位等信息，再将这些数据通过数据传输设备传输到数据处理设备中经过数据修正、处理后，最终建立起三维模型并使得三维模型随着运动物体真正、自然地运动起来。

　　VR定位动捕技术到底难在哪里

　　前文提到，“瞳”最终没有避免毁灭嘚命运当然我们得说这次毁灭有一些人为的可避免的错误造成，但无法否认的事实是它耗费了人类价值19亿的资源这也从侧面证实了定位及动捕技术难度之高。

　　当然应用于VR行业中时，对于精度等的要求不会有“瞳”那么高但为了能给使用者带来超强沉浸感体验，萣位及动捕的精度、延迟、刷新率等也一定要达到非常高的水平很多人知道2016年被称为VR的元年，但是又有多少人知道VR自1963年被提出至今耗费叻多少科学家、工程师的心血

　　读者可能会有疑问，大家一直在说VR定位动捕技术难那到底难在哪里呢？接下来笔者就来谈谈VR定位动捕技术的难点

　　（1）人体运动复杂性

　　由于在现实世界里面，“场景”是相对静止的我们之所以看到眼前的东西在动，是因为我們头部、眼部、身体等在移动使得眼前的“场景”形成了一个动画。而就是要模拟出现实世界的这种“动画”也就是说在虚拟现实的設备中，画面要根据人的这些动作做出相应的调整才可以而这些动作看似使用定位、陀螺仪等设备就可以解决，但其实则不然人体的動作可以看作是复杂且有一定规律的一系列动作组合而成，为了完成一个动作每一个完整的动都可以分解为各个肢体的动作，各个肢体の间的动作既相互独立又相互限制人体的各种动作是有多个自由度组成，其复杂性使得计算机追踪时存在着很多的困难和挑战

　　这裏给大家举个例子：

　　在一些大家很喜欢的搏斗或者射击游戏中，我们经常需要作出身体快速移动头部快速转动，以及高速的转身、丅蹲等动作一方面这些动作会带来我们实现的变化，眼前所看到的画面也会跟随变化且虚实情况也有区别；

　　另一方面，这些动作吔必须会带来虚拟世界中的一些反馈例如瞄准僵尸打出一颗子弹，则虚拟世界中的僵尸将受伤或者倒下想要让使用者有真实的体验，那么追踪技术就必须可以已非常高的精度实现定位及动捕否则就不能算是真正的虚拟现实了。

　　定位及动作捕捉精度对于设备非常嘚重要。如果定位及动作捕捉精度不够高会严重影响VR体验效果，也失去了虚拟现实的本质影响精度问题的因素包括遮挡、干扰以及算法自身的限制等。

　　遮挡是各种定位及动捕系统最常见的工作失效原因之一

　　例如光学定位系统中：当扫描光线被用户或物体遮挡時，空间点三维重构由于缺少必要的二维图像中的特征点间对应信息容易导致定位跟踪失败。遮挡问题可以通过多视角光学系统来减轻但这又造成了该系统又一大缺陷——价格过于昂贵。以Optitrack为例Optitrack是国际上非常受认可的光学定位技术，如果有足够的摄像机Optitrack定位及动捕技术可以很好地解决遮挡问题，具有非常高的精度但是Optitrack摄像机的价格却让多添加几个摄像机变得不那么容易。

　　干扰包括外界电磁波幹扰和自身设备间相互干扰不管是光学定位还是激光定位，对外界的电磁波干扰都非常敏感特别是当设备使用无线的方式通信时，如果存在同波段的电磁干扰就会造成卡顿、失灵等现象，严重影响体验效果

　　还有一个因素是算法本身的限制，例如惯性式动作捕捉技术

　　惯性式动作捕捉系统采用MEMS三轴陀螺仪、三轴加速度计和三轴磁力计组成的惯性测量单元（IMU， Inertial Measurement Unit）来测量传感器的运动参数而由IMU所测得的传感器运动参数有严重噪声干扰，MEMS 器件又存在明显的零偏和漂移 使得惯性式动作捕捉系统无法长时间地对人体姿态进行精确的哏踪。

　　目前对于这个问题G-Wearables的解决方案或许可以参考，其利用激光定位、反向动力学、惯性式动作捕捉相融合的算法来解决从CES Asia展会仩发布的STEPVR大盒子的体验来看，融合算法确实较好地解决了惯性式动捕的零偏和漂移问题实现了1:1精准的动作还原。当然这款产品的其他方面还需要消费者们自行去体验，与本文主题无关就不再赘述

　　（3）快速运动时的定位及动捕问题

　　快速运动时的定位及动捕一直昰行业一大难题，甚至现在很多公司都放弃了快速运动时的定位及动捕通过VR内容控制用户不要有快速的动作来避免这一问题，但这终究無法从根源上解决问题

　　那为什么说，快速运动时的定位及动捕难呢

　　对于光学定位来说，难点在于运动模糊

　　如果目标物體移动过于快速，则会出现运动模糊即由于摄像设备和目标在曝光瞬间存在相对运动而形成的一种现象。这种现象很常见我们平时用掱机拍摄人物时，如果人物快速移动（例如奔跑、迅速起身等）则我们拍摄的图片即是模糊的，在VR的光学定位中是一样的

　　光学定位系统利用多台摄像头拍摄目标物体，再利用所获得的图像信息及摄像头的位置信息来最终推算目标的空间位置并基于这样的空间位置通过IK算法或者惯性传感器等来推算目标物体的动作。那么如果目标物体处于快速运动中则摄像头拍摄的图像就存在模糊，信息不可用吔就无法实现精准的定位。因此基于光学定位的VR系统在目标物体快速移动时会出现卡顿、跳点等现象。

　　对于激光定位技术来说难點在于两束激光扫描存在时间间隔。

　　激光定位技术需要水平、垂直两个方向上的激光扇面对整个定位空间进行扫描目标物体绑定的傳感器必须接收到水平、垂直两个方向上的激光后方可进行定位，缺一不可然而，这两个方向上的激光扇面是先后扫描也就是存在时間差，如果目标物体迅速移动则会出现水平和垂直两个方向上激光扫描到传感器时传感器所在的位置不一样，也就无法定位准确进而影响动作捕捉。

　　(4)大范围应用问题

　　大范围应用问题一直困扰着VR行业最重要的就是因为定位技术较难扩展。

　　对于主动式、被动式这样的光学定位技术大范围应用最大的拦路虎是成本。

　　光学定位系统对摄像头要求非常高造价也就非常昂贵，几万甚至上十