利用热传感器解决AR/VR手部动作交互新方案

据报道，康奈尔大学和威斯康星大学麦迪逊分校的工程师们已经开发出一种新的可穿戴交互系统，利用热传感器准确预测手部位置，在VR、机器人和翻译手语方面有潜在应用。如何捕捉人类手部动作的复杂性以及手部传感器的研究在AR / VR技术领域一直是一项艰巨的任务。

相关研究人员演示了解决AR/VR手部动作交互新方案--腕带传感器FingerTrak。FingerTrak基本上是一个手镯，上面装饰着四个小型热敏摄像头，每个摄像头大约有豌豆大小。摄像头从各自的位置拍摄佩戴者手腕的轮廓图像。这足以让一个专门设计的算法精确重建整个手部，包括每个手指的位置。

FingerTrak 系统使用机器学习，根据手腕轮廓，预测 20 个手指关节的位置。然后，这些手的姿势可以在虚拟模型，甚至是机器人的手上重现。在测试中，该设备能够准确重现翻书 、用笔写字、喝水、使用手机等动作。

目前不乏有一些设备使用各种技术尝试追踪手部动作，有的使用深度感应摄像头或红外传感器观察手指，有的使用动作感应手套，还有的在指尖上使用电磁传感器。但几乎所有的都有点过于笨重，不适合实际使用。FingerTrak 的设计更加轻巧，虽然它仍然不是看起来最舒适的科技产品，但它确实走在正确的未来轨道上。

尽管目前FingerTrak的技术研究还有待开发，但其未来潜力巨大，可实现包括人机交互与控制、手语翻译和健康监控的潜在应用，甚至包括发现早期的帕金森氏症和阿尔茨海默氏症等退化性疾病。

康奈尔大学和威斯康星大学麦迪逊分校的相关研究团队表示，在未来的技术完善后，FingerTrak系统可以让虚拟现实玩家在游戏中追踪自己的手部动作，可以让遥控机器人直接模仿人类操作员的动作，可以帮助将手语翻译成文字或语音，甚至可以帮助监测影响运动技能的健康问题。

FingerTrakFingerTrak的原型机非常小，随着进一步的工程设计，未来它可以进一步缩小。FingerTrak主要依靠低分辨率(32×24像素)、比最薄的苹果手表还要薄的热敏摄像头，在测试期间实现了在6.46到8.06度之间的平均角度误差率。

目前尚不清楚FingerTrak系统是否能够快速追踪特定的手势，比如一个人正在写什么。换句话说，FingerTrak可能会成为最好的补充性技术，而不是完全取代更高精度的手指追踪解决方案，至少对目前的一些应用而言如此。