AI Pulse
📡 X 信号

揭秘动捕Station系统工作流程,PC应用将开源

我和开发者在Discord上聊过,这套系统的工作方式是这样的(帖子):

每个基站本地运行一个机器学习模型,根据传感器数据估算3D姿态数据。

姿态数据通过WiFi(2.4/5)传输到PC或智能设备。PC应用将开源!

应用会把所有基站传回的数据(大概是基于置信度之类的指标)整合为一套连贯的3D姿态数据,然后通过VMC/OSC/SteamVR或其他协议输出。

另外,你也可以把一个基站配置为集线器,来承担PC的工作(专门做这件事,这个基站就不再追踪了)。

在集线器模式下,基站使用(专有)机器学习模型整合输入数据,结果比(非机器学习的)PC应用更好、更稳定。大多数用户可能用不上这个模式(因为你少了一个基站),它更适用于专业的动作捕捉设备。

请注意,目前所有内容都还在变化中,因为开发者在规划和开发新功能方面非常活跃。面部和手部追踪正在开发中。

Soulart所有机器学习都在设备端运行,但它会获得固件更新,不是那种“功能集在发售时就锁死”的产品。我有点惊讶,竟然是PC应用对各个基站的数据做最终后处理和整合,因为这意味着你必须要有某个应用(不然就得少一个基站),不过话说回来,既然它是开源的,那我觉得完全没问题。

想要完全“无PC”设置的人(比如独立VR),可以很轻松地把这个应用移植到比如带网页界面的树莓派之类的设备上(而且我觉得它已经能在手机上运行了)。我打赌肯定有人会把它弄到Steam Deck上跑起来。

既然最终数据整合和后处理会开源,至少算法版本会开源,这块领域也就对社区开发和研究开放了。我完全预计到最后会有人自己折腾,为它做专属机器学习模型。

说实话这还挺让人兴奋的,训练一套完整的飞行时间+RGB到姿态的模型是件大事(这就是你花钱买的这个设备端功能),但把多个视角数据整合为高质量姿态,对独立研究来说是个容易处理得多的问题。

哦对了我忘了说!它还有USB双模式,所以你可以把基站直接连到PC,而且他们已经在测试USB以太网适配器的有线网络支持。不需要依赖无线!

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新