用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

「硬核」的技术宅奶爸

长期以来,「奶爸」+「萌娃」一直是一个不被看好的组合,甚至有人说,「父爱如山体滑坡」。不信的话,以下都是证据:

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

众所周知,人类幼崽似乎是台永动机,在一天 24 小时任何时间段里都有可能向你发难。你能让自己睡个安稳觉的方法看来是在白天消耗他们的精力,因此人们想出了各种各样的方法。当然,并不是所有的奶爸都这么不靠谱,也有人带起娃来挺正常的,Agustinus Nalwan 就是其中之一。Agustinus Nalwan 是 Medium 上的一位博主,曾经从事计算机视觉、3D / 动画、游玩开发等方面的工作,目前供职于澳洲最大的汽车交易平台 carsale.com.au。他有一个两岁半的儿子,名叫 Dexie。Dexie 非常活泼,喜欢动物,尤其是老鹰,经常学老鹰在家里飞来飞去。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

孩子的这种举动一般也就引起家长的「哈哈」一笑(有的会拍成短视频发网上),但 Nalwan 可不是一般的家长,他一直在尝试用技术增添带娃的乐趣。去年三月份,Nalwan 就开发过一款具有玩具辨别能力的零碎,可以和儿子互动并根据他手里的玩具播放相关视频。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

这个项目帮他拿到了英伟达「Jetson Project of the Month: Qrio – an interactive AI bot」活动的大奖,奖品是一台英伟达 Jetson AGX Xavier。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

Jetson AGX Xavier 的配置信息。这是一种算力不小的开发者套件,曾被京东、美团、菜鸟的无人快递车用作计算核心。鉴于 Jetson AGX Xavier 配置还不错,Nalwan 决定用它来帮儿子做一个新玩具,实现他「展翅高飞」的梦想。新玩具名叫 Griffin(神话中的狮鹫),最终实现效果是这样的:

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

当然,奶爸也可以跟着一起玩:

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

或者自己玩:

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

这么好的带娃经验当然要分享出来。在最近的一篇博客中,Nalwan 完整地介绍了他打造 Griffin 的完整过程,手头有娃的可以参考一下。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

传说中狮身鹰首的 griffin。《哈利波特》中的 Gryffindor 学院意为金色的 griffin。以下是 Nalwan「从零开始」建立整套姿势辨别游玩的历程。物料准备要实现上图中的效果,Griffin 需要具备以下模块:

3D 游玩引擎:借助一个用 OpenGL 写成的航行模拟器生成带有山脉、天空和 Griffin 的 3D 魔幻世界。

人体姿势推断:使用 OpenPose 姿势推断模型和 SSD 目标检测模型来持续检测玩家的身材姿势,作为零碎的输入,以控制 Griffin。

作为映照和手势辨别:将身材姿势转化为有意义的作为和手势,如抬起左 / 右党羽、左右翻滚身材、降落等。

通信零碎:使用 socket 将姿势输入送进 3D 游玩引擎。

以下是整个零碎所需要的硬件:

NVIDIA Jetson AGX Xavier:这是一个 GPU 驱动的小型嵌入式设备,用来运行以上所有模块。它可以通过一个简单的 HDMI 接口支持音视频输出。此外,他还有一个以太网接口,方便联网。你甚至可以插入鼠标和键盘在该设备上进行开发和调试,因为它有一个功能齐全的 Ubuntu 18.04 OS。

TV(带有 HDMI 输入和内置扬声器):作为游玩引擎的显示器。

摄像头:我用的是 Sony IMX327。其实这里只需要 224×224 的图像分辨率,因此也可以选低端一点的摄像头。

Blu-Tack:把所有硬件拼接在一起。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

Jetson AGX Xavier、 IMX327 摄像头和 Blu Tack。实现建立 3D 游玩引擎为了更好地模拟航行体验,Griffin 零碎将以第三人称视角渲染 3D 世界。想象一下在 Griffin 正后方有一个摄像头看着他所看的地方。为什么不用航行模拟器那样的第一人称视角呢?因为看到鹰的党羽并同步移动自己的手臂,可以帮助 Dexie 快速学习如何控制这个游玩,并拥有一个更沉浸式的体验。自行建立 3D 游玩引擎并非易事,可能需要好几周的时间。现在大多数开发者只使用专门的游玩引擎,如 Unity 或 Unreal。但是很遗憾,我找不到可以在 Ubuntu OS/ARM 芯片组上运行的游玩引擎。一种替代方法是找到在 OpenGL 上运行的开源航行模拟器。这可以保证游玩引擎能在 AGX 上运行,因为它支持 OpenGL ES(OpenGL 的轻量级版本)并且得到硬件加速。如果你不想游玩引擎以龟速运行的话,则这是必要的条件。幸运的是,我找到了一个满足标准的 C++ 开源航行模拟器,并做了以下修改:

我用基于目标的零碎替换了基于按键的航行控制零碎。这样我就可以不时地设置 Griffin 身材的目标旋转角度,之后这一旋转目标将通过手势辨别模块自行设置,该模块可以映照 Dexie 胳膊的方向。

我增强了静态 3D 模型管理,以支持层级结构。原始的飞机模型是作为一个刚体移动的,它没有移动的身材部位。但是 Griffin 有两个党羽,需要独立于身材单独运动。为此,我添加了两个党羽,使之作为身材之上的单独 3D 模型。我可以单独旋转每个党羽,也可以移动 Griffin 的身材,间接移动两个党羽。实现该目标的一种恰当方式是建立骨骼动画零碎,将身材部位组织为树结构的形式。但是,由于我要处理的身材部位只有三个(身材和两个党羽),因此我可以选择一种简便的方式。为了编辑鹰和树 3D 模型,我使用了一个免费易用的 3D 编辑工具 Blender。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

在 Blender 中编辑鹰的 3D 模型。

我添加了 Griffin 降落状态的树模型,以及无需重启应用即可重启游玩的游玩状态。Griffin 有两种状态:站立(站在树枝上)和飞翔。

我利用 libSFML 添加音效播放:当 Griffin 降落时,会出现鹰的尖啸和风声。

建立人体姿势推断模块该模块旨在检测来自摄像头输入的人体姿势。具体而言,我们需要知道左 / 右手肘、左 / 右肩膀、脖子和鼻子的位置,才能驾驭 Griffin 的党羽和身材,并触发特定的姿式。OpenPose 是一个流行的开源库,并具备大量推断人体姿势、手部姿式和面部特征的 AI 模型。我使用的是人体姿势推断 COCO 模型,以 resnet18 作为骨干特征提取器。该模型可以实时检测 18 个关节点,包括上述我们所需的 6 个点。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

COCO 关节点图。这里存在一个大问题:OpenPose 基于 PyTorch 框架建立,在 NVIDIA AGX Xavier 中运行速度很慢(4FPS),因为它无法利用重度优化的 TensorRT 框架。幸运的是,还有一个厉害的工具 torch2trt,它可以自动将 PyTorch 模型移植到 TensorRT 框架中!具体步骤是:安装 OpenPose,将 PyTorch 转换为 TensorRT,下载预训练 resnet18 骨干模型。为了获取来自摄像头的视频内容,我使用另一个库 Jetcam。只需要四行代码,就可以运行。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

人体姿势推断。这样就得到了可以 100FPS 速度运行的人体姿势推断模块!经过一些测试后,我发现有时候这个模型会将随机对象错误地辨别为关节点(假正例,如下图所示),这会给 Griffin 的作为控制带来麻烦。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

使用 Amazon SageMaker JumpStart 建立目标检测模型解决该问题的一种方式是添加一个辅助 AI 模型,用目标检测模块来提供人体边界框,这样就可以排除掉在边界框以外检测到的人体关节点了。此外,这些边界框还可以帮助在一堆人中辨别主要玩家,距离摄像头最近的人应该是主要玩家。在之前的项目中,我手动训练过 SSDMobileNetV2 目标检测模型。这次我选择使用 Amazon SageMaker JumpStart,只需一键操作就可以从 TensorFlowHub 和 PyTorchHub 部署 AI 模型。这里有 150 多个可选的模型,其中就有经过完全预训练的 SSDMobileNetV2。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

从 Amazon SageMaker Studio 中启动 JumpStart。在 Amazon JumpStart 中选择 SSDMobileNetV2 后,只需一键操作就可以部署模型。有了目标检测模型后,我可以为边界框以外的关节点添加 exclusion logic,这样假正例就会少很多!

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

在人体边界框以外的关节点被排除在外。建立作为映照和手势辨别模块该模块对于将人体姿势推断模块检测到的 6 个关节点作为转换为更具意义的输入至关重要。这包括三种直接的作为映照:

航行时的身材转动:用于控制 Griffin 航行时的方向。身材转动可以通过横轴和左右手肘向量之间的夹角进行计算(下图上)。在航行时,两只党羽基于这一转动角度同步移动。选择手肘而不是手腕是为了最大化可见度,因为手腕经常会掉出摄像头视角或被其他身材部位遮挡住。

站立时的党羽旋转:这纯粹是出于美观,为了让游玩更具趣味性,给人一种站立的时候可以单独控制每个党羽的印象。这通过横轴与肩膀 – 手肘向量之间的夹角进行计算(下图下)。最终的党羽旋转角度会添加 15 度,以加大党羽的作为,毕竟人长时间举高胳膊会很累。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

身材转动和党羽旋转时的作为映照。

蹲伏:这是另一个美观作为,可以让人感受到能够控制 Griffin 降落前的蹲伏姿式。这通过脖子 – 鼻子向量和肩膀向量之间的长度比进行计算。蹲伏得越深,脖子和鼻子之间的距离越短,而左右肩膀之间的距离保持不变,因此长度比变小。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

蹲伏作为映照。

降落姿式:当左右肩膀之间的中心点在一秒内上下移动的幅度超过阈值时,则该作为会被辨别为降落姿式。阈值是肩膀之间的长度。当这一作为被触发时,Griffin 会跳下树枝,开始飞翔。

游玩复位姿式:当左右肩膀的水平位置反转时则为游玩复位姿式,如玩家背对摄像头。游玩将复位,Griffin 回到站在树上的姿式,准备下一次航行。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

降落和复位手势辨别。通信零碎现在,我们完成了三个主要组件,只需要将它们粘合在一起就行了。我们需要将姿势推断模块检测到的人体关节点发送至手势辨别模块,这个任务比较简单。但是,将作为和姿式映照结果发送至 3D 游玩引擎就不那么简单了,因为游玩引擎是用 C++ 写的。你可能会疑惑为什么不用 Python 建立 3D 游玩引擎,原因在于没有靠谱的方式来使用 Python 访问 OpenGL。此外,即使可能,我也不想花费好几周时间将 C++ 转换为 Python 代码。此时我需要以最小花销高效地在这二者之间传递信息。对于游玩引擎而言,最小花销是非常重要的因素,输入控制器和作为发生之间出现 100ms 的延迟都会导致玩家失去沉浸式体验。因此,两个单独应用之间的最好通信媒介是 socket。由于这两个应用在同一台计算机内,因此延迟会在 5ms 以内。在 C++ 中,我们简单地使用 sys/socket 库,而在 Python 中,我们可以使用 socket 框架。从现在开始,我把手势辨别和姿势推断模块称作 Python app,该客户端发送五种信息:roll_target、lwing_target、rwing_target、body_height 和 game_state。把 3D 游玩引擎称为 C++ app,充当监听并不断接收上述信息的服务器。为了将这五种信息 / 变量正确地从 Python 映照到 C++ 上,在发送之前我们需要将其放置在 Python C-like 结构中。class Payload(Structure):
_fields_ = [(“roll_target”, c_int32),
(“lwing_target”, c_int32),
("rwing_target", c_int32),
("body_height", c_int32), 
("game_state", c_int32)]在 C++ app 中,它们以本机 C 结构形式接收。typedef struct payload_t
{
int32_t roll_target;
int32_t lwing_target;
int32_t rwing_target;
int32_t body_height;
int32_t game_state;
} payload;从下面的架构图可以看出,通信层由一个位于 Python app 中的客户端模块和一个位于 C ++ app 中的服务器模块组成。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

Griffin 的整体架构图。校准与测试准备就绪后,我设置了 Griffin 零碎以执行校准和测试。这套零碎的性能要比我预测的好很多,在执行所有实时 3D 渲染和姿势推断时一直都保持在 60FPS 的帧率,看来英伟达的 Jetson AGX Xavier 性能强大不是说说而已。在下面的视频中,你可以看到校准和测试的过程。这个视频帧率较低,是因为我在 Ubuntu 桌面上以 15FPS 录屏,尽量减少对 Griffin 的影响。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

Griffin 零碎的校准与测试。降落最后,是时候让 Dexie 用 Griffin 尝试第一次航行了,这才是真正的大考。我在客厅里架设好了零碎,我儿子一直在不耐烦地等待行动。

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

Dexie 使用 Griffin 航行的经历。我只演示了一遍如何控制 Griffin 零碎,跳一下就是降落,展开手臂依靠姿式控制党羽,Dexie 就学会了。由于游玩是第三人称视角,所以他很快就发现画面中党羽的运动是直接和自己姿式同步的。随后他就开始享受自己的航行体验了。没有什么是比你自己更好的游玩控制器了——记住乔布斯在发布第一代 iPhone 时嘲笑手写笔时所说的话。有意思的是,Dexie 有次快要撞山时,他奋力扬起手臂想要来个急转弯,但由于我设置了最大旋转角度限制,Griffin 不允许他飞特别极限的角度,随后他就撞了山…… 当时是这个样子:

Dexie 在 Griffin 上的首飞。他上来就玩了半小时,发疯似地挥舞着手臂,直到疲倦袭来。最重要的是,那天晚上他睡得很香,对我们来说这是一次胜利!我有更多时间看 Netflix 了 :)

用AI「驯服」人类幼崽:这个奶爸找到了硬核带娃的乐趣

总结建立这样一套零碎让我学到了很多,同时获得的乐趣也很多。总体来说我学到了:

Torch2trt 是一个很强大的工具,可以自动将 PyTorch 模型转化为 TensorRT 版,让 AI 模型在 Jetson AGX Xavier 上运行地更快。很多最先进的 AI 模型都是用 PyTorch 建立起来的,但手动将它们移植到 TensorFlow 上可不是好的体验。

英伟达 Jetson AGX Xavier 的性能非常强大!很多人说它可以实时处理 30 个 1080p 视频流的计算机视觉模型处理任务,看来的确是这样。

亚马逊 SageMaker JumpStart 提供了大量流行的 AI 模型,并让它们非常易于部署。

建立 3D 游玩引擎的经历让我重拾之前作为游玩和电影 SFX 开发人员的经历,再次用起了生疏的 OpenGL、C++ 和三角学方面的技能。

说到作为辨别游玩,人们自然会想到 Xbox——我本可以用 Unity 引擎和 Kinect 传感器在 Xbox 上建立一个 Griffin,但是这样不就没有太大意义了吗?有时从头建立一套零碎才是乐趣所在。

扮演老鹰是一个很累的工作,尤其是长时间抬起手臂这件事。不过真正的老鹰是通过上升气流获得帮助并滑翔在天空中的。

不知这样的一段经历,是否能给你一些启发?最后,作者计划在近期将项目代码开源出来。参考内容:https://agustinus-nalwan.medium.com/making-my-toddlers-dream-of-flying-come-true-with-ai-tech-85e40d7144a2

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/yong-ai-xun-fu-ren-lei-you-zai-zhe-ge-nai-ba-zhao-dao-le/

(0)
上一篇 2021年 1月 12日 上午9:51
下一篇 2021年 1月 12日 下午2:58

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注