MANO

Paper：Embodied Hands: Modeling and Capturing Hands and Bodies Together

这篇论文提出了 MANO 手部模型 和 SMPL+H 人体-手联合模型，解决了过去人体和手部动作分开建模的问题，实现了从4D扫描数据中同时恢复真实人体动作和手指姿态。

TLDR：输入参数，可以得到人体或者手部的 Mesh。至于参数怎么来，可以通过后续的神经网络得到。

论文主要提出了两个模型：

• MANO：高质量手部模型
• SMPL+H：人体+手联合模型

MANO

作者采集：

• 31个人；
• 左右手；
• 多种手势；
• 约2018个高分辨率扫描。

然后学习手的：

• 手型变化；
• 手指运动；
• 关节弯曲导致的皮肤变化。

虽然手有很多自由度，但是使用 PCA 降维后，6个姿态参数可以解释81%的手势变化。

MANO 的输入是什么？

• Shape 参数
  • 表示手掌大小，手指长度，手宽，骨骼比例
• Pose 参数
  • 表示手腕旋转，15个关节旋转

然后 MANO 内部有一个平均手（Template Mesh）,可以通过 Shape 参数进行调整。

最后输出一个 Mesh。

image.png

SMPL+H

与 MANO 类似，SMPL+H的输入也是参数

• Shape 参数：比如身高，肩宽，腿长，手大小
• Body Pose 参数：比如脊柱，肩膀
• Hand Pose：来自 MANO

image.png