• 如果要实现高动态的操作、导航任务，上层策略（大脑）需要有对机器人本体的感知信息输入，大脑和小脑必须是耦合的。
  • 人形机器人需要模仿学习的根本原因在于高自由度策略探索难（探索到符合人类运动规律的运动组合难）。对于低自由度的本体（四足机器人、双足机器人等，一般自由度数<=12）来说，探索出一个较为合理且自然的动作并不困难。但是对于有上肢和下肢的高自由度人形机器人（一般自由度数>=20）来说，要仅凭普通的奖励塑造就学出合理且自然的动作非常难。引入模仿学习，将参考运动作为先验可以有效降低探索的难度。
  • AMP已经可以学习出有一定风格的运动，但它是否能让一个策略学习出多种风格的动作来应对更多场景呢？
  • 我之前做深度图越障策略，给深度图加噪声都是人工辨别的噪声规则。更好的方式应该是学习出一个模型可以给深度图加噪声，模拟真实深度图。
  • 机器人模仿的数据可以来源于人类运动捕捉、model-based方法规划、游戏里给人物设计的动作。目前来看可能游戏里给人物设计的动作比较贴合人，同时成本也比较低，能不能研究一下怎么用这个？
  • DepthAnything返回的深度图一般是没有对齐实际物理量单位(m)的，只提供了图形边界的精确分割。
  • 如何实现多技能的学习？
    • SONIC是一种路径，通过定义的改变来实现通用的控制器（多技能）。基本就是LLM的范式迁移到motion tracking。只要我的参考数据能够覆盖机器人workspace的所有情况，那么这个tracker就是一个通用的tracker。
    • 其它还有什么方式？