TACTILE VISUOMOTOR POLICY
触觉 SmolVLA抓放与扰动演示
从视觉、触觉与本体状态观测,到机械臂与灵巧手的抓取、搬运和放置。
含触觉输入
抓取与放置抓取绿色方块,并将其搬运至红色方块上。
无触觉输入
未完成搬运抓取过程中方块脱落,本次演示未完成搬运。
两段为独立演示,非逐帧配对实验;展示具体案例,不代表统计成功率。
外部扰动下的抓放
触觉 SmolVLA观察外部扰动后的抓取、搬运与放置过程。
我的交付
- 搭建视觉、触觉与本体状态融合的仿真示教及训练链路,实现 DexH13 抓放策略训练。
- 集成 RM65–DexH13 真机采集、D435 外参标定、控制与安全执行,打通方块抓放部署闭环。
SmolVLA / 多模态观测 / 真机部署
DEXTEROUS MANIPULATION
灵巧手旋拧从策略学习到物理交互
通过策略学习与蒸馏,让灵巧手在接触中协调手指运动。
灯泡旋拧
真机 · 策略执行人工扶持灯座,灵巧手执行旋拧;视频末尾灯泡点亮。背景人脸已打码。
M24 螺母旋拧
真机演示DexH13 灵巧手执行 M24 螺母旋拧,保留完整真机演示。
我的交付
- 分别训练灯泡与 M24 螺母任务的 PPO 策略,采用行为克隆与 PAdapt 蒸馏,形成独立的策略学习链路。
- 部署灯泡策略至 DexH13 真机,接入触觉、本体状态及关节安全约束;验证螺母任务的仿真策略与部署接口。
PPO / 策略蒸馏 / TorchScript
VLA + RESIDUAL REINFORCEMENT LEARNING
VLA + RLT真机插接部署
将视觉语言动作(VLA)策略与残差强化学习结合,面向接头插入任务修正精细动作。
接头对准与插入
完整演示 · 无音轨展示机械臂夹持接头、对准接口并执行插入的完整过程。已移除背景音,保留原始画幅与时长。
我的交付
- 复现并扩展 RealMan 机械臂 VLA + RLT 流程,串联 SmolVLA 基础动作、动作门控与残差修正,完成插接任务真机部署。
- 实现 Quest 3 人在环接管、HDF5 示教采集与质检、LeRobot 格式转换及回放缓冲区构建,为策略训练提供数据链路。
SmolVLA / 残差强化学习 / 人在环训练
BIMANUAL TELEOPERATION
双臂双灵巧手遥操作
将双手动作映射到双臂与灵巧手,建立面向示教采集的操作链路。
双手协同操作
双 RM65B × 双 DexH13展示双臂与双手的协同动作。画面以机器人端为主,动作由操作者遥控。
我的交付
- 开发双臂双灵巧手遥操作系统,集成 Vive Tracker、手套重定向、双臂逆运动学(IK)、状态服务与示教接口,建立动作控制与数据采集链路。
Vive Tracker / 手部重定向 / 示教采集