VINCENT · ROBOTICS PORTFOLIO

Vincent 简历 · 个人项目成果展示

灵巧操作与机器人系统

触觉策略 · Sim-to-Real · 双臂遥操作

完整视频 · 保留原始画幅与时长

TACTILE VISUOMOTOR POLICY

触觉 SmolVLA抓放与扰动演示

真机 · 策略执行

从视觉、触觉与本体状态观测,到机械臂与灵巧手的抓取、搬运和放置。

同类抓放任务,不同观测输入

含触觉输入

抓取与放置

抓取绿色方块,并将其搬运至红色方块上。

无触觉输入

未完成搬运

抓取过程中方块脱落,本次演示未完成搬运。

两段为独立演示,非逐帧配对实验;展示具体案例,不代表统计成功率。

外部扰动下的抓放

触觉 SmolVLA

观察外部扰动后的抓取、搬运与放置过程。

我的交付

  • 搭建视觉、触觉与本体状态融合的仿真示教及训练链路,实现 DexH13 抓放策略训练。
  • 集成 RM65–DexH13 真机采集、D435 外参标定、控制与安全执行,打通方块抓放部署闭环。

SmolVLA / 多模态观测 / 真机部署

DEXTEROUS MANIPULATION

灵巧手旋拧从策略学习到物理交互

DexH13 · Sim-to-Real

通过策略学习与蒸馏,让灵巧手在接触中协调手指运动。

灯泡旋拧

真机 · 策略执行

人工扶持灯座,灵巧手执行旋拧;视频末尾灯泡点亮。背景人脸已打码。

M24 螺母旋拧

真机演示

DexH13 灵巧手执行 M24 螺母旋拧,保留完整真机演示。

我的交付

  • 分别训练灯泡与 M24 螺母任务的 PPO 策略,采用行为克隆与 PAdapt 蒸馏,形成独立的策略学习链路。
  • 部署灯泡策略至 DexH13 真机,接入触觉、本体状态及关节安全约束;验证螺母任务的仿真策略与部署接口。

PPO / 策略蒸馏 / TorchScript

VLA + RESIDUAL REINFORCEMENT LEARNING

VLA + RLT真机插接部署

RealMan · 真机部署

将视觉语言动作(VLA)策略与残差强化学习结合,面向接头插入任务修正精细动作。

接头对准与插入

完整演示 · 无音轨

展示机械臂夹持接头、对准接口并执行插入的完整过程。已移除背景音,保留原始画幅与时长。

我的交付

  • 复现并扩展 RealMan 机械臂 VLA + RLT 流程,串联 SmolVLA 基础动作、动作门控与残差修正,完成插接任务真机部署。
  • 实现 Quest 3 人在环接管、HDF5 示教采集与质检、LeRobot 格式转换及回放缓冲区构建,为策略训练提供数据链路。

SmolVLA / 残差强化学习 / 人在环训练

BIMANUAL TELEOPERATION

双臂双灵巧手遥操作

真机 · 人工遥操作

将双手动作映射到双臂与灵巧手,建立面向示教采集的操作链路。

双手协同操作

双 RM65B × 双 DexH13

展示双臂与双手的协同动作。画面以机器人端为主,动作由操作者遥控。

我的交付

  • 开发双臂双灵巧手遥操作系统,集成 Vive Tracker、手套重定向、双臂逆运动学(IK)、状态服务与示教接口,建立动作控制与数据采集链路。

Vive Tracker / 手部重定向 / 示教采集