用户7601用户7601角色 | 姓名 |
航路开辟者(课程设计者) | 陈可为 李昀迪 张天一 |
领航员(运营助教) | Jason |
航海士(专业助教) | -q 12海里 |
任务信息(每个 task 任选一个链接打卡即可) | 天数 | 截止时间 | 评审 | 优秀作业 |
05月18日正式开始 | 共20天 | | | |
Task01:具身智能基础与机器人控制,具身智能概述与发展,PID控制算法实现,机器人运动学基础,具身导航初步(视频教程) 对应: 课程01-具身智能概述: 该章节涵盖了具身智能概述与发展。 课程02-机器人基础和控制、手眼协调: 该章节涵盖了“机器人基础”(运动学)和“控制”(PID算法)。 具身导航基础(优先完成作业): | 4 天 | 截止时间 05月22日03:00 | | |
Task02:通识基础收束:视觉感知、仿真环境与训练范式入门 Task01 已经完成具身智能概述、机器人基础控制和导航初步。本阶段继续补齐共通能力,重点理解视觉感知、深度/3D 信息、强化学习、仿真平台和具身任务训练范式,为后续分支学习做准备。 优先复现建议:初学者只需要在本阶段优先完成一个轻量示例,不要求同时安装多个仿真环境。建议优先完成视觉感知或基础仿真二选一。 课程04-具身场景的计算机视觉、3D重建:该章节涵盖机器人视觉、深度估计、SAM 和抓取注意力等基础内容。 课程05-具身场景的深度和强化学习:该章节涵盖强化学习与具身决策入门。 仿真工具二选一:优先选择自己更容易安装的一项即可。 建议打卡:说明感知、训练、仿真三者在具身任务中的关系;或跑通一个视觉/仿真/强化学习示例。 | 4 天 | 截止时间 05月26日03:00 | | |
Task03:分支入门:选择 1 条主分支,优先跑通 1 个经典复现 完成 Task01 和 Task02 后,开始按兴趣分流。Task03 的重点是“先跑通一个经典任务”,不建议同时尝试多个环境。每位同学只需要选择 1 条主分支,并在该分支中优先完成 1 个推荐复现。 分支A:操作模型与世界模型 适合喜欢机械臂操作、抓取、模仿学习、VLA、ACT、Pi0、SmolVLA、OpenVLA 和世界模型的同学。 分支B:导航模型与无人机导航 适合喜欢导航、VLN、场景理解、空间定位、路径规划、无人机导航和空中视角多模态任务的同学。 优先复现建议:优先完成 Habitat 基础链路,不要一开始就同时做 VLN 前沿和无人机。环境没有配置好的同学,先看 Task01 的环境搭建;已经配置好的同学,直接做基础实践。 分支C:应用实践与系统部署 适合希望做开发板、真实机械臂、遥操作、仿真工具和系统集成的同学。 优先复现建议:没有硬件的同学可以延续 Task02 已选择的 ManiSkill 或 GenieSim 仿真环境,不需要重复换环境;有 RDK-X5 / LeRobot 设备的同学优先做硬件链路。数据合成和高阶仿真工具放到 Task04。 建议打卡:选择一个主分支,说明选择原因,只提交一个优先复现任务的结果。 | 4 天 | 截止时间 05月30日03:00 | | |
Task04:分支深入:沿 Task03 方向完成一次进阶复现或对比分析 Task04 不要求换方向,也不重复 Task03 的入门任务。学习者继续沿 Task03 已选择的主分支推进,把产出从“跑通一个 demo”升级为“可复现成果”。建议从以下进阶内容中选择 1 个即可。 分支A:操作模型与世界模型进阶 适合 Task03 已经完成 OpenVLA 或 MuJoCo 操作复现的同学。Task04 不再重复 OpenVLA / MuJoCo 入门,而是转向论文、benchmark、世界模型或更完整的数据/训练理解。 补充进阶建议:对 benchmark、SmolVLA 或世界模型竞赛感兴趣的同学再选择。 分支B:导航模型与无人机导航进阶 适合 Task03 已经完成 Habitat 基础链路的同学。Task04 不再重复 Habitat 环境配置和基础实践,而是转向综合导航、VLN 前沿或无人机专题。 优先进阶建议:优先选择具身导航综合入门实践,输出任务配置、轨迹结果、失败案例和改进建议。 补充进阶建议:对 VLN 前沿或空中机器人更感兴趣的同学再选择。 分支C:应用实践与系统部署进阶 适合 Task03 已经完成一个仿真环境、开发板或遥操作链路的同学。Task04 的重点不是再换一个环境重装,而是把数据生成、高阶仿真或系统部署链路讲清楚。 补充进阶建议:需要云端部署、Isaac Sim 或数据工具链的同学再选择。 建议打卡:提交“同一分支深入成果”。内容包括 Task03 的延续关系、选择的进阶复现、复现/训练/部署/数据生成步骤、关键结果截图或指标、遇到的问题与解决方法,以及后续可以继续深入的方向。 | 4 天 | 截止时间 06月03日03:00 | | |
Task05:成果整理与交叉分享 最后阶段不建议再开新环境,而是把前面完成的通识学习和分支实践整理成可复用成果。可提交复现报告、演示视频、动图、环境搭建记录、方向综述、论文/代码解读、踩坑总结等。 优先成果形式:推荐提交“一个优先复现 + 一个进阶理解”的组合,而不是罗列很多没有跑通的链接。 操作模型与世界模型方向:可整理 OpenVLA、MuJoCo ACT/Pi0/SmolVLA、RT 系列、GR00T、LIBERO、SIM1 或 LeWorldModel 学习报告。 导航模型与无人机导航方向:可整理 Habitat、VLN、ETPNav、无人机导航、无人机控制/规划或无人机多模态实践复现报告。 应用实践与系统部署方向:可整理 ManiSkill、GenieSim、Isaac Sim、InternDataEngine、RDK-X5、LeRobot 遥操作、真实系统部署或多模态 demo 的环境配置和踩坑总结。 建议打卡:提交一份最终成果,说明你选择的分支、优先复现任务、进阶复现任务、遇到的问题、解决方法和后续可以继续深入的方向。 | 4 天 | 截止时间 06月07日03:00 | | |