项目目标： 构建一套基于 “LLM 教学 + 专用策略接班” 的具身智能自进化闭环系统，解决传统具身智能数据采集成本高、模型泛化与推理速度难以兼顾的问题。 简单来说，就是用大模型的推理能力零标注地采集高质量示范数据，蒸馏出毫秒级响应的专用控制策略，让机器人在真实任务里越用越快、越用越强。 机器人软硬件系统与抽象封装： 将底层硬件（轮式底盘、机械臂/爪等）抽象并封装为可供大模型调用的标准工具（API/Tool，如 move()、grasp() 等）。 搭建传感器数据通路（如摄像头等视觉多模态输入）。 阶段一：LLM 驱动与自动化示范数据飞轮（“老师教学”）： 利用多模态大模型（VLM/LLM）基于视觉感知输入进行推理决策，以 Function Calling / Tool Use 的方式控制机器人完成任务。 核心产出是高质量示范数据：在控制过程中自动记录并沉淀完整的执行轨迹（观测-思考-动作-结果）。 阶段二：专用策略蒸馏与高速部署（“学生接班”）： 基于积累的任务示范数据，训练/微调模仿学习（Imitation Learning）策略（如 ACT、Diffusion Policy 等）。 实现低延迟、低成本、高稳定性的专用控制策略部署。 自进化闭环与回退机制： 建立反馈与分流机制：成熟任务由专用策略执行；遇到未见新任务或策略失效时，无缝回退（Fallback）至 LLM 兜底并继续收集数据，形成自动飞轮。

1. Agent 架构开发：基于 LangGraph、LangChain 等框架开发和优化具身智能 Agent，设计严谨的 Prompt 与 Tool Calling 逻辑，确保 Agent 能稳定基于环境观测规划并调用机器人控制指令。 2. 硬件接口与动作封装：协助将底层的连续控制指令（如 ROS 节点交互）抽象、封装为 Agent 易于调用的高阶 API，并处理虚拟输出与真实三维物理环境的对齐。 3. 数据飞轮构建与蒸馏：搭建自动化数据清洗流水线，记录 Agent 的完整决策链（观测-思考-动作-结果）；协助利用高质量示范数据进行 ACT 等模仿学习策略的端到端模型训练。 4. 闭环系统调度集成：参与开发系统状态机，实现“Agent 慢思考兜底”与“专用策略快执行”之间的调度权交接，并设计策略失效时的自动回退（Fallback）机制。

1. 操作系统：必须熟练使用 Linux 操作系统，具备扎实的 Linux 环境下开发、调试、容器化（Docker）及部署能力。 2. 开发框架：精通 Python，熟练使用 PyTorch；必须熟悉 LangChain 或 LangGraph 等主流 Agent 框架的工程化落地。 3. 跨界认知：具备基础的软硬件复合认知，了解机器人操作系统（如 ROS/ROS2），对基础运动学、空间坐标系有一定概念者优先。 4. 学习复现能力：对具身智能领域有热情，能够快速跟进并复现前沿开源项目或顶会论文（如 ACT, Mobile ALOHA, RT-2/OpenVLA 等）。 5. 工程思维：具备端到端的闭环系统思维，重视数据质量的筛选与系统底层运行的安全性（如物理防碰撞）。

参与该项目实习，你将会学习到： 1. 多模态大模型与智能体工程 (MLLM & Agent) 感知与对齐：精通多模态大模型微调，将视觉及传感器数据转化为上下文，并解决模型输出与三维物理环境约束的对齐问题。 Tool Calling 开发：设计严谨的 Agent 架构与提示词，使大模型能基于环境观测，稳定规划并调用工具指令。 2. 机器人底层控制与接口抽象 (Robotics Abstraction) 动作粒度封装：攻克动作抽象难点，将复杂的底层连续控制指令（如 ROS 节点通信），封装为 LLM 易调用的高阶 API（如 move_to(), grasp()）。 硬件通信与安全：熟悉底层硬件协议，必须在硬件抽象层建立防碰撞等运动学安全兜底机制。 3. 模仿学习与策略训练 (Imitation Learning) 轨迹采集与清洗：自动化采集 LLM 生成的完整决策链（观测-思考-动作-结果），并开发数据质量过滤机制，剔除失败轨迹。 端到端策略蒸馏：熟练掌握 ACT 或 VLA 等模仿学习算法，将清洗后的高质量示范数据训练为专用控制策略。 4. 闭环系统架构与状态调度 (System Integration) 快慢调度与回退 (Fallback)：设计状态机，实现“LLM 慢思考兜底”与“专属策略快执行”的切换。当专属策略失效时，自动回退至 LLM 重新规划控制。 自动化数据飞轮：打通“采集 - 训练 - 部署”全链路，构建随任务累积可持续进化的系统架构。 招募人数：2人 实习地点：清华大学东南门AI原点大厦2层 时间要求：每周至少能来实习工作3天（预计时长2-4周） 实习工资：250 元/天（本科），300 元/天（硕士）