“2024具身智能机器人应用创新”师资训练营课程安排

一、课程时间安排

（一）线上课程

1. 模块一：基础理论—具身智能机器人发展趋势综述

2024.11.25 周一晚8点-9点

学习目标：全面了解具身智能机器人的发展趋势，探索行业现状与未来发展方向

学习内容：

• 具身智能的核心概念与应用场景。
• 行业发展现状与全球趋势，包括服务机器人、工业机器人等多个领域。
• 前沿技术的应用实例分析，了解技术落地的挑战与解决方案。

2. 模块二：核心课程—AI多模态大模型，数据采集、训练和推理

2024.11.27 周三晚8点-9点

学习目标：学习端侧多模态大模型的高效构建与应用

学习内容：

• 认识多模态大模型在人工智能领域的里程碑式突破及作为重要基础设施的作用。
• 分析当前多模态大模型云侧部署的计算资源消耗过大的局限性及其对实际应用推广和自身持续演进的挑战。
• 学习构建端侧部署的高质量多模态大模型的方法。
• 探索端侧多模态大模型对端侧设备广泛赋能的途径。
• 思考如何缓解纯云侧部署多模态大模型存在的问题。

3. 模块三：预备课程—开发环境搭建与实践流程基础

2024.11.29 周五晚8点-9点

学习目标：搭建具身智能开发所需的硬件与软件环境

学习内容：

• 硬件设备安装与调试，包括机器人底盘、机械臂和摄像头等设备的配置。
• 软件环境的配置与安装，包括必要的编程工具、库与调试工具。
• 系统的运行流程介绍，帮助学员理解整体开发流程与测试要点。

学习任务(可选)：语音识别

尝试在本地电脑上运行语音识别（或调用云端api）。实现语音转机械臂命令文本。

4. 模块四：进阶课程—Dora机器人系统的介绍、讲解和学习

2024.12.2 周一晚8点-9点

学习目标：掌握Dora机器人中间件的核心概念与操作方法

学习内容：

• Dora系统框架：深入学习Dora中间件的架构设计与功能模块。
• 节点通信与数据流管理：掌握Dora系统中的数据流、节点管理及任务调度，理解其高效协作机制。
• Dora应用示例：通过应用场景演示如何配置与管理Dora系统，提升操作理解力。

学习任务：尝试运行dora示例

在dora成功安装后尝试运行dora的简单示例。参考链接：https://dora-rs.ai/docs/guides/getting-started/conversation_py

5. 模块五：实战课程—Dora机器人系统实操演练

2024.12.4 周三晚8点-9点

学习目标：机器人开发套件应用演示

学习内容：

• 项目展示与问题解决：通过项目展示总结课程所学，并进行系统优化与性能提升。

（二）线下课程

基于具身智能机器人的开发实践（线下）

时间：12月7日&12月8日（周六周日两天）

线下地点：北京市清华科技园-东升大厦

1. 2024.12.7 周六上午9:00 - 11:30

学习目标：Dora机器人系统实战演练

学习内容：

• 实验1：使用Dora驱动机器人（线下实验）
• 实验2：使用OpenCV实现机械臂自动抓取和小车自动跟踪（线下实验）

2. 2024.12.7 周六下午 13:30 - 17:00

学习目标：Dora机器人系统实战演练

学习内容：

• 实验3：使用VLM实现图像识别并生成命令（在线实验）
• 实验4：机械臂执行控制命令（线下实验）

3. 2024.12.8 周日上午9:00 - 11:30

学习目标：Dora机器人系统实战演练

学习内容：

• 实验5：视觉语言模型驱动的具身机器人（线下实验）
• 实验6：使用LLaMA-Factory进行模型微调并评估测试（线下实验）（可选）

4. 2024.12.8 周日下午13:30 - 17:00

学习目标：Dora机器人系统成果展示

学习内容：

• 各组成果展示
• 交流参观清华大学具身智能机器人课题组

二、课程目标

通过线上理论学习与线下实践操作相结合的方式，使学员全面掌握具身智能机器人的相关知识和技能，包括开发环境搭建、核心技术原理理解、数据处理与模型训练优化、实际应用场景操作等，培养学员具备独立开展具身智能机器人相关教学和实践项目的能力，为推动具身智能机器人领域的发展培养优秀的师资力量。