各企、事业单位：

随着科技的快速发展,人工智能俨然成了当今社会的关注焦点。而在人工智能的发展上,深度学习、强化学习、迁移学习等成为了科学界、工业界研究和应用的热点。在实际研究和应用过程当中，研究人员逐渐发现了深度学习单独应用的缺点，如没有决策能力，不可推理等。而深度强化学习，作为一种崭新的机器学习方法,同时具有感知能力和决策能力，它是深度学习与强化学习的结合，二者的结合涵盖众多算法、规则、框架,并广泛应用于机器人、无人机、无人车、无人艇、兵棋推演、自动驾驶、能源分配、编队控制、航迹规划、路由规划等众多领域，具有极高的研究与应用价值。

为积极响应科研及工作人员需求，根据《国务院关于推行终身职业技能培训制度的意见》提出的“紧跟新技术、新职业发展变化，建立职业分类动态调整机制，加快职业标准开发工作”要求，加快构建与国际接轨、符合我国国情的现代职业分类体系，中国人工智能培训网（https://www.chinaai.org.cn）联合有关单位特举办“通用AI核心算法-深度强化学习核心技术理论与应用研修班”。本次培训采用理论+实战培训模式。

本次培训由北京龙腾亚太教育咨询有限公司承办并进行相关费用收取及发票开具。具体通知如下：

一、培训专家:

来自中科院自动化所、北京理工大学、南京大学、哈尔滨工程大学、复旦大学等科研机构和大学的专业师资授课，拥有丰富的科研及工程技术经验，长期从事人工智能、机器学习、深度学习、强化学习、大数据分析等领域的教学与研究工作。

二、时间安排:

2025年6月26日-6月29日 济南（同时转线上直播）

（第一天报到发放上课材料，授课三天）

三、参会对象：

各省市、自治区从事人工智能、机器学习、计算机视觉、自然语言处理、无人机、无人艇、无人车、机器人、智能体、多智能体、兵棋推演、自动驾驶、能源分配、编队控制、航迹规划、路由规划等领域相关的企事业单位技术骨干、科研院所研究人员和大专院校相关专业教学人员及在校研究生等相关人员，以及强化学习、人工智能广大爱好者。

四、培训目标：

1、了解基础强化学习与强化学习前沿方向。

2、掌握基于值函数估计的强化学习方法与深度策略梯度方法

3、掌握单智能体深度强化学习。

4、掌握多智能体深度强化学习。

5、掌握多任务深度强化学习。

6、掌握强化学习应用领域无人机空战、大语言模型微调技术、AlphaGo围棋智能体、交通信号灯智能控制、计算机视觉、自然语言处理。

7、实现Mujoco仿真环境。

8、实际体验Atari视频游戏控制、OpenAI Gym、倒立摆和小车倒立杆。

五、费用标准：

A类、4980元/人（含报名费、培训费、资料费、午餐费、场地费、A类证书费）。

B类、7980元/人（含报名费、培训费、资料费、午餐费、场地费、A类证书费、B类证书费）。

注：住宿可统一安排，食宿费用自理

1、培训费由组织培训班的施教机构负责收取并提供培训发票。

2、报名5人以上可享受9折优惠。

3、B类证书费不享受优惠

4、参加线上、线下培训学员均可享受视频录播回放权益，及本人再次免费参加线下同主题课程学习权益。

六、颁发证书：

A类：参加相关培训并通过考核的学员，由北京龙腾亚太教育咨询有限公司颁发《深度强化学习核心技术理论与应用》培训结业证书。。

B类、参加相关培训并通过考核的学员，由工业和信息化部教育与考试中心颁发《人工智能机器视觉应用》（高级）职业技能证书，可通过工业和信息化部教育与考试中心官方网站查询，并纳入工信部教育与考试中心人才库，该证书可作为有关单位职称评定、专业技术人员能力评价、考核和任职的重要依据。

注：报到时请提交电子版彩照（大于20KB，红蓝底皆可）、身份证复印件和学历证明复印件各一份。

七、注意事项

1、指定报名邮箱：2044115758@qq.com。

2、报名成功后，会务组在上课前两天发放上课所需所有材料。

3、学员需自备电脑一台，配置win10、64位系统、8G内存、100G硬盘。

八、联系方式

联系人：张 杰

手 机：13401149170（微信同号）

电 话：010-81311930

报名邮箱：2044115758@qq.com

具体课程安排：

关键点

1.强化学习的发展历程

2.马尔可夫决策过程

3.值函数估计方法

4.策略梯度方法

5.深度强化学习-DQN算法系列

6.深度策略梯度-DDPG,PPO等

7.强化学习前沿方向-探索与利用，分层强化学习等

8.强化学习实际应用场景

第一天

9:00-12:00 14:00-17:00

一、强化学习概述

具体内容：

1.强化学习介绍       

2.强化学习与其它机器学习的不同

3.强化学习发展历史   

4.强化学习典型应用

5.强化学习基本元素   

6.强化学习算法分类

二、强化学习基础知识

具体内容：

1.马尔可夫决策过程

2.状态值函数概念

3.动作值函数概念

4.动态规划方法

5.贝尔曼最优方程

6.价值迭代方法

三、基于值函数估计的强化学习方法

具体内容：

1.Q-learning

2.SARSA

3.TD-方法

4.蒙特卡洛控制方法

5.线性函数逼近

6.常见的特征表示方法

7.Fitted Q Iteration

8.策略迭代+最小二乘法

9.维数灾难

实操案例：

1. Sarsa方法python实现

2. Q学习方法python实现

3. Sarsa(lambda)方法python实现

四、策略梯度方法

具体内容：

1.基于策略的强化学习

2.有限差分策略梯度

3.REINFORCE算法

4.Actor-Critic

5.确定型Actor-Critic

实操案例：

1. reinforce方法python实现

2. actor-critic方法python实现

第二天

9:00-12:00 14:00-17:00

五、深度强化学习方法

具体内容：

1.深度Q网络

2.Double-DQN

3.优先DQN

4.Dueling-DQN

5.DQN的其他改进方法

实操案例：

1.深度强化学习训练场-OpenAI Gym 安装与使用

2. Pytorch安装与使用

3. DQN方法实现Atari游戏控制

六、深度策略梯度方法

具体内容：

1.A3C方法

2.深度确定性策略梯度方法

3.PPO方法

4.TD3方法

5.SAC方法

实操案例：

1.基于DDPG算法实现月球飞船降落任务

2.基于stablebaselines3训练自动驾驶任务

七、多智能体强化学习

具体内容：

1.多智能体强化学习的基本求解范式

2.多智能体强化学习问题建模

3. IPPO 算法

4. MADDPG 算法

实操案例：

1.格子世界强化学习python实现

2.多粒子环境强化学习python实现

八、强化学习前沿方向

具体内容：

1.探索与利用

2.基于模型强化学习方法

3.离线强化学习

4.分层强化学习

实操案例：

1.离线强化学习D4RL环境配置

2.离线强化学习算法BCQ实现

3.探索环境MiniGrid实现

第三天

9:00-12:00 14:00-17:00

九、强化学习应用

具体内容：

1. AlphaGo围棋智能体

2. 大语言模型微调技术

3. RLHF介绍

4. 无人机空战

5. 交通信号灯智能控制

6. 未来强化学习挑战与局限

实操解析与训练一

实验：倒立摆和小车倒立杆实践

1.环境编写 2.算法设计 3.实验结果

高频问题：

如何将一个控制问题设计成马尔可夫决策问题并使用强化学习算法进行训练

关键点：

1.基于DQN的深度强化学习方法 2.基于数据的在线强化学习方法

实操解析与训练二

实验：Open AI Gym实践

1.Gym安装 2.Gym使用 3.强化学习

高频问题：

1.如何基于Gym实现强化学习训练与测试

关键点：

1.掌握马尔可夫决策过程 2.低维输入的强化学习方法

实操解析与训练三

实验：Atari视频游戏控制

1.DQN/Double DQN/Dueling DQN 2.PER

高频问题：

1.深度强化学习网络训练稳定性 2.探索与利用

关键点：

1.经验回放技术的实现 2.目标网络更新

实操解析与训练四

实验：Mujoco仿真环境实现

1.连续控制任务 2.策略梯度方法DDPG/PPO

高频问题：

1.适用于高维输入的连续控制任务的深度强化学习方法

关键点：

1.掌握DDPG具体编程实现

2.结合stablebaselines3强化学习库，根据实际需求选用合理的深度强化学习方法