人工智能/机器人/强化学习/大模型
基于学习的任务空间轨迹规划框架：面向不确定性空间机器人的预规划与后处理方法
在浩瀚太空执行装配、维修、 碎片清除等复杂任务时，自由漂浮空间机器人（FFSR）的精准操控是关键。但这类机器人因基座与机械臂的强动力学耦合，加上实际任务中模型参数难精确获取，轨迹规划一直是行业痛点。近日，哈尔滨工业大学团队在《IEEE Transactions on Aerospace and Electronic Systems》发表研究，提出融合预规划与强化学习后处理的复合框架，成功实现不确定环境下的高精度轨迹跟踪，为空间机器人在轨作业提供了新方案。
- 论文标题：Learning-Based Task Space Trajectory Planning FrameWork With Preplanning and Postprocessing for Uncertain Free-Floating Space Robots
- 论文链接：https://ieeexplore.ieee.org/document/10834588
研究背景：空间机器人的“轨迹困境”
自由漂浮空间机器人（FFSR）无需主动控制基座，凭借低能耗优势成为空间任务的核心装备。但其独特的动力学特性带来两大难题：
- 强耦合效应：机械臂运动时，基座会因动量守恒被动晃动，末端执行器的最终位置不仅取决于关节角度，还与运动历史相关，传统规划方法易积累误差。
- 模型不确定性：实际任务中，机器人质量、惯性等参数可能因燃料消耗、载荷变化而偏离标称值，直接导致轨迹跟踪精度下降。
现有技术中，优化方法虽能处理约束，但无法在线调整；纯强化学习（RL）虽能学习不确定性，却因探索空间过大、收敛慢而难以实用。如何兼顾精度、效率与抗干扰能力？哈工大团队给出了创新答案。
创新框架：预规划“铺路”+后处理“纠偏”
团队提出的复合框架将自适应伪谱预规划（ARPM）与李雅普诺夫强化学习后处理（LSAC） 结合，形成“基线引导+误差补偿”的双重保障。
1. 自适应伪谱预规划：为轨迹“画蓝图”
基于机器人标称模型（已知参数的理想模型），ARPM通过以下步骤生成高精度基线轨迹：
- 将连续时间的轨迹优化问题转化为离散非线性规划问题，用勒让德-高斯-拉道（LGR）点插值逼近轨迹。
- 自适应调整子区间数量和插值点密度：若某段轨迹误差过大，通过曲率分析判断是“剧烈变化”还是“平缓变化”，动态细分区间或增加插值点，确保基线精度。
2. 强化学习后处理：为轨迹“修偏差”
针对模型不确定性，LSAC强化学习模块通过误差反馈实时补偿：
- 训练时引入随机参数扰动（如质量±35%、末端载荷增至300%），让智能体学习应对各类不确定性。
- 以末端执行器位置误差为状态输入，输出关节角速度调整量，与预规划轨迹叠加形成最终控制指令。
- 创新性引入李雅普诺夫函数约束，确保强化学习策略收敛稳定，避免局部最优。
核心优势：精度、效率、稳健性全面升级
相比传统方法，该框架在三大维度实现突破：
- 更高精度：通过预规划基线+后处理补偿，末端轨迹跟踪误差比纯优化方法降低一个数量级，比纯强化学习降低60%以上。
- 更强稳健性：在极端工况（如基座质量减少50%、末端载荷增至400%）下，误差仍控制在毫米级，远超同类技术。
- 实时响应：预规划离线完成，后处理仅需0.67毫秒计算时间，满足在轨任务实时性需求。
实验验证：从模拟到硬件，性能全达标
团队通过数值仿真与气浮平台实验双重验证框架有效性。
数值仿真实验
基于3自由度平面自由漂浮空间机器人（FFSR），模拟不同质量不确定性场景，对比方法包括本文框架（M1）、纯预规划（M3）、纯强化学习（M5）、多目标优化（M6）和深度学习（M7）等。
1. 实验设置
- 机器人模型：3-DoF平面FFSR，基座质量15.0kg，Link3质量0.15kg（易受载荷影响）。
- 不确定性范围：基座及Link1-2质量变化率±35%，Link3（末端载荷）变化率-35%~300%，模拟极端加载场景。
- 任务目标：末端执行器沿直线从初始位置运动至([0.57, 0.18]^T m)，跟踪误差需最小化。
2. 核心结果
- 轨迹精度对比：在典型不确定性下，M1的末端轨迹与期望轨迹几乎重合，而M3（纯预规划）因未补偿误差累积显著，M5（纯强化学习）收敛困难；M1的均方误差(MSE)显著低于其他方法，比M3降低约94%，比M7（深度学习）降低约88%（图4）。
- 稳健性验证：20组随机不确定性场景下，M1的末端轨迹始终最接近期望轨迹，MSE最小，而M3、M6（多目标优化）因忽略不确定性精度较低（图7）；极端工况下，Link3质量增至400%或基座质量减少50%（超训练范围）时，M1误差仍保持毫米级，体现强稳健性（图9-10）。
- 计算效率：M1平均计算时间仅0.67ms，远低于优化类方法（M3需3365ms），满足实时规划需求（表IV）。
硬件实验
基于气浮平台模拟微重力环境，通过加载铅块引入质量不确定性，验证框架在物理系统中的实用性。
1. 实验设置
- 平台特性：气浮平台残余加速度仅(2×10^{-5}g)，模拟微重力；机器人参数与仿真标称值基本一致。
- 不确定性场景：
- 场景1：基座加载（质量+20%）；
- 场景2：末端加载（Link3质量+300%）；
- 场景3：多部件加载（基座+7%、Link2+50%、Link3+200%）。
2. 核心结果
（1）轨迹精度对比
- 基座加载场景：M1的MSE为0.24×10⁻⁴，仅为M3（纯预规划）的6.3%，M5（纯强化学习）因硬件噪声误差最大（图12(f)）。
- 末端加载场景：M1的MSE为0.74×10⁻⁴，优于M7（6.42×10⁻⁴），验证对末端载荷变化的适应性（图15(f)）。
- 多场景汇总：三类不确定性下，M1和M2（能量优化预规划+后处理）的MSE均为最小，显著低于其他方法（表VII）。
（2）硬件稳定性
尽管硬件噪声导致关节速度轻微抖动，但关节角度变化平滑，末端仍能精准跟踪轨迹。
实验结论
- 精度优势：复合框架（M1）在仿真和硬件实验中均实现最小轨迹误差，比纯优化方法降低1-2个数量级，比纯学习方法降低60%以上。
- 稳健性：在极端不确定性和硬件噪声下，误差仍控制在毫米级，验证了对模型不确定性的强适应性。
- 实时性：毫秒级计算时间满足在轨任务实时需求，优于传统优化方法。
预规划与强化学习后处理的结合，有效解决了自由漂浮空间机器人在模型不确定性下的高精度轨迹规划难题。
未来展望：迈向更通用的空间机器人技术
该框架已在单机器人任务中验证有效性，团队下一步将聚焦：
- 提升对不同自由度、尺寸的FFSR的适应性，减少构型变化时的重新训练成本。
- 拓展至多机器人协同场景，助力更复杂的在轨组装、集群作业。
从精准捕获太空碎片到维护卫星设备，空间机器人的每一次精准移动都离不开轨迹规划技术的突破。哈工大这项研究为不确定环境下的空间机器人操控提供了“中国方案”，让太空任务更安全、更高效！