部落格
World-Model與移動機器人路徑規劃
本文由簡體中文內容確定性轉換，並受版本化術語表保護。
1.World Model（世界模型）與移動機器人路徑規劃
1.1.從“預測未來”到“選擇動作”
組會彙報｜論文調研與選題階段
核心問題：World Model（世界模型）到底是在“生成未來”，還是在“做規劃”？
2.什麼是 World Model（世界模型）？
2.1.一個適合當前學習式 World Model（世界模型）的概括
真实观测 o_t
│
▼
状态表示 / 状态估计
│
▼
内部状态 z_t
│ + 动作 a_t
▼
Dynamics Model（动力学模型）
│
▼
未来状态 z_{t+1}, z_{t+2}, ...World Model（世界模型）的核心通常可以概括為：
- World State Representation（世界狀態表示）：把當前環境表示成可供預測的狀態；
- Action-conditioned Dynamics（動作條件動力學）：預測執行動作後，世界如何變化。
根據任務需要，還可以額外加入：
- Decoder（解碼器）：把內部狀態還原成影像、深度、語義等；
- Renderer（渲染器）：從顯式三維場景生成視覺觀測；
- Reward / Value Head（獎勵 / 價值預測頭）；
- Task Head（任務預測頭）。
結論：World Model（世界模型）的共同點不是“生成影片”，而是“建立能夠預測動作後果的內部世界”。
“狀態表示 + 動力學預測 + 可選解碼/任務頭”適合作為分析框架，但不是所有論文都採用同一種結構。
2.2.結構例項：DINO-WM
讀圖重點：左側 DINOv2 將觀測編碼成狀態表示，中間動力學模型預測未來特徵，右側 Planning loss 比較預測特徵與目標特徵，並用於最佳化候選動作。圖中展示了世界模型及使用它的規劃流程。
圖片來源：DINO-WM 官方專案的模型結構圖，對應論文圖 2。
3.World Model（世界模型）不等於 Renderer（渲染器）、Simulator（模擬器）和 Planner（規劃器）
┌─────────────────────────┐
Observation ─────▶│ World Model（世界模型） │
│ │
│ 世界表示 + 动力学预测 │
└───────────┬─────────────┘
│
Future State
未来世界状态
┌────┴────┐
│ │
▼ ▼
Renderer（渲染器） Planner / Policy
│ （规划器 / 策略）
▼ │
RGB / Depth ▼
Action（动作）3.1.Renderer（渲染器）
解決的是：
“這個內部世界從某個視角看起來是什麼樣？”
例如：
3D Gaussian（三维高斯场景）
│
▼
Gaussian Renderer（高斯渲染器）
│
▼
RGB 图像Renderer（渲染器）本身通常不負責時間演化，因此：
Renderer（渲染器） ≠ World Model（世界模型）
3.2.Simulator（模擬器）
解決的是：
“執行動作以後，世界會怎樣變化？”
它既可以是：
- Physics Engine（物理引擎），如 PyBullet、MuJoCo；
- Learned Dynamics Model（學習式動力學模型），如 Transformer（變換器）、Diffusion Model（擴散模型）；
- 兩者結合的 Hybrid Model（混合模型）。
3.3.Planner（規劃器） / Policy（策略）
解決的是：
“根據這些預測，我最後應該執行什麼動作？”
因此需要區分：
- World Model Core（世界模型本體）：負責表示和預測；
- World-Model-Based System（基於世界模型的完整系統）：可能把規劃器、策略、解碼器等一起畫進去。
4.World Model（世界模型）怎樣參與決策？
在线规划 策略学习
候选动作 World Model
│ │
▼ ▼
World Model 世界表示 / 想象经验
│ │
▼ ▼
预测未来 Policy（策略）
│ │
▼ ▼
MPC / CEM Action（动作）
│
▼
Action（动作）
NWM、DINO-WM GWM、X-MOBILITYWorld Model（世界模型）既可以在執行時預測候選動作的未來，也可以主要用於學習更好的 Policy（策略）。
因此，“使用 World Model（世界模型）”並不等於“部署時一定進行 MPC（模型預測控制）搜尋”。
4.1.線上規劃例項：NWM 的候選軌跡評價
讀圖重點：P1、P2、P3 是三個候選軌跡，右側展示各自預測的末幀。NWM 用預測末幀與目標影像的 LPIPS 距離評分，圖中 P3 的損失最低，為 0.369，因此獲得優先選擇。
圖片來源：Navigation World Models，論文圖 7。
4.2.策略學習例項：GWM 的三維世界建模
讀圖重點：三維高斯用於表示場景，3D VAE 將其壓縮為潛在特徵，動作條件動力學模型預測未來，再解碼得到未來高斯場景。
怎樣用於決策： 在論文的模仿學習設定中，GWM 將擴散模型第一次去噪後的中間特徵交給 BC-Transformer 或 Diffusion Policy，由策略輸出動作序列。上圖展示的是未來場景預測鏈路，策略模組沒有畫在圖中。
與 NWM 的區別： 上面的 NWM 例項利用未來影像評價和選擇候選軌跡；這裡的 GWM 利用世界建模得到的特徵支援策略學習，執行時由策略生成動作。論文還探索了將 GWM 作為學習式模擬器，預測狀態和獎勵以支援強化學習訓練。
圖片來源：GWM 官方專案的方法圖。策略介面參見論文 §3.3。
4.3.從 WM 到 WAM
近期的 WAM（World Action Model，世界動作模型）進一步把 Future Prediction（未來預測） 與 Action Generation（動作生成） 結合起來：
Observation / Goal
（观测 / 目标）
│
▼
WAM（世界动作模型）
┌──┴──┐
▼ ▼
未来世界 Action（动作）| 型別 | 主要能力 |
|---|---|
| WM（世界模型） | 預測動作執行後的未來 |
| VLA（視覺-語言-動作模型） | 根據視覺和任務指令直接生成動作 |
| WAM（世界動作模型） | 將未來預測與動作生成聯合建模 |
WAM 可以看作 World Model（世界模型）與機器人 Policy（策略）進一步融合的一種近期趨勢，而不是簡單的“WM + VLA”。
例如 DreamZero 同時建模 Future Visual State（未來視覺狀態）和 Robot Action（機器人動作）。
5.四篇論文中，決策真正使用什麼？
| 論文 | 世界表示 | 預測什麼 | 決策實際使用什麼 | 執行時搜尋動作？ |
|---|---|---|---|---|
| NWM | VAE Latent（潛在表示） | 未來視覺表示 | 解碼後的預測影像與目標影像的視覺距離 | 是，MPC / CEM |
| DINO-WM | DINOv2 Feature（特徵） | 未來視覺特徵 | 預測特徵與目標特徵之間的距離 | 是，MPC / CEM |
| GWM | 3D Gaussian Latent（三維高斯潛在表示） | 未來三維場景 | 世界模型中間特徵 → Policy（策略） | 主要不是 |
| X-MOBILITY | Latent World State（潛在世界狀態） | 未來潛在狀態 | 當前世界狀態 + Route（路線）→ Policy（策略） | 不是主要方式 |
這說明：World Model（世界模型）能生成什麼，和 Planner / Policy（規劃器 / 策略）真正使用什麼進行決策，是兩個不同的問題。
6.World Model（世界模型）與移動機器人路徑規劃
传统方法 World Model（世界模型）
人工建立状态 / 地图 / 动力学 从数据学习世界表示与状态转移
│ │
▼ ▼
Planner（规划器） 预测动作后果
│ │
▼ ▼
Action（动作） Planner / Policy
（规划器 / 策略）
│
▼
Action（动作）6.1.對移動機器人值得繼續研究的問題
1. 預測什麼？
- RGB 影像；
- Feature（特徵）；
- BEV（鳥瞰圖）；
- 3D Gaussian（三維高斯）；
- Latent State（潛在狀態）。
2. 怎樣用於規劃？
- Online Planning（線上規劃）：World Model Rollout（世界模型滾動預測） + MPC / CEM；
- Policy Learning（策略學習）：利用世界模型表示或想像經驗訓練 Policy（策略）。
3. 真正的困難是什麼？
- 長時預測誤差是否會累積；
- 如何保證幾何、碰撞和可通行性約束；
- 什麼表示既容易預測，又真正有利於規劃。
對移動機器人而言，關鍵不一定是生成更真實的未來，而是學習“對規劃真正有用”的未來表示。
7.總結
7.1.當前認識
- World Model（世界模型）的核心是表示世界並預測動作後的未來，而不是單純生成影片。
- 不同方法的關鍵差異，在於“預測什麼表示”以及 Planner / Policy（規劃器 / 策略）如何使用這種表示。
- World Model（世界模型）不是路徑規劃器本身，而是為規劃和決策提供可預測的內部世界。
8.參考論文與官方專案
8.1.重點論文
-
Navigation World Models（NWM）
Amir Bar et al., CVPR 2025 -
DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning
Gaoyue Zhou et al., ICML 2025 -
GWM: Towards Scalable Gaussian World Models for Robotic Manipulation
Guanxing Lu et al., ICCV 2025 -
X-MOBILITY: End-To-End Generalizable Navigation via World Modeling
Wei Liu et al., ICRA 2025
8.2.補充論文
- World Action Models are Zero-shot Policies（DreamZero）
Seonghyeon Ye et al., 2026