프로그래밍선

[떠먹여주는 논문리뷰] H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning (arXiv 2026)

arXiv · 2026.10https://arxiv.org/pdf/2610.06805v1https://github.com/kevinghst/H-JEPAAbstractlatent world model로 long-horizon planning을 수행하려면 서로 다른 timescale과 abstraction level에 걸쳐 추론해야 함.기존 task-agnostic JEPA world model은 하나의 latent space에서, 흔히 단일 timescale로 예측하고 planning함.각 level이 자신이 학습한 latent space에서 더 먼 미래를 예측하는 action-conditioned JEPA hierarchy를 end-to-end로 학습하는 방법인 H-JEPA를 제안함.Planning은 t..

[떠먹여주는 논문리뷰] DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning

arXiv · 2024.11https://arxiv.org/pdf/2411.04983v2https://github.com/gaoyuezhou/dino_wmAbstractControl action이 주어졌을 때 미래 결과를 예측하는 능력은 physical reasoning의 기초임.그러나 흔히 world model이라 부르는 이러한 predictive model을 학습하는 일은 여전히 어려우며, 보통 online policy learning을 이용하는 task-specific solution을 위해 개발됨.World model의 잠재력을 충분히 활용하려면 1) 미리 수집한 offline trajectory로 학습 가능하고, 2) test-time behavior optimization을 지원하며, 3) t..