2025.08.20 - #46 - Context as Memory, GameFactory, ReMEmbR, Anything 시리즈 리뷰, ECoT

[changh95]

Interesting papers

Context as Memory: Scene-Consistent Interactive Long Video Generation with Memory Retrieval

• https://context-as-memory.github.io
• https://arxiv.org/pdf/2506.03141
• Genie3와 같은 Video generation 모델들이 3D consistent하게 geometry 생성을 어떻게 하는가?
• 바로 Keyframe을 만들어서, context로서 집어넣는 것... 오호 마치 SLAM 같구나

GameFactory - Creating New Games with Generative Interactive Videos

• https://yujiwen.github.io/gamefactory/
• Genie3와 굉장히 유사함
• 얘는 깊게 얘기하지 않을겁니다. CaM이 잘 적용된 예시를 보여주기 위함임
• 관심있으신 분들께서는 아래 논문도 보세요
  • Position: Interactive Generative Video as Next-Generation Game Engine (https://arxiv.org/abs/2503.17359)
  • A Survey of Interactive Generative Video (https://arxiv.org/abs/2504.21853)

ReMEmbR: Building and Reasoning Over Long-Horizon Spatio-Temporal Memory for Robot Navigation

• https://nvidia-ai-iot.github.io/remembr/
• Visual-language embedding을 사용해서 RAG DB를 구축한 후, LLM을 이용해서 query를 해 navigation을 하는 방식

[james-joobs]

🚀 "Anything" 시리즈 기술 요약

비전 AI에서는 요즘 “Anything” 시리즈 모델들이 주목받고 있음.
Segment Anything으로 시작된 이 흐름은 Depth, Matching, Mesh, Stereo 등 다양한 task에 맞아 범용성과 확장성을 추구하는 방향으로 공개되는 중

---

🟧 Segment Anything (SAM)

• 역할: 범용적인 segmentation 모델로, 다양한 객체나 영역을 사용자의 입력 없이 자동 혹은 반자동으로 분할 가능
• 핵심 기술:
  • Promptable segmentation 구조: 점, 박스, 텍스트 등의 입력(prompt)을 받아 segmentation을 수행
  • Image Encoder: ViT 기반으로 높은 해상도에서도 빠르게 피처 추출
  • Mask Decoder: 이미지와 prompt 정보를 결합해 매스크를 빠르게 생성
  • Zero-shot 성능: 수많은 이미지-마스크 페어로 학습되어 범용적 사용 가능
• 특징: COCO, LVIS를 뛰어넘는 대규모 SA-1B 데이터셋 기반
  🔗 GitHub

---

🗭 Depth Anything V2

• 역할: 단일 이미지로부터 정밀한 depth map 예측
• 핵심 기술:
  • Dual-branch architecture: RGB와 기초 depth feature를 독립적으로 추출
  • Transformer-based depth decoder: Context-aware depth refinement
  • Training: 다양한 실내·실외·합성 데이터셋으로 사전학습(pretraining) 및 전이학습
• 특징: Depth ControlNet으로도 활용 가능하며 depth-to-image, depth-to-3D pipeline에도 쉽게 연동
  🔗 GitHub

---

🟨 MASA – Matching Anything with Segment Anything

• 역할: 프레임 간 dense object matching (object-level tracking, label propagation 등)
• 핵심 기술:
  • SAM 기반 anchor mask 추출
  • Cross-frame matching: 학습 없이 cosine similarity와 label-aware constraint를 이용한 self-supervised matching
  • Fine-grained matching: 동일 객체의 영역을 시공간 일관되게 추적
• 특징: Segment Anything의 zero-shot segmentation 결과를 활용한 post-hoc matching
  🔗 GitHub

---

🟨 Match Anything

• 역할: 다양한 비디오/이미지 시퀀스에서 robust한 object matching & tracking
• 핵심 기술:
  • Self-supervised matching: Ground truth 없이 순서 간 consistency 기반 학습
  • Dynamic object memory: 이전 프레임의 피처를 메모리로 유지하며 robust matching 수행
  • Generalization: unseen 도메인 (예: 의료 영상, 로보틱스)에도 적용 가능
• 특징: Dense matching을 위한 학습된 encoder + non-parametric matching 모듈 조합
  🔗 Homepage

---

🟩 Video Depth Anything

• 역할: 긴 시간의 비디오에서 flicker-free한 depth map 추정
• 핵심 기술:
  • Temporal consistency loss 도입: 이전 프레임과의 depth 차이를 최소화하는 학습 전략
  • 3D spatio-temporal attention: 시공간 일관성 확보
  • Knowledge Distillation: framewise depth teacher로부터 temporal student로 전이
• 특징: depth 추정에서 흔히 발생하는 프레임 간 깜빡임(flicker)을 억제하여 3D 영상 안정성 확보
  🔗 arXiv

---

🟋 Mesh Anything V2

• 역할: 조건 기반 3D 메시 생성 (예: 이미지, 텍스트, shape code 등)
• 핵심 기술:
  • VQ-VAE 기반 shape tokenization: 3D 메시를 정수 토큰 시퀀스로 변환
  • Transformer decoder: 조건 정보를 바탕으로 메시 토큰을 순차 생성 (autoregressive)
  • Multi-view Consistency Loss: 3D shape 품질 보장
• 특징: 3D generative model 중 높은 품질의 메시 생성이 가능하고, 다양한 조건 입력을 수용
  🔗 Homepage

---

⬛ Stereo Anywhere (원제: Stereo Anything)

• 역할: 스테레오 이미지 쌍을 통한 고정밀 depth estimation
• 핵심 기술:
  • Domain-robust training: 실제+합성 스테레오 데이터 혼합 학습
  • Cost volume-based disparity regression: 다중 disparity 수준의 matching 수행
  • Lightweight design: edge device에서도 동작 가능한 효율성
• 특징: 어떤 카메라 환경에서도 적용 가능 (Indoor/Outdoor 모두 strong performance)
  🔗 GitHub

[chae2chae]

ECoT - Robotics Control via Embodied Chain-of-Thought Reasoning

https://embodied-cot.github.io/

• 기존 VLA 모델은 관찰 중간에 추론 과정 없이 곧바로 행동으로 매핑을 하여 일반화 능력이 제한됨 본 연구는 로봇 제어에서 단계별 추론 과정을 도입함으로 써 이한계를 해결하고자 함

A Careful Examination of Large Behavior Models for Multitask Dexterous Manipulation

https://arxiv.org/abs/2507.05331
영상