엔비디아 ‘코스모스 3’, 물리 AI의 토대

엔비디아가 Hugging Face를 통해 오픈 옴니 모델 ‘코스모스 3(Cosmos 3)’를 공개했습니다. 세계 생성, 물리 추론, 행동 생성을 하나의 모델에 통합한 ‘세계 기초 모델(world foundation model)’로, 로봇·자율주행·스마트 공간 같은 ‘물리 AI(physical AI)’의 토대를 노린 것이 핵심입니다.

"Cosmos 3 gives you the foundation to simulate and understand the physical world."NVIDIA

왜 중요한가

지금까지 생성형 AI는 주로 텍스트·이미지 같은 ‘디지털 결과물’에 강했습니다. 코스모스 3는 무게중심을 ‘물리 세계의 이해와 시뮬레이션’으로 옮깁니다. Mixture-of-Transformers 구조로 텍스트·이미지·영상·오디오·행동(action)을 함께 처리해, 물리적으로 그럴듯한 영상을 만들고 다음에 일어날 일을 예측합니다. 효율형 Nano(160억 파라미터)와 대규모 연구용 Super(640억 파라미터) 두 종으로 제공돼, 로봇·자율주행 같은 현실 시스템의 ‘학습용 가상 세계’를 만드는 데 쓰입니다.

실무 적용

현실에서 데이터를 모으기 어렵거나 위험한 상황(공장 사고, 도로 위 돌발 상황)을 모델이 시뮬레이션으로 생성해, 로봇·자율주행 시스템을 더 싸고 안전하게 훈련시킬 수 있습니다. Hugging Face Diffusers에 통합돼 접근성도 높습니다. 다만 ‘물리적으로 그럴듯하다’가 ‘정확하다’는 아니므로, 도입 시에는 실제 환경 검증과 안전 경계를 함께 설계하는 것이 전제입니다.

교차 참고

• Hugging Face: Holo3.1 — Fast & Local Computer Use Agents — ‘세계를 이해하는’ 모델과 짝을 이루는, 실제로 ‘행동하는’ 에이전트의 진화를 보완합니다.
• Google Blog: Gemini Omni — 멀티모달 ‘세계 이해’ 경쟁의 또 다른 축을 함께 보여줍니다.

Wemeet의 관점

AI의 다음 전장은 화면 속 결과물을 넘어 ‘물리 세계의 이해’로 확장되고 있습니다. Wemeet은 이런 흐름이 디지털 제작에 주는 함의를 먼저 읽고, 시뮬레이션·예측이 ‘그럴듯함’에 그치지 않도록 검증과 책임 경계를 함께 설계하는 접근을 우선합니다.