엔비디아, AI 에이전트로 옴니버스 시뮬레이션 구축하는 개발자들 선보여
엔비디아는 최첨단 AI 에이전트와 옴니버스 라이브러리를 결합해 물리 기반 시뮬레이션을 구축하고 테스트하는 일련의 개발자 프로젝트를 공개했다.
한 줄 답
엔비디아는 개발자들이 옴니버스(Omniverse) 시뮬레이션 도구와 AI 에이전트를 함께 사용하는 방안에 대해 무엇을 발표했는가?
NVIDIA는 자사의 여러 팀에 소속된 개발자들이 Astra와 Claude Fable 5를 비롯한 최첨단 AI 에이전트를 NVIDIA Omniverse 라이브러리와 함께 활용해 시뮬레이션 애플리케이션을 구축한 사례를 소개하는 블로그 게시물을 공개했다. 이들이 다룬 분야는 창고 자동화, 가스터빈 테스트, 로봇 훈련, 자율주행 워크플로, 그리고 브라우저 기반 우주정거장 모델에 이른다.
핵심 요약
- NVIDIA는 최첨단 AI 에이전트와 NVIDIA Omniverse 라이브러리를 결합해 시뮬레이션 애플리케이션을 구축하는 내부 및 생태계 개발자 프로젝트들을 소개했다.
- 이번 프로젝트에는 현장 스캔을 바탕으로 창고 건물을 재구성한 사례, 가스터빈 시나리오를 분석하는 '만약에' 분석 도구, 2,000개가 넘는 라이브러리 자산을 활용할 수 있는 SimReady 주방 장면, 그리고 컨베이어 80대와 로봇 암 40대, 상자 800개가 동시에 작동하는 상황에서도 초당 30프레임을 유지했다고 엔비디아가 밝힌 창고 시뮬레이션이 포함된다.
- NVIDIA에 따르면 개발자들은 AI 에이전트를 활용해 전자제품 조립용 유연 케이블 배선을 테스트하고, 로봇 CAD 모델을 SimReady 에셋으로 변환하며, 1인칭과 3인칭 시점을 지원하는 휴머노이드 창고 시뮬레이터를 구축하는 작업도 진행했다.
- '제로 투 알파마요'라는 자율주행 프로젝트는 재사용 가능한 샌프란시스코 거리 시뮬레이션을 구축했으며, 별도의 센서 검증 프로젝트는 아스트라와 클로드 페이블 5 에이전트를 활용해 시뮬레이션 데이터와 실제 녹화된 카메라·라이다 데이터를 비교함으로써 디지털 트윈의 정확도를 높였다.
- '로보 올림픽'이라는 프로젝트에서 엔비디아는 시뮬레이션된 유니트리 G1 휴머노이드 로봇이 100회의 시뮬레이션 시도 중 64회에서 장애물 하나를 넘는 데 성공했다고 밝혔다. 개발자들은 이 결과를 토대로 로봇의 타이밍과 제어를 개선했다.
NVIDIA, AI 에이전트와 옴니버스를 결합한 개발자 프로젝트 공개
NVIDIA가 블로그 게시물을 통해 자사 여러 팀의 개발자들이 Astra와 Claude Fable 5를 포함한 프런티어 AI 에이전트를 NVIDIA 옴니버스 라이브러리와 함께 활용해 물리 기반 시뮬레이션을 구축하고 테스트한 일련의 프로젝트를 공개했다. NVIDIA에 따르면 개발자는 자연어 지시를 통해 에이전트를 제어하고 결과를 검토하며 추가 수정 방향을 제시하는 역할을 맡고, 옴니버스 라이브러리는 GPU 가속 물리 연산, 렌더링, 센서 시뮬레이션을 제공한다.
창고 및 산업 분야 사례
NVIDIA는 시뮬레이션 기술팀의 David Wehr가 Astra를 이용해 파노라마 사진과 포인트 클라우드 측정 데이터로부터 건물을 재구성했다고 밝혔다. 이를 통해 실제 변경에 앞서 창고 배치를 평가할 수 있는, 편집 가능하고 시뮬레이션에 바로 활용할 수 있는 모델을 만들어냈다는 것이다. 또 다른 프로젝트에서는 옴니버스 개발자 관계팀의 Pradeep Kaushik이 Astra에 지시를 내려 시뮬레이션된 가스 터빈과 발전기를 중심으로 한 가상 시나리오(what-if) 분석 애플리케이션을 구축했다. 이 작업에는 Cantera와 SciPy 등의 도구가 사용됐으며, 부하 변화, 연료 밸브 고착, 배기 센서 오류 등의 시나리오를 다루는 6가지 테스트 절차가 포함됐다.
NVIDIA는 또한 수석 엔지니어 Bhavik Sanganee가 대규모 성능 테스트를 위해 구축한 창고 시뮬레이션도 소개했다. 회사 측에 따르면 이 시뮬레이션은 컨베이어 80개, 로봇 암 40개, 박스 800개로 진행된 2분간의 테스트에서 풀HD 해상도 기준 초당 30프레임을 유지하며 박스 배치 640건을 성공적으로 완료했다. 다만 장면 규모를 다시 두 배로 늘리자 성능이 저하됐으며, 테스트 결과 그 원인이 물리 연산 및 로봇 제어 파이프라인에 있는 것으로 확인됐다.
로보틱스 및 에셋 제작 프로젝트
NVIDIA에 따르면 옴니버스 문서화팀의 Paul Kind는 AI 에이전트를 활용해 SimReady Central Library에서 주방 장면을 구성했다. 이 라이브러리는 2,000개 이상의 시뮬레이션 준비(simulation-ready) USD 에셋을 제공하며, 이번 작업에서는 고유 라이브러리 에셋 63종에서 가져온 배치 180건과 커스텀 지오메트리 18종이 결합됐다.
NVIDIA가 소개한 다른 프로젝트로는 로보틱스 기술 마케팅 매니저 Oyindamola Omotuyi가 Isaac Lab과 Newton 물리 엔진을 이용해 구축한 전자제품 조립 공정의 유연 케이블 배선 로봇 시뮬레이션, ABB 로보틱스의 YuMi CAD 모델을 SimReady 에셋으로 변환한 작업(시뮬레이션 테스트에서 큐브 집어 놓기 사이클 4회를 완료했다고 NVIDIA는 설명), 그리고 옴니버스 제품 매니저 Frank DeLise가 구축한 1인칭 및 3인칭 시점을 지원하는 휴머노이드 창고 시뮬레이터 등이 있다.
자율주행 및 센서 검증
NVIDIA에 따르면 Doyub Kim은 샌프란시스코 마켓 스트리트를 기반으로 재사용 가능한 시뮬레이션 환경인 'Zero to Alpamayo'를 구축해 장면, 센서, 주행 모델의 변화가 자율주행차 시뮬레이션 결과에 미치는 영향을 테스트했으며, 날씨와 조명 조건을 달리한 별도의 실험도 진행했다. 또 다른 프로젝트에서는 Ashley Reid가 약 3일에 걸쳐 Astra와 Claude Fable 5 에이전트를 활용해 시뮬레이션된 카메라 및 라이다 출력을 실제 기록 데이터와 비교했다. 이 과정에서 디지털 트윈 2개를 처음부터 새로 제작했고, 측정된 오차를 바탕으로 기존 디지털 트윈 2개를 개선했다.
NVIDIA는 Tae Kim이 주도한 'Robo Olympics' 프로젝트도 소개했는데, 여기서는 시뮬레이션된 Unitree G1 휴머노이드 로봇이 100회 시도 중 64회 성공률로 단일 장애물을 통과했다. 이와 함께 자동차 서스펜션을 대상으로 한 로봇 분해 테스트, 그리고 NASA 에셋과 옴니버스 렌더링 도구를 활용해 브라우저에서 볼 수 있도록 제작한 국제우주정거장(ISS) 모델도 함께 공개됐다.
출처: NVIDIA 블로그, "Into the Omniverse: How Developers Turn Ideas Into Simulations With Frontier AI Agents," 2026년 10월 29일 게재.
자주 묻는 질문
- 이 프로젝트들에서 개발자들은 어떤 도구를 사용했나요?
- NVIDIA에 따르면 개발자들은 아스트라(Astra)와 클로드 페이블 5(Claude Fable 5) 같은 최첨단 AI 에이전트를 NVIDIA 옴니버스(Omniverse) 라이브러리와 함께 사용했다. 렌더링을 위한 ovrtx, 장면 업데이트를 위한 ovstage, 물리 연산을 위한 ovphysx, 인터페이스를 위한 ovui 등이 활용됐으며, 모델 저장에는 OpenUSD가 쓰였다.
- SimReady Central Library란 무엇인가요?
- 엔비디아는 독일 베를린에서 열린 GTC에서 발표한 심레디 센트럴 라이브러리(SimReady Central Library)를 통해 개발자들이 로보틱스 시뮬레이션과 AI 팩토리 디지털 트윈 워크플로우에 활용할 수 있는 장비 제조사 및 에셋 제공업체의 시뮬레이션 레디 USD 에셋 2,000여 종에 접근할 수 있게 됐다고 밝혔다.
- 창고 스트레스 테스트는 어떤 결과를 보여주었는가?
- 엔비디아는 컨베이어 80개, 암 40개, 박스 800개로 구성된 창고 시뮬레이션에서 2분간 테스트를 진행한 결과 풀HD 해상도로 초당 30프레임을 유지했으며, 암이 640회의 박스 배치를 성공적으로 완료했다고 밝혔다. 다만 장면 규모를 다시 두 배로 늘리자 성능은 또다시 떨어졌다.
- 자율주행 프로젝트에서는 무엇을 테스트했나요?
- 엔비디아에 따르면 시뮬레이션 기술팀의 한 매니저가 아스트라에게 '제로 투 알파마요(Zero to Alpamayo)'를 구축하도록 지시했다. 이는 샌프란시스코 마켓 스트리트를 기반으로 한 재사용 가능한 시뮬레이션 환경으로, 장면이나 센서, 주행 모델의 변화가 자율주행차 시뮬레이션 결과에 어떤 영향을 미치는지 테스트하기 위한 것이다.