인텔 랩, 텍스트로 360도 이미지 생성 가능한 AI 확산 모델 ‘LDM3D’ 공개 > IT

[리뷰타임스=김우선 기자] 인텔 랩은 블록케이드 랩(Blockade Labs)과 협력해 생성형 인공지능(AI)을 사용해 사실적인 3D 시각 콘텐츠를 제작하는 새로운 확산 모델인 LDM3D(Latent Diffusion Model for 3D)를 공개했다.

LDM3D는 업계 최초로 확산 프로세스를 사용해 뎁스 맵(depth map)을 생성하며, 선명하고 몰입감 있는 360도 3D 이미지를 생성한다. LMD3D는 콘텐츠 제작, 메타버스 애플리케이션, 디지털 경험의 혁신을 통해 엔터테인먼트, 게임, 건축, 디자인에 이르기까지 다양한 산업을 바꿀 잠재력을 가지고 있다.

바스데브 라르(Vasudev Lal) 인텔 랩 인공지능/머신러닝 담당 과학자는 "생성형 AI 기술의 목표는 인간의 창의력을 더욱 향상시키며 시간을 절약하는 것이다. 그러나 오늘날 생성형 AI 모델은 대부분 2D 이미지 생성에 국한되어 있으며 텍스트로 3D 이미지를 생성할 수 있는 모델은 극소수에 불과하다”며 “기존의 잠재 안정 확산 모델과 달리 LDM3D를 사용하면 거의 동일한 수의 파라미터를 사용하여 주어진 텍스트 프롬프트에서 이미지와 뎁스 맵을 생성할 수 있다. 깊이 추정을 위한 표준 후처리 방법에 비해 이미지의 각 픽셀에 대해 더 정확한 상대적 깊이를 제공하며 개발자는 상당한 시간을 절약할 수 있다"고 말했다.

폐쇄적인 생태계에서는 확장이 제한될 수밖에 없다. 인텔은 개방형 생태계를 통해 더 많은 사람들이 AI의 혜택을 누릴 수 있도록 노력하고 있다. 최근 몇 년 간 상당한 발전을 이룬 분야 중 하나는 바로 컴퓨터 비전 분야, 특히 생성형 AI 분야이다. 다만, 현재 고급 생성형 AI 모델 중 상당수는 2D 이미지 생성에 국한되어 있다.

일반적으로 텍스트 프롬프트에서 2D RGB 이미지만 생성하는 기존 확산 모델과 달리, LDM3D를 사용하면 주어진 텍스트 프롬프트에서 이미지와 뎁스 맵 모두 생성할 수 있다. 잠재 안정 확산 모델과 거의 동일한 수의 파라미터를 사용하는 LDM3D는 깊이 추정을 위한 표준 포스트 프로세싱 방법 대비 이미지 각 픽셀에 대한 더욱 정확한 상대적 깊이를 제공한다.

LDM3D로 생성된 이미지와 뎁스 맵을 통해 사용자는 텍스트 묘사를 고요한 열대 해변, 현대적인 고층 빌딩 또는 공상 과학 세계의 설명을 360도 디테일한 파노라마로 전환할 수 있다. 방대한 정보를 포착할 수 있는 이 기능은 전반적인 사실감과 몰입감을 즉각적으로 향상시켜 엔터테인먼트, 게임, 인테리어 디자인, 부동산 목록은 물론 가상 박물관부터 몰입형 가상 현실(VR) 경험까지 다양한 산업 분야에서 혁신적인 애플리케이션을 구현할 수 있다.

LDM3D는 6월 20일 CVPR(컴퓨터 비전 및 패턴 인식 컨퍼런스)에서 열린 3DMV 워크샵에서 우수 포스터 상(Best Poster Award)을 수상했다.

LDM3D는 4억 개 이상의 이미지 및 캡션을 포함하고 있는 LAION-400M 데이터 베이스의 10,000개 샘플 하위 집합으로 구성된 데이터 세트 기반으로 학습됐다. LDM3D 모델은 인텔 제온 프로세서와 인텔 하바나 가우디 AI 가속기로 구동되는 인텔 AI 슈퍼컴퓨터에서 학습됐다. 결과 모델 및 파이프라인은 생성된 RGB 이미지와 뎁스 맵을 결합해 몰입감 넘치는 360도 뷰를 생성한다.

인텔은 오는 18일부터 22일까지 개최하는 IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스(CVPR)에서 해당 연구 결과에 대해 발표할 예정이다.

<ansonny@reviewtimes.co.kr>

<저작권자 ⓒ리뷰타임스, 무단전재 및 재배포 금지〉