과거 현실 공간이나 사물을 디지털 3D 데이터로 제작하려면 전문 3D 스캐너나 다수의 사진을 활용한 포토그래메트리 작 업이 필요했다. 최근에는 스마트폰으로 촬영한 이미지나 영상을 기반으로 현실 공간을 비교적 간편하게 3D로 재현할 수 있 는 기술이 빠르게 발전하고 있다. 그 중심에 있는 기술 가운데 하나가 3D Gaussian Splatting(3DGS)이다. 3DGS는 여러 시점에서 촬영한 사진을 분석해 공간을 수많은 3차원 Gaussian 데이터로 표현하는 방식이다. 기존의 폴리 곤 기반 3D 모델링과는 구조가 다르지만, 복잡한 현실 공간의 외형과 조명 정보를 비교적 높은 사실감으로 재현할 수 있다는 점에서 주목받고 있다. 특히 최근에는 스마트폰 카메라로 촬영한 사진이나 영상을 활용해 3DGS 데이터를 생성할 수 있는 서비스가 등장하면서, 전문가뿐 아니라 일반 사용자도 현실 공간을 3D 콘텐츠로 만드는 작업에 접근하기 쉬워지고 있다.

■포토그래메트리·NeRF 에이어주목받는3D Gaussian Splatting 

기존 현실 공간 디지털화에는 포토그래메트리(Photogrammetry) 기술이 널리 활용돼 왔다. 포토그래메트리는 다양한 각 도에서 촬영한 사진을 분석해 점군(Point Cloud)과 메시(Mesh)를 생성한 뒤 텍스처를 입히는 방식으로, 게임 개발·VFX·문 화재 기록·측량 등 다양한 분야에서 사용되고 있다. 최근에는 Neural Radiance Fields, 이른바 NeRF가 등장하면서 사진을 기반으로 공간의 시점별 색상과 광학 정보를 학습 해 새로운 시점의 영상을 생성하는 방식도 주목받았다. 3D Gaussian Splatting 은 이러한 Neural Rendering 기술의 흐름을 이어가면서도 실시간 렌더링에 유리한 특성을 보여 관심을 받고 있다. NVIDIA는 3DGS 계열 기술을 현실 공간 재구성과 로봇 시뮬레이션 등에 적용하고 있으며, 스마트폰 사진 만으로 실제 공간을 재구성해 Isaac Sim에 활용하는 워크플로도 공개했다. 

■스마트폰촬영만으로시작할수있는3D 캡처 

3DGS 제작 과정은 일반적으로 하나의 대상이나 공간을 여러 위치와 각도에서 촬영하는 것에서 시작한다. 사용자가 스마 트폰을 들고 대상 주변을 이동하면서 사진이나 영상을 촬영하면, 소프트웨어가 영상 프레임에서 카메라의 위치와 방향을 추 정하고 이를 기반으로 공간의 형태와 색상 정보를 재구성한다. 대표적인 서비스 중 하나인 Polycam은 사진 또는 영상을 이용한 Gaussian Splat 생성 기능을 제공한다. 반사 표면이나 가는 구조물, 넓은 공간 등 기존 방식에서 까다로운 대상을 비교적 자연스럽게 재현하는 데 장점이 있다. 다만 촬영만으로 모 든 처리가 끝나는 것은 아니며, 이미지 정합·카메라 포즈 추정·3DGS 학습 및 후처리에는 별도의 연산 과정이 필요하다. 따라서 “스마트폰 자체가 전문 3D 스캐너를 완전히 대체한다”기보다는, 스마트폰이 3D 캡처를 위한 접근 가능한 입력 장 치가 되고 클라우드나 PC의 후처리 기술이 결합되면서 제작 진입장벽이 크게 낮아졌다고 보는 편이 정확하다.

■게임·VFX· 디지털트윈분야에서활용확대

3D Gaussian Splatting 이 특히 주목받는 분야는 대규모 공간이나 복잡한 현실 환경을 빠르게 디지털화해야 하는 영역이 다. 게임 개발에서는 실제 장소를 참고하기 위한 레퍼런스 제작, 배경 환경 구축, 프리비주얼라이제이션 등에 활용할 수 있으 며, VFX 분야에서는 촬영 공간 기록이나 가상 배경 제작 등에 활용 가능성이 있다. 건축·도시계획·로봇 시뮬레이션·디지털 트윈 분야에서도 현실 공간을 빠르게 확보하는 방법으로 연구와 적용이 확대되고 있다. NVIDIA는 Neural Reconstruction 기술을 자율주행과 로보틱스 시뮬레이션 환경 구축에 활용하고 있다. Apple도 2026년 RealityKit에 3D Gaussian Splat 렌더링 지원을 추가했다. 이는 3DGS가 연구 단계에 머무르기보다 실제 공간컴퓨팅·실시간 3D 콘텐츠 제작 파이프라인으로 점차 들어오고 있음을 보여주는 사례다. 

■아직은 게임용3D 모델자동생성과는차이 

다만 3D Gaussian Splatting 을 기존의 3D 모델링 작업을 완전히 대체하는 기술로 보기는 어렵다. 일반적인 게임 제작에 서는 캐릭터나 오브젝트가 폴리곤 메시, UV, 텍스처, 리깅, 충돌체(Collision) 등의 구조를 갖춰야 한다. 반면 Gaussian Splat 은 수많은 3차원 Gaussian 데이터를 이용해 장면의 외형을 표현하는 방식이기 때문에 일반적인 게 임용 메시 모델과는 데이터 구조가 다르다. 따라서 캐릭터 애니메이션이나 정밀한 물리 연산·충돌 판정이 필요한 게임 오브 젝트를 제작할 경우에는 여전히 메시 변환, 리토폴로지, UV 정리, 리깅 등 추가 작업이 필요한 경우가 많다. Polycam 등 일부 서비스는 Gaussian Splat에서 메시를 내려받는 기능도 제공하지만, 이렇게 생성된 메시가 곧바로 상용 게임에 투입할 수 있는 최적화된 에셋이라는 의미는 아니다. 목적에 따라 토폴로지 정리와 텍스처 재작업, LOD 구성, 충돌체 설정 등의 제작 공정이 뒤따를 수 있다. Unity·Unreal Engine 등에서도 Gaussian Splat 데이터를 활용하기 위한 플러그인과 워크플로가 확산되고 있지만, 현재 로서는 기존 3D 에셋 제작 파이프라인을 전면 대체한다기보다 현실 공간 캡처와 사실적인 배경 표현을 보완하는 기술로 이해 하는 것이 적절하다. 

■ AI 가바꾸는3D 콘텐츠제작방식 

최근 3D 콘텐츠 제작 분야에서는 Gaussian Splatting뿐 아니라 이미지 기반 3D 생성 AI, 자동 리토폴로지, 텍스처 생성, 재질 추정 등 다양한 AI 기술이 빠르게 발전하고 있다. 이러한 기술의 공통점은 기존에 많은 시간과 인력이 필요했던 3D 제작 과정 가운데 일부를 자동화하거나 단축한다는 점이다. 스마트폰을 이용한 현실 공간 캡처 역시 이러한 변화의 한 축이다. 촬영만으로 바로 완성된 게임용 3D 모델을 만드는 단계 에는 아직 한계가 있지만, 현실 공간을 빠르게 디지털 데이터로 확보하고 이를 게임, VFX, XR, 디지털 트윈 등에 활용할 수 있 다는 점에서 3D Gaussian Splatting은 향후 3D 콘텐츠 제작 파이프라인의 중요한 기술 중 하나로 자리 잡을 가능성이 높다.