ATEEZ 'BAD' MV 비하인드: VFX 파이프라인에서 '온셋 LiDAR 데이터'가 설계도가 되는 이유

안녕하세요, 75mm studio입니다.

최근 저희 팀은 에이티즈(ATEEZ)의 'BAD' 뮤직비디오 촬영 현장에서 고정밀 온셋 3D 데이터 아퀴지션(On-set Data Acquisition)을 진행하였습니다. 이번 프로젝트의 핵심 미션은 단순히 현장의 외형을 기록하는 것을 넘어, 포스트 프로덕션 단계의 VFX 스튜디오에서 즉시 파이프라인에 통합해 사용할 수 있는 고정밀 지오메트리(Geometry) 기반의 LiDAR 데이터를 구축하는 것이었습니다.

오늘 포스팅에서는 헐리우드를 비롯한 글로벌 정통 VFX 스튜디오들이 왜 제작 초기 단계부터 온셋 LiDAR 데이터를 강력히 요구하는지, 그리고 이 데이터가 어떻게 전체 파이프라인을 병렬화하여 제작 기간과 비용을 혁신적으로 단축하는지 기술적으로 짚어보겠습니다.

1. VFX 파이프라인이 LiDAR 데이터를 요구하는 기술적 당위성

VFX(시각효과) 공정에서 실사 촬영본(Plate)과 CG 요소를 정교하게 정합하는 작업은 고도의 수학적 정밀함을 요구합니다. LiDAR 스캔 데이터는 이 과정에서 모든 공정의 기준이 되는 ‘그라운드 트루스(Ground Truth, 절대적 기준점)’를 제공합니다.

• 매치무브(Matchmove) 솔빙 정밀도 극대화: 카메라 트래킹 툴(3DEqualizer, PFTrack 등)을 이용해 플레이트의 카메라 경로를 재구성할 때, 카메라의 격렬한 움직임이나 특정한 렌즈 왜곡 하에서는 계산상의 누적으로 인한 트래킹 밀림 현상(Drift)이 자주 발생합니다. 이때 LiDAR 3D 점군(Point Cloud)을 설베이(Survey) 데이터로 백그라운드에 임포트하여 특징점들을 정렬하면, 카메라 솔버(Solver)의 정확도를 물리적 한계까지 끌어올릴 수 있습니다.
• 1:1 메트릭 스케일(Metric Scale) 일치: 실제 세트장과 연장되는 거대한 가상 환경(디지털 세트)을 빌드할 때, 레이아웃 아티스트와 환경 TD(Technical Director)들은 실제 구조물의 정확한 위치값과 크기를 알아야 합니다. LiDAR가 제공하는 실측 데이터를 기반으로 레이아웃을 잡아야만 가상 카메라와 실사 카메라 간의 왜곡 수치 및 공간 스케일이 100% 일치하게 됩니다.
• FX 시뮬레이션용 콜리전 프록시(Collision Proxy) 확보: 폭발로 인한 파편이 실제 벽에 부딪히거나, 디지털 캐릭터가 물리적으로 환경과 상호작용할 때(Houdini Dynamics 등), 물리 엔진에 대입할 실제 세트의 충돌체(Collision Mesh)가 필수적입니다. LiDAR 기반의 지오메트리를 리토폴로지하여 정밀한 로우폴리곤 프록시 메시를 제작함으로써 가상 물리 연산의 정밀도를 향상시킵니다.
• 정교한 라이팅 투영과 홀드아웃(Holdout) 처리: 실제 구조물 뒤로 CG 에셋이 자연스럽게 가려지는 오클루전(Occlusion) 처리, 그리고 실제 환경에 CG의 그림자를 정확하게 투영하기 위해서는 렌더 엔진(Arnold, RenderMan 등)에서 작동할 홀드아웃 지오메트리(Shadow Matte)가 필요합니다. LiDAR로 취득한 정확한 위치값의 메시가 이 역할을 완벽히 수행하여 합성(Compositing) 단계의 이질감을 제로에 가깝게 만듭니다.

2. 병렬 워크플로우(Parallel Workflow) 구축을 통한 제작 기간 및 비용의 획기적 단축

LiDAR 데이터 도입의 가장 실질적이고 강력한 상업적 장점은 바로 VFX 파이프라인의 '병렬화(Parallelization)'에 있습니다.

전통적인 VFX 공정은 촬영본 수급 -> 에디트(Cut) 확정 -> 매치무브/카메라 트래킹 -> 에셋 배치 -> 라이팅 -> 합성 순으로 진행되는 선형적(Linear) 구조를 가집니다. 앞 단계가 끝나지 않으면 뒷 단계의 아티스트들이 대기해야 하는 '파이프라인 병목(Bottleneck)'이 필수적으로 발생하며, 이는 곧 프로덕션 비용 상승으로 직결됩니다.

하지만 고정밀 온셋 LiDAR 스캔을 통해 촬영 당일 '마스터 디지털 트윈(Master Digital Twin)'을 확보하면 이 선형적 디펜던시(Dependency)가 완전히 무너집니다.

[전통적인 선형 워크플로우 (Linear Workflow)]
촬영본 수급 ──> 카메라 트래킹 완료 ──> 모델링/레이아웃 시작 ──> 시뮬레이션/라이팅 (각 파트 대기 발생)

[LiDAR 기반 병렬 워크플로우 (Parallel Workflow)]
촬영 당일 LiDAR 스캔 확보 ──> [마스터 디지털 트윈 에셋 배포]
                             ├──> 모델링 파트: 즉시 실측 기반 에셋 제작 시작
                             ├──> 레이아웃 파트: 컷 확정 전 가상 매치무브 및 블로킹 진행
                             ├──> FX 파트: 프록시 메시 상에서 물리 시뮬레이션 선행 셋업
                             └──> 라이팅 파트: 현장 조명 위치와 매칭되는 버추얼 라이트 프리셋 구축

• 동시다발적 작업 개시 (Day 1 시작): 컷 편집이 확정되지 않았거나 실제 카메라 트래킹 데이터가 추출되기 전이라도, 모든 부서(Asset, Layout, FX, Lighting)가 실측이 보증된 동일한 3D 공간 안에서 동시에 작업을 시작할 수 있습니다.
• 시행착오 및 수정(Iteration) 최소화: 가이드라인 역할을 하는 정밀 3D 지오메트리가 존재하기 때문에, 모델러가 만든 에셋이 레이아웃 단계에서 크기가 맞지 않아 재작업(Re-work)을 해야 하는 치명적인 리스크가 사라집니다.
• 최종 렌더링 리드 타임 단축: FX 아티스트는 플레이트 트래킹이 나오기 전에 이미 LiDAR 프록시 메시 위에서 시뮬레이션 세팅을 끝마칠 수 있고, 라이팅 팀은 가상 라이트를 미리 배치해 둘 수 있습니다. 최종 카메라 트랙이 나오는 즉시 조립만 하면 렌더링으로 직행할 수 있는 구조가 완성됩니다.

결과적으로, 이 병렬 작업을 통해 전체 포스트 프로덕션 일정을 최소 30% 이상 단축할 수 있으며, 이는 고가 아티스트들의 리소스 낭비를 막고 전체 프로젝트의 제작 단가를 비약적으로 낮추는 가장 확실한 비용 절감 솔루션이 됩니다.

3. ATEEZ 'BAD' MV LiDAR 데이터 현장 캡처 결과

이번 에이티즈의 'BAD' 뮤직비디오 세트에서 정합한 고정밀 VFX용 LiDAR 점군 및 메시 데이터 세트입니다. 현장의 정교한 파이프라인 배치 및 물리적 구조들을 밀리미터 오차 이내로 시각화하였습니다.

4. 현장에서의 기술적 시도: 3D 가우시안 스플래팅(3DGS)과의 융합

저희 75mm studio는 이번 현장에서 정통 LiDAR 스캔 외에도, 최근 3D 그래픽스 분야에서 가장 뜨거운 화두인 3D 가우시안 스플래팅(3D Gaussian Splatting) 방식을 병행하여 세트장을 캡처했습니다.

• LiDAR 데이터가 파이프라인 전체를 지탱하는 수학적으로 완벽한 '뼈대(물리적 지오메트리 및 설베이 데이터)'를 제공한다면,
• 가우시안 스플래팅(3DGS)은 전통적인 CG 텍스처링 및 쉐이딩 기법으로는 복원하기 까다로운 라디언스 필드(Radiance Field), 즉 세트장에 맺히는 네온사인의 미세한 광학적 반사 및 금속 질감의 사양(Specular)을 극사실적으로 표현해냅니다.

이 두 가지 상호보완적 데이터의 조합은 포스트 프로덕션의 프리비즈(Pre-visualization) 속도를 비약적으로 단축시킬 뿐만 아니라, 향후 메타버스 에셋이나 디지털 트윈 아카이빙 솔루션으로의 확장까지 염두에 둔 혁신적인 테크 파이프라인을 제시합니다.

5. SuperSplat 3DGS Interactive Viewer

아래의 실시간 뷰어는 저희가 현장에서 직접 취득하고 클린업을 마친 길거리 세트의 3D 가우시안 스플래팅 웹 뷰어 시뮬레이션입니다. 실시간 렌더링을 통해 재현되는 세트장의 사실적인 광원과 질감을 직접 마우스로 컨트롤하여 확인해 보시기 바랍니다.