2부. 모션캡쳐와 이후의 작업:
모션캡쳐 당일 알아두어야 할 사항과 모션캡쳐 이후 데이터 받기

1부에서 설명한 모션캡쳐에 대한 사전 준비가 다 끝났다면 모션캡쳐는 수월해질 것이다. 모션캡쳐 현장에서 당신이 할 일은 오직 하나 뿐이다. 배우에게 준비시킨 동작을 옆에서 잘 지켜보면서 연기지도를 해 주기만하면 된다. 나머지는 숙련된 모션캡쳐 담당자에게 맡긴다.

그렇다면 모션캡쳐 프로세스를 설명하도록 하겠다. 모션캡쳐의 특성을 좀더 자세하게 알 수 있는 기회가 될 것이다.

I. 모션캡쳐 프로세스

빨간 불이 번쩍거리는 모션캡쳐실에 왔다. 어떤 작업들이 벌어질지 한번 짚어 보도록 한다.

1. 광학식 모션캡쳐 프로세스 기초사항

광학식(Optical) 모션캡쳐 스튜디오에 들어가면 우선 사방에 배치된 3m 높이에 위치한 모션캡쳐 카메라가 눈에 뜨일 것이다. 이 카메라는 두 가지 작용을 한다. 적외선 발생과 모션캡쳐 데이터 저장이 그것이다.

에프엑스랩 모션캡쳐 스튜디오

철제 빔에 고정된 모션캡쳐 카메라
(때로는 트라이포드(Tripod)를 사용하기도 한다.)

우선 카메라 앞 부분에는 스트로우브(Strobe)라고 하는 장치에서 적외선을 발사한다. 이 스트로우브에서 발생한 적외선은 모션캡쳐 배우 몸에 부착된 마커에서 반사가 된다. 모션캡쳐 카메라는 이 반사된 데이터를 분당 120~250프레임의 데이터로 저장한다.

빨갛게 발광하고 있는 게 스트로우브, 그 안에 들어가 있는 게 카메라 렌즈이다

마커는 빛에 민감하다. 카메라 불빛에 바로 반응, 번쩍 거리는 마커를 확인할 수 있다.

우리가 보는 모션캡쳐 데이터는 이렇게 반사된 데이터들을 사방에서 수집한 데이터를 모션캡쳐 장비가 3차원적인 X, Y, Z 좌표로 표현되어진 것이다.

모캡 직후 바이콘 워크스테이션으로 데이터를 바로 확인한다

2. 캘리브레이션(Calibration)

모션캡쳐 영역을 확인해 주는 작업이다. 모션캡쳐 시작할 때 모션캡쳐 장비를 켜고 가장 먼저 하는 작업.

만약 카메라가 건드려져서 살짝이라도 움직여졌다면 이 작업은 꼭 다시 해야한다. 그러니까 모션캡쳐 받으러 오는 분들은 절대 카메라 건드리지 말 것! 캘리브레이션 작업을 다시 해야하기 때문에 모션캡쳐 작업에 지장을 준다. 혹시라도 카메라가 떨어져서 망가지기라도 한다면 고치는 비용으로 수백만 원은 각오해야 할 것이다. 그러니까 "절대" 카메라를 건드리지 말 것을 다시 한 번 강조한다.

L-frame 캡쳐: 모션캡쳐 영역의 X, Y, Z 각 방향을 정의하는 작업

Dynamic Calibration: 모션캡쳐 영역을 확인해 주는 일종의 워밍업 단계

3. T포즈 캡쳐

마커가 붙어있는 모션캡쳐복을 입은 모션캡쳐 배우가 가장 먼저 해야 하는 캡쳐다. T포즈 캡쳐(바이콘에서는 Subject Capture라고 한다)라고 얘기한다. 이 T포즈 데이터는 뒤에 이어질 실제 모션캡쳐의 레퍼런스 역할을 한다. 이 데이터를 근거로 각 부위의 명칭을 파악한다.(만약 위의 2번의 당부를 무시하고 카메라를 건드렸다면, 캘리브레이션을 다시 해야 하는 것은 물론, 이 T포즈도 다시 받아야 한다. 당연히 모캡 작업은 그 시간만큼 지연된다.)

T-Pose 캡쳐: 실제 모션캡쳐의 레퍼런스로 사용되어지는 중요한 데이터

캡쳐 받고 각 마커의 이름을 정의하지 않았을 때의 모습(Labeling 이전)

각 마커에게 제 이름을 부여하면 위와 같은 모습으로 나타난다(Labeling 이후)

4. 모션캡쳐

이제 실제 모션캡쳐를 받는다.

기술적인 부분은 모션캡쳐 담당자에게 조언을 구하도록 한다.

이제부터는 오직 배우의 동작에만 주의를 기울이면 된다.

아마도 모션캡쳐를 받을 수 있는 영역에 대한 주의를 줄 것이다(먼저 올렸던 "1부 I. 기획단계 나. 동작의 내용 3) 동작의 범위" 부분에 관련 지식을 자세하게 설명했다).

이제 배우가 지시한 연기나 액션을 제대로 표현하는가를 점검한다. 만약 연기가 안 좋다면 모션캡쳐 작업을 취소하고 다시 모션캡쳐를 받는 게 좋다는 의사를 표시하면 된다.

가급적이면 모션캡쳐실에서는 정숙을 지켜주면 좋다. 너무 많은 인원이 들어온다면 모션캡쳐에 별로 도움이 되지 않거니와, 모션캡쳐 담당자에 부담을 주고 배우의 연기에도 지장을 준다. 이는 데이터에 영향을 미치게 된다.

마커 세팅 장면: 각 신체 부위에 정확하게 위치시키는 게 중요한 포인트

마커는 격렬한 동작에도 제 자리에 위치해야 한다

시간이 어중간해서 중간에 식사를 먹게 되는 경우가 발생한다면 곤란한 일이 생길 수도 있다. 보통은 식사를 한 뒤 모캡복을 입고 다음 식사 이전에 모션캡쳐를 끝낸다(오전이나, 점심식사 후 오후).

간혹 형광물질의 반사재질이 옷이나 신발에 인쇄되어 있는 경우가 있는데 이런 것들은 모션캡쳐시에 방해가 되므로 입고 오지 말 것을 부탁한다. 때에 따라서는 이런 반사재질이 마커로 인식이 되어 모션캡쳐에 지장을 주기도 하기 때문이다. 아마 모르고 입고 왔다면 모션캡쳐시 모션캡쳐 스튜디오에 못 들어가거나 관련 부위를 테이프로 붙여서 가려야 할 것이다.

Start 버튼을 누르면 모션캡쳐가 진행된다(Vicon Workstation 화면)

"Ready... Action!!" 모캡 팀장의 신호에 따라 모션캡쳐가 시작된다

5. 모션캡쳐 데이터 확인

모션캡쳐 중간중간에 모캡 담당자가 데이터를 확인시켜줄 것이다.

모션캡쳐를 받고 중간에 데이터를 확인하고 있다

Vicon Workstation에서 모션캡쳐의 동작, 타이밍 등을 확인하는 장면

모션캡쳐 담당자에게 요구하면 다양한 각도에서 움직임을 파악할 수 있을 것이다. 여기에서 고객이 오케이 하면 모캡 담당자는 이 데이터를 저장한다. 이 데이터는 모션캡쳐가 다 끝난 뒤 작업자가 에디팅하게 된다.

가끔 여러 가지 사정으로(영역을 벗어났다든지, 중요한 마커가 가려졌다든지) 모션캡쳐가 잘 안 되었을 때가 있는데 이럴 때는 모션캡쳐 담당자가 다시 받아야 겠다는 의견을 제시할 것이다.

간혹 의뢰자가 모션 기획을 제대로 하지 않고 스튜디오에 와서 이것저것 받은 다음 고르겠다고 하는 경우가 있다. 이럴 경우 모션캡쳐를 잘 받아 가는 경우를 거의 보지 못했다. 다시 한 번 말하지만 모션 기획은 모션캡쳐에서 정말 중요하다. 스튜디오에서 우왕좌왕하면 시간만 갈 뿐이고, 이에 따라 좋은 모션을 받을 확률도 점점 적어진다는 사실 기억하라. 필요한 모션을 정확하게 구상하고, 딱 그것만 받도록 하자. 그럼 시간도 절약되고, 좋은 퀄리티의 모션캡쳐 데이터도 가져갈 수 있다.

모션캡쳐 직전 동작을 점검하고 있다

II. 모션캡쳐 이후 프로세스

모션캡쳐 이후 모션캡쳐 담당자는 에디팅 작업에 돌입한다. 난이도가 낮을 경우에는 하루나 며칠 내로 데이터가 나올 수 있다. 그러나 작업량이 많거나 고 난이도 데이터의 경우에는 몇 주 이상이 걸릴 수도 있다.

에디팅 작업을 거친 뒤 고객에게 제공되는 데이터의 종류는 대략 두 가지이다.

먼저 기본적인 모션캡쳐 데이터를 에디팅해서 넘기는 경우가 있다. 이는 상대 회사에서 '모션빌더'와 같은 프로그램이 있고, 이를 활용할 수 있는 인력이 있는 경우에 적합하다. 이 경우 모션캡쳐 스튜디오에서는 보통 1차 에디팅만 해준다.

또 하나는 기본적인 에디팅 이후에, 의뢰사에서 받은 캐릭터 파일(모델링, 세팅이 되어 있는 파일)을 받아서 그 캐릭터에 맞게 모션을 맞춰주는 작업까지 모션캡쳐 스튜디오에서 해 주는 경우이다. 이 단계를 편의상 1차 에디팅과 구분하기 위해 2차 에디팅이라고 부른다.

1. 기본적인 모션캡쳐 에디팅(1차)
(이 설명은 Vicon 모션캡쳐 시스템을 기준으로 작성했습니다.)

모션캡쳐를 받은 다음 기본적으로 에디팅을 하게 된다. 바이콘의 경우 모션캡쳐를 받으면 TVD 데이터가 생성된다. 이는 각 카메라에서 촬영된 초당 120프레임 정도 되는 영상 데이터이다. 이 데이터는 가장 용량이 많이 나간다. 따라서 장기보관이 어렵다(보통 의뢰 회사로부터의 최종 데이터 컨펌이 나면 지워버린다).

모션캡쳐 관련 소프트웨어를 통해(또한 적절한 옵션 조정을 통해) 앞에서 설명한 TVD데이터를 3차원 상에서 각 마커들의 데이터로 표현하는 c3d 데이터로 전환한다. c3d데이터에서 각 부위에 있는 마커의 움직임은 트래젝토리(Trajectory:궤적)로 기록된다. 1차 에디팅은 이 트래젝토리 데이터에게 각 위치에 맞는 이름을 부여하고, 끊어진 부분을 연결하고, 적절하게 변형시켜주는 작업을 말한다.

Vicon Bodybuilder로 모션캡쳐 데이터 에디팅하는 모습

끊어진 Trajectory를 이어주고, 없어진 데이터를 생성한다

이 작업을 통해 완성된 c3d 데이터는 그 뒤 모션빌더로 넘겨진다. 이 부분부터가 이른바 2차 에디팅 작업이며, 보통 추가 비용이 요구되어진다.

2. 모션빌더에서의 에디팅(2차)

모션빌더에서 에디팅을 하려면 뼈 세팅(리깅: rigging)이 된 캐릭터 파일이 준비되어져야 한다. 이 파일을 모션빌더에서 연 다음 기본적인 세팅을 해 준다(맥스 바이페드 뼈의 경우 모션빌더에서 기본적으로 제공하는 BVH 뼈를 사용하면 되는데 된다. 따라서 아래의 공정을 거칠 필요가 없음을 밝혀 둔다).

여기서 유념해야 할 것은, 모션빌더의 경우 중복된 이름의 데이터가 있을 경우 임포트가 되지 않는다는 사실이다. 뼈 이름과 메쉬 데이터를 각각 다른 이름으로 바꿔 주는 작업이 선행되어야 한다(뼈의 경우, 모션빌더에서 지정한 기본 뼈대 이름으로 바꿔 주면 작업자는 훨씬 작업이 수월할 것이다).

모션빌더 작업 화면

참고) 모션빌더 기본 뼈대 명칭 (허리 부분) hips-spine-spine1-spine2... (머리 부분) neck-head-head_End (다리 부분) LeftUpLeg-LeftUpLegRoll-LeftLeg-LeftLegRoll-LeftFoot-LeftToes-LeftToes_End RightUpLeg-RightUpLegRoll-RightLeg-RightLegRoll-RightFoot-RightToes-RightToes_End (팔 부분) LeftShoulder-LeftArm-LeftArmRoll-LeftForearm-LeftForearmRoll-LeftHand RightShoulder-RightArm-RightArmRoll-RightForearm-RightForearmRoll-RightHand

이렇게 작업이 된 파일에 1차 에디팅이 된 c3d 모션 데이터를 캐릭터에 적용한다. 아마 십중 팔구 손이나 발이 머리나 허리를 뚫는 장면이 생길 것이다. 이럴 경우 모션빌더의 기능을 이용해서 뚫는 데이터를 보정해 준다. 때로는 다시 1차 에디팅 단계로 돌아가서 c3d 데이터를 더 수정해야 하는 경우도 있을 수 있다.

손이 몸을 뚫는 경우는 종종 발생한다

모션빌더의 기능을 이용해서 수정한 데이터는 제일 마지막에 플로팅(Plotting)이라는 과정을 거쳐서 제공된 뼈에 다시 입력된다. 이 때 고객의 요구에 따라 몇 프레임 단위로 애니메이션 데이터를 뼈에 넣을지 결정한다(보통 TV용은 30프레임, 영화용은 24프레임으로 플로팅해 준다).

그리고 해당 데이터를 때로는 BVH로(3DS맥스 캐릭터 스튜디오에서 바로 불러들일 수 있다), 때로는 FBX(마야 등에서 FBX플러그인을 깔면 모션 데이터를 해당 뼈에 불러들일 수 있다)로 저장한다.

이 데이터가 최종적으로 의뢰사에서 사용하게 되는 모션데이터인 것이다.

3. 사후 관리

중간에 데이터가 부분적으로 튄다든지, 모션 데이터가 불완전하게 불러들여진다든지 다양한 경우가 발생할 수 있다. 그렇다면 해당 작업에 대한 수정을 의뢰사는 요구할 수 있다.

에디팅 때 미처 발견 못한 튀는 데이터일 수도 있고, 특성을 타는 프로그램 상의 버그일 수도 있다. 또는 의뢰사 작업자의 사소한 실수일 수도 있다(예를 들면 모션캡쳐 데이터 작업은 A라는 뼈로 했는데, 작업자가 실수로 B라는 뼈로 모션데이터를 인풋한 경우). 경험상 보면 후자인 경우가 많다.

이러한 문제가 발견되었을 때는 모션캡쳐 담당자와 잘 얘기해서 최선의 방법을 찾으면 된다.

이러한 작업들을 모두 거친 다음에 당신은 자연스러운 동작을 취하는 캐릭터를 뿌듯한 마음으로 볼 수 있게 된다.

송근우 egtree@cgland.com