게임 엔진이란 무엇인가?

현재의 Direct3D 기반의 3D그래픽 처리는 다음과 같은 방식을 취하고 있다. 이러한 방식을 사용하는 가장 큰 이유는, 가장 부드럽게 처리할 수 있으면서도 하드웨어의 도움을 받을 수 있기 때문이다. 물론 OpenGL의 경우도 이와 큰 차이는 없다.

게임에서의 키 입력과 조이스틱 입력에 따라 3D캐릭터를 이동시키거나 하는 3D 처리와, 발사한 미사일이 적에게 충돌하는가 등의 여부, 자동차 게임에서 차량이 미끌어지는 처리등은 이 그림에 포함되지는 않았다. 이러한 것들은 게임 프로그램에서 처리하는 부분들로 3D그래픽 부분에서 처리하는 것이 아니기 때문이다. 이러한 것들은 앞으로도 계속 CPU가 담당해야 할 부분인 것이다.

일반적으로 DOOM III엔진, Unreal 엔진이라 불리는 3D게임 엔진은 CPU가 담당하는 처리부분을 말하는 것이다. 또한 이러한 게임 엔진은 3D그래픽을 표현하는데 상황에 따라 어떻게 표현하는지를 설정하는 부분까지 포함한다. 즉, 같은 DirectX를 사용하고 같은 그래픽 카드를 사용하는 데에도 게임 타이틀마다 3D 그래픽의 표현이 다른 것은 게임 엔진의 차이 때문이다.

지오메트리 처리는 어떤 것인가? <3D 그래픽 처리과정>

그림 1에서 ③④⑤의 부분은 지오메트리처리 과정을 보여주는 것이다. 지오메트리(Geometry)는 기하학이란 뜻으로, 3D 그래픽에 있어서 생략할 수 없는 3차원 벡터에 관한 처리인 것이다. 벡터는 X, Y, Z축 세 개의 좌표로 표현되며 방향성을 가지고 있다. 또한 각각의 벡터 좌표의 기준을 좌표계라고 한다.
그림 1에서 ③의 단계에서는 각 벡터의 좌표계가 하나로 통일되며 최종적으로 카메라의 시점을 기준으로 한 좌표계로 전개된다.

예를 들어 3D캐릭터의 팔을 굽히는 장면에서 그 관절을 기준으로 한 좌표계로 계산하게 되면 간단히 처리할 수 있다. 따라서 팔을 굽히는 단계는 각 관절을 기준으로 설정된 로컬 좌표계를 이용해 계산한다. 이후 굽혀진 팔은 글로벌 좌표계라는 공간의 표준 좌표계로 변환되는 것이다.
글로벌 좌표계로 통일된 3D 개체들은 최종적으로 카메라의 시점 좌표계로 변환되어 시점을 기준으로 투시 변환 되게 된다. 투시 변환이란 시점에서 보이는 3D 공간을 화면에 표시되는 2D로 변화하는 처리를 말한다. 이것이 ④에 해당하는 부분이다.

클리핑은 시계에 나타나는 부분을 찾는 작업이며, 은면 처리는 시점에서 보이지 않는 폴리곤을 없애는 작업이다. 또한 이 부분에서 어느 폴리곤에 어떤 텍스처를 붙이게 될지 계산하는 작업도 수행된다. 실제로 텍스처 매핑 작업은 ⑦의 단계에서 수행하지만, 이 부분에서 준비작업을 거친다고 생각하면 된다.

광원처리

벡터의 좌표 변환 작업이 완료되면 광원 처리가 이루어진다. 이것이 ⑤의 부분이다. 빛이 사물에 닿으면 반사되거나 흡수된다. 이러한 처리를 컴퓨터는 수학적으로 변환하여 처리하게 되는데 이 것 역시 벡터로서 처리된다. 광원 처리에는 빛의 방향벡터와 시선벡터, 빛이 닿는 면이 향하는 방향벡터의 관계로 성립된다. 이 세 개의 벡터 관계를 계산해 빛이 시점에 어떤 형태로 도달하는 방정식을 수립하고, 계산해 내는 것이다.

결국 좌표변환(Transform)과 광원(Lighting)은 모두 벡터 연산으로 처리되면 현재 하드웨어 T&L엔진이 처리하는 부분이다. 이처럼 3D그래픽은 1프레임 이미지에 수 백개의 벡터 연산이 처리되게 된다.

렌더링과정을 거쳐 실제와 유사한 화면을 만든다

①에서 ⑤까지의 처리로 이미지 구현을 위한 기본적인 준비는 완료된 상태이다. 이후 ⑥단계는 화면에 표시될 폴리곤이 어떤 픽셀에 대응하는 지를 계산하는 과정이다. 픽셀이란 화면을 구성하는 최소 단위로, 예를 들어 1024 768, 32비트 컬러 모드에서는 가로방향으로 1024개, 세로방향으로 768개의 총 76만 6432개의 픽셀이 존재하게 되며, 1픽셀은 1677만색을 표현할 수 있다. 지금까지의 연산 과정은 디스플레이네 이미징하기 위한 것이다.

⑦은 각 픽셀의 색을 정의하는 단계이다. 이 부분에서는 실제의 영상이 1픽셀씩 그려져 가게 된다. 광원 처리에 의해 어떤 색이 되는지, 만약 텍스처 매핑을 하는 폴리곤이라면 해당 픽셀은 텍스처의 어느 텍셀에 붙여야 할지를 결정하게 된다.
기본적으로 은면 처리 단계에서 가려진 폴리곤의 삭제는 끝났지만 면과 면이 서로 겹쳐지는 경우등 일부 폴리곤은 이 과정까지 존재하게 된다. 따라서 이렇게 난해한 위치의 폴리곤 처리에서는 Z버퍼가 사용된다. 렌더링 처리에서는 단지 색으로 그리는 것만이 아니라 픽셀 단위로 타당성을 계산하여 색을 입히는 것이다.

DirectX7 시대의 하드웨어 T&L

3D 그래픽이 표시되는 기본 과정은 현재도 크게 바뀌지 않았다. 그러나 하드웨어 아키텍처의 변화는 1999년에 발표된 DirectX7에 의해서 일어났다.

DirectX6이전의 Direct3D에서 3D 비디오 칩은 단순히 렌더링 처리만을 담당하고 있었다. 당시의 비디오칩들은 3D Accelerator라고 불렸으며 렌더링 작업을 빠르게 수행하고 지오메트리 처리는 CPU가 담당하고 있었다. 이에 비해 DirectX7세대의 비디오칩은 렌더링 처리와 함께 지오메트리 처리까지 스스로 할 수 있는 구조로 바뀌었다.

하드웨어 T&L의 T는 Transform으로 좌표 변환을 뜻하고, L은 Lighting으로 광원 처리를 말하는 것이다. 1장에서 언급했던 벡터의 연산 처리를 3D비디오 칩이 담당하게 된 것이다. 또한, 하드웨어 T&L은 지금까지 CPU가 소프트웨어 레벨로 처리하던 것을 하드웨어인 비디오 칩으로 처리하는 의미를 가지고 있다. 그렇다면 이러한 구조의 장점은 무엇인가?

이는 단순히 3D그래픽 처리에서 CPU가 지오메트리 연산 처리에서 해방된다는 것이 최대 장점이다. CPU는 게임 엔진 부분에 집중할 수 있게 된 것이다. CPU와 비디오칩의 업무 분산화가 진행된 만큼 여유가 생겨 3D처리 자체가 가벼워진다. 따라서 CPU는 더욱 고도의 연산이 가능한 것이다. 렌더링뿐만 아니라 지오메트리 연산을 담당하게 된 비디오칩은 단순한 Accelerator에서 CPU와 동급의 GPU(Graphics Processing Unit)으로 불리게 된다.

DirectX8세대, 프로그래머블 발상의 가능성

GPU는 DirectX8시대에 들어 비약적인 진화를 이룬다. Programmable Shader, 즉 프로그래밍이 가능한 쉐이더라는 발상을 하게 된 것이다. 쉐이더는 3D 그래픽 처리 전반을 가리키는 것으로 Programmable Shader는 3D 그래픽 표현에 프로그래머의 표현 가능성을 준다는 생각에서 실현된 기능이다.

당시까지 PC용 3D 그래픽은 Direct3D와 OpenGL이라는 함수에 제공된 기능을 이용할 수 밖에 없었다. 새로운 표현 방식을 생각해내도 이것이 Direct3D나 OpenGL의 표준 기능으로서 제공되지 않는 한 사용할 수 없는 상태였다.

초기에는 GPU의 성능과 비용문제로 인해 이러한 생각은 실현이 불가능했다. GPU는 CPU와 유사한 규모를 이루고 있어 방대한 트랜지스터가 필요하게 되었고, 높은 클럭에서 구동되기 때문에 공정이 미세화 되지 않는 한 높은 비용을 감당하기 어려웠다. 때문에 2000년대에 이르러서야 실현 가능했던 것이다.

DirectX8의 Direct3D에 사용된 Programmable Shader는 Programmable Vertex Shader와 Programmable Pixel Shader의 두 개이다.

Programmable Vertex Shader는 하드웨어 T&L의 진화형

하드웨어 T&L로 처리하는 좌표 변환 처리와 광원 처리는 이미 결정된 연산을 수행하게 된다. 이러한 변환 처리에 프로그래머가 수정을 가할 수 있는 구조가 Programmable Vertex Shader이다. 단순히 결정되어 있는 벡터 연산뿐만 아니라 좀더 고도의 소프트웨어 처리를 GPU가 수행하도록 하는 발상이다.

예를 들어 3D캐릭터의 팔의 관절을 굽힐 때 단지 굽히기만 한다면 폴리곤에 신축성이 결여되어 관절부근 폴리곤이 이격되는 현상이 발생한다. 이러한 현상을 피하기 위해 3D 캐릭터의 뼈를 구성하고 외피의 폴리곤은 뼈의 돌기를 따라 자연스럽게 신축되도록 하는 구조가 건의되었다. 이것이 본스키닝 처리라고 하는 것으로 하드웨어 T&L만을 가지고 있는 DirectX7세대 GPU에서는 처리가 복잡하고, 일부 처리는 CPU에 의존하고 있었다. 그러나 Programmable Vertex Shader를 사용하면 GPU 독자적 처리가 가능하게 된다. 또한 Programmable Vertex Shader는 정점 좌표의 연산만이 아니라 광원 처리에 있어서도 활용 가능성이 넓어진다.

앞서 설명했듯이 광원처리는 3개의 벡터를 통해 계산된다. 그러나 Programmable Vertex Shader를 사용한 광원처리에서는 광원 처리에 몇 가지 조건을 설정하여 광원 처리 여부를 결정할 수 있다. 한 예로 '이방성 라이팅'이라 불리는 기술로 특수한 금속이나 머리카락 등의 표현에 사용되는 기능이다.

Programmable Pixel Shader는 텍스처의 수학화...

Programmable Pixel Shader는 렌더링 처리 부분을 프로그램 할 수 있도록 확장한 것이다.
DirectX7이전 세대에서 렌더링 처리라는 것은 기본적으로 벡터 데이터(직선과 점으로 구성된 데이터)인 폴리곤을 비트맵으로 변환해 텍스처 처리를 하는 방식뿐이었다. Programmable Pixel Shader는 이 공정에 보다 복잡한 조건을 부여해 고도의 연산 처리를 가능하게 하는 구조를 제공하는 구조이다.

3D그래픽 표현 방식중 범프매핑이라는 것이 있다. 이는 폴리곤의 질감을 표현할 수 있는 텍스처를 붙이는 기능이다. DirectX7 이전의 범프 매핑은 비디오칩에서 하드웨어적으로 지원하지 않으면 사용할 수 없는 표현방식 이었다.

Programmable Pixel Shader는 하드웨어 T&L처럼 고정된 하드웨어 기능이 없어도 프로그램으로 만들어 사용할 수 있는 것이다. 더욱 발전된 예로서 Environmjnet 매핑과 범프 매핑을 동시에 적용하는 environment 범프 매핑을 지원하는 GPU는 현재도 그리 많지 않지만, Programmable Pixel Shader를 활용하면 모두 지원 가능하기 때문에 크게 문제가 되지 않는다. 또한 앞으로 등장할 새로운 기능들도 프로그램으로 구성 가능하다고 생각할 때 그 활용방안은 무한히 확장되게 되는 것이다. 물론 앞으로는 고정된 기능으로 environment 매핑을 지원하는 GPU는 영원히 나오지 않을 것이다.

무엇보다도 Programmable Pixel Shader의 가장 큰 특징은 텍스처를 수학적으로 표현하는 기능이다. DirectX7 이전의 렌더링 처리에서 텍스처란 화면의 일부로서 이를 폴리곤에 붙여야만 가치가 있는 것이었다. Programmable Pixel Shader는 이러한 고정개념을 완전히 날려버리며 수학적, 또는 물리적 의미를 가진 수치를 넣은 텍스처와 다른 텍스처에 포함된 수치를 벡터 연산을 하거나, 그 수치를 기초로 다른 텍스처 값에 영향을 미칠 수 있게 되었다.

범프 매핑을 통해 알아보는 Programmable Pixel Shader

앞에서 설명한 텍스처의 수학적 표현에 대해 범프 매핑을 예로 들어 자세히 알아보자.
범프 매핑에 필요한 것은 질감을 표현할 수 있는 텍스처이다. 이것은 하이트맵이라 불리며 일반적으로 높은 곳은 보다 밝고, 낮은 곳은 보다 어둡게 표현함으로서 사물의 굴곡을 나타내고 이를 통해 물체의 질감을 표현할 수 있다.
그러나 하이트맵을 붙이는 것만으로는 소용이 없으며 이 하이트맵을 구성하는 농담면에 위치한 법선 벡터를 계산하고, 그 법선벡터를 텍스쳐에 포함시킬 필요가 있다.

텍스처는 텍셀의 모임으로 이루어져 있으며 각 텍셀은 RGB의 색 채널로 구성되어 있다. 예를 들어 32비트 컬러의 경우 RGB가 각 8비트로 이루어져 있다. 그리고 벡터는 X, Y, Z의 수치로 표현된다는 것은 이미 이야기했었다. 그러나 벡터를 표현하는 X, Y, Z의 세 개 수치를 텍스처의 RGB에 넣어야 한다. 이러한 법선 벡터를 텍스처에 포함하는 것은 특별히 법선맵이라 한다.

DirectX7 이전에는 텍스처를 붙이기만 할 뿐이었다. 하지만 지금의 텍스처는 법선벡터가 들어있어 그대로 폴리곤에 붙일 수는 없다. 여기서 픽셀 쉐이더가 사용되는 것이다.
픽셀을 렌더링할 때 이 법선맵네서 하나의 법석벡터를 취한다. Programmable Pixel Shader는 취득한 법선 벡터를 이전 폴리곤의 법선벡터, 시점으로부터의 시선벡터, 광원벡터 등으로부터 최종적인 광원 처리를 계산하게 된다.

결과물의 폴리곤은 평면 그대로이지만 그곳에는 굴곡이 있는 것처럼 광원 처리가 되어있기 때문에 단순한 평면이 아닌 질감을 가진 평면이 되는 것이다. 이러한 방식은 환경 매핑에서도 유사하게 적용된다.

Programmable Pixel Shader는 텍스처를 가공해 다음 렌더링 시에 사용하는 구조를 가지고 있어 하이트맵가 법선맵의 가공을 물리적인 형태로 표현하는 것도 가능한 것이다.

또한 Programmable Pixel Shader는 렌더링의 최종 공정에 위치하고 있으며, 텍스처의 참조, 실제 이미지 처리등은 비디오 메모리를 직접 조작해야 하는 작업이기 때문에 CPU에뮬레이션으로는 불가능한 작업이다. 결국 아무리 빠른 CPU가 있다해도 Programmable Pixel Shader가 없으면 불가능한 표현인 것이다.
 

2000년에 발표된 DirectX8.0은 2001년에 DirectX8.1로 업그레이드되었다. DirectX8.1의 Direct3D는 기본적으로 Programmable Shader의 마이너 업그레이드이다. 2002년 중반부터 발매된 게임들은 Programmable Shader, 특히 CPU에뮬레이션이 가능한 Vertex Shader를 지원하는 것이 많았다. 최근에는 Programmable Shader를 지원하는 GPU가 많아지고 노트북용 GPU에서도 Programmable Shader를 지원하는 것이 당연해 졌다 Programmable Shader를 지향하는 GPU의 발전은 앞으로도 계속될 것이며 이를 이어나가는 것이 앞으로 등장하게 될 DirectX9이다.