2D를 3D로? 아, 이런 원리였군요?

입체영상 TV, 다시 말해 3D TV가 등장하면서 2D를 3D로 바꾸는 기술에 관심들이 많습니다. 3D 입체영상을 보려면 전용 TV와 안경 외에도 3D 전용으로 만든 콘텐츠가 있어야 하는데 아직까지 콘텐츠가 부족하기 때문일 겁니다. 3D 전용 콘텐츠를 보려면 별도로 비용이 들기도 하고요. 그러다 보니 특별한 추가 작업이나 비용없이 이미 보고 있는 2D 평면영상을 3D 입체영상으로 보여주는 기술에 관심이 모일 수 밖에 없죠. 이런 겁니다. 무한도전의 봅슬레이나 F1 특집 같은 걸 곧바로 3D로 볼 수 있다면 어떨까요!

2D 평면영상을 3D 입체영상으로 바꾸려면 화면에 있는 각각의 요소, 인물이나 사물, 배경 같은 것들 마다 거리감을 줘야 합니다. 어떤 건 가까이 있고 어떤 건 멀리 있게 만들어야 하는 거죠. 이렇게 하려면 양 쪽 눈에 시각차가 나는 다른 이미지를 보여줘야 합니다. 양 쪽 눈에 서로 다르게 보이도록 각 요소의 위치가 다른 두 장의 이미지를 만들어 보여주는 것입니다.  

그림 설명 : 원본 이미지 한 장(맨 위 그림)에서 사람, 집, 달, 배경 같은 요소를 분리한 후에 사람은 가깝게, 달은 멀게 만들고 각 요소의 위치를 조정해 두 장의 이미지를 만들어 입체감을 구현한다.

그래서 3D 전용 콘텐츠를 만들 땐 각 요소의 위치를 살짝 바꾼 두 장의 이미지를 만듭니다.  물론 100% 수작업으로 일일이 하는 건 아닐 겁니다. 특별한 기술을 적용해서 요소를 분리해 이미지를 만들기도 하겠죠. 하지만 이것들은 실시간이 아니므로 일단 분리한 다음에 오류가 있는 부분은 일일이 수정해 완벽한 입체영상을 만듭니다.

2D로 만든 콘텐츠를 3D로 바꿔보여주는 것 역시 같은 원리입니다. 하지만 여기에는 한 가지 조건이 있습니다. 실시간이라는 거죠. 보이는 즉시 바로 바로 변환해서 소비자에게 전달해야 한다는 겁니다.

예를 들어 집와 산, 달이 있는 배경에 사람이 한 명 서 있는 장면이 있습니다. 이 장면을 3D로 보이게 하려면 사람과 달은 앞으로 튀어 나오고 산과 집은 뒤쪽으로 들어가 있어야 합니다. 그러려면 사람과 달의 위치는 앞으로, 산과 집은 뒤로 옮긴 장면을 만들어 겹쳐줘야 하는 거죠.

실시간 인식 기술, 예측 기술로 입체 영상 제작 

여기에 몇 가지 기술이 필요합니다. 첫번째는 요소 인식 기술입니다. 각 장면에서 사람이라는 요소를 인식해야 합니다. 그런데 사람이 똑같은 컬러로 구성된 건 아니죠. 머리는 검정색, 얼굴은 피부색 거기에 화려한 옷마다 다른 색... 그러다 보니 어느 부분까지 사람인지 인식해야 하는 기술이 필요합니다.

두번째는 예측 기술입니다. 사람이라는 요소의 위치를 어느 방향으로 어떻게 움직일 건지 예측해서 그 위치에 맞는 장면을 만드는 겁니다. 왼쪽으로 갈지, 오른쪽으로 갈지, 몸은 어떤 동작을 취할지 미리 예측해서 다음 번 장면을 만들어야 합니다.

물론 여기엔 다양한 방식과 또 다른 기술이 필요하지만 그건 지극히 기술적인 문제이므로 쉬운 예만 들었습니다. 이런 기술들을 실시간으로 적용해 이미지를 만들어 겹쳐주면서 평면영상을 입체영상을 바꿔줍니다.

아직까지는 완성도가 떨어진다

문제는, 이런 기술이 아직까지 완성률이 좀 낮다는 겁니다. 사람을 꼭 집어 사람이라고 인식하지 못합니다. 그러다 보니 검은색 머리는 들어가 있고 밝은 얼굴은 튀어나오고, 이런 왜곡 현상이 발생합니다. 이런 것들을 사람이 보고 하나씩 수정하면 제대로된 3D 입체영상이 되지만 실시간으로 바꿔주는 TV에서는 수정할 방법이 없습니다. 그러다 보니 각 요소 별로 입체감이 다르게 나오는 웃지 못할 현상이 발생합니다.

예측 기술은 꽤 발달했다고는 하나, 약간의 문제점이 있습니다. 예를 들어 사람이 옆으로 이동하긴 했는데 그 뒤에 숨겨진 어떤 이미지가 있다고 하면 예측 영상에서는 이를 제대로 잡아낼 수 없습니다. 전혀 없던 것이 튀어나오는 것이니까요. 물론 다음 번 정식 영상에서 이를 발견하고 다시 예측 영상을 빨리 만들 수 있긴 하지만 그래도 살짝 어색한 장면이 보이는 건 어쩔 수 없습니다.

최근 나오는 2D를 3D로 만들어준다는 TV를 볼 때 화면이 어색하고 왜곡되며 일부 영상이 찌그러진 것처럼 보이는 것은 이런 기술들이 아직 완성도가 높지 않기 때문입니다.

조만간 완성도 높은 기술이 나오길

결론부터 말하면 기술이 빠른 속도로 발달하고 있으니 언젠가는 2D를 3D로 더 잘 볼 수 있는 때가 오긴 올 겁니다. 하지만 아직은 기술이 완전하지 않죠. 없는 이미지를 새로 만들어야 하는 변환 기술의  특성 상, 어찌 보면 완벽한 기술이란 없을 수도 있습니다. 하지만 인류의 역사가 없던 걸 만들어내면서 진화했으니 언젠가는 모든 평면영상을 자연스런 입체영상으로 볼 수 있을 겁니다.

하지만, 아직은 아닙니다. 3D TV를 구입할 때 2D를 3D로 바꿔 주는 기능을 최우선으로 고려해서는 안된다는 말입니다. 3D 콘텐츠를 더욱 3D 답게 보여주는 TV. 3D TV를 고르실 때 가장 먼저 생각해야 하는 건 바로 이것입니다. 3D 표현력이 얼마나 우수한가? 빠른 영상을 처리하는 속도는 어떤가? 전반적인 화질은 좋은가? 다른 모델에는 없는 기능이 있다는 건 좋은 일임에는 틀림없지만 그 기능이 우수하지 않다면 선택의 기준이 될 순 없을 겁니다.  있다고 해도, 어차피 거의 쓸 일이 없는 기능이니까요.