[MIT 머신비전 1강] 사진을 거꾸로 읽는 일, 머신비전이란 | 원근 투영(Perspective Projection) 입문

MIT OpenCourseWare 6.801 1강 원본 영상 (영어)

한 줄 요약: 머신비전은 “세상 → 사진”으로 가는 과정을 거꾸로 돌려, 사진 속 밝기 숫자만 보고 세상의 모양, 거리, 움직임을 알아내는 일입니다. 그 출발점은 바늘구멍 사진기 하나로 정리되는 원근 투영 \(x/f = X/Z\)와 “밝기는 무엇에 달려 있나”라는 질문입니다.

이 시리즈는 MIT의 머신비전 강의(6.801/6.866, Berthold Horn 교수, 2020년 가을)를 한 편씩 쉽게 풀어 쓴 글입니다. “카메라에 찍힌 밝기 숫자들만으로 세상의 모양, 방향, 움직임을 어떻게 거꾸로 알아낼까?”를 물리와 기하로 따져 보는 수업입니다. 1강은 강의 노트가 따로 공개되어 있지 않아서, 강의 녹취록을 바탕으로 정리했습니다.

머신비전은 “거꾸로 그래픽스”

게임이나 3D 그래픽은 물체의 모양, 조명, 재질을 알고 있을 때 사진(화면)을 만들어 냅니다. 이건 답이 하나로 정해지는 “앞 방향” 문제입니다. 머신비전은 그 반대입니다. 사진만 받아 들고, 그 사진을 만든 세상이 어떻게 생겼는지 거꾸로 알아내야 합니다.

사진을 만드는 쪽(그래픽스)은 쉽고, 사진에서 설명을 뽑는 쪽(머신비전)은 어렵습니다. 로봇이 그 설명대로 물건을 집어 보면 맞았는지 바로 확인됩니다.

원인(세상)을 알 때 결과(사진)를 계산하는 것을 앞 방향 문제, 결과만 보고 원인을 되짚는 것을 거꾸로 푸는 문제라고 합니다. 사진에서 깊이(거리)를 알아내는 것도 그 하나지만, 알아내려는 대상은 훨씬 다양합니다. 이 시리즈에 나오는 것만 해도 이렇습니다.

사진에서 알아내는 것	강의
사진 속 움직임 → 내가 어디로 가는지	2강
사진이 커지는 속도 → 부딪히기까지 남은 시간	3·4강
평행선이 모이는 점 → 카메라의 초점거리와 방향	5강
밝기 → 표면의 기울기와 입체 모양	6~10강
여러 방향에서 찍은 그림자 → 속 구조(CT)	이 글의 젤리 방

공통점은 모두 “사진 → 원인” 방향으로 거슬러 올라간다는 것입니다.

Horn 교수는 이 수업을 물리 기반 머신비전이라고 부릅니다. 빛이 표면에 부딪혀 렌즈를 지나 픽셀에 얼마나 들어오는지를 식으로 쓰고, 그 식을 거꾸로 풀어 속도, 벽까지 남은 시간, 표면의 기울기 같은 값을 구합니다. 어려운 수학은 쓰지 않습니다. 미분, 벡터, 행렬, 약간의 기하 정도입니다.

이 수업이 다루지 않는 것도 분명히 짚고 갑니다.

• 이미지 처리: 사진을 받아 더 선명한 사진을 만드는 일. 도구로는 쓰지만 목표는 아닙니다.
• 패턴 인식, 머신러닝: “이건 고양이” 같은 분류. 대신 이 수업에서 배우는 거리, 모양, 질감 같은 특징은 학습의 좋은 재료가 됩니다.
• 계산 영상: CT나 MRI처럼 렌즈 없이 계산으로 영상을 만들어 내는 분야.

강의 소개에서 나오는 예들이 앞으로 배울 내용을 미리 보여 줍니다. 광마우스가 어느 쪽으로 움직였는지, 카메라 하나로 벽까지 몇 초 남았는지, 사진 한 장의 명암으로 코의 입체 모양을 알아내는 법, 뒤엉킨 부품 더미에서 하나를 집어 올리는 로봇 등입니다.

바늘구멍 사진기: 원근 투영

창문 없는 깜깜한 방 벽에 작은 구멍 하나를 뚫으면, 반대편 벽에 바깥 풍경이 거꾸로 비칩니다. 이것이 카메라 옵스큐라, 즉 바늘구멍 사진기입니다. 렌즈 달린 카메라도 결국 이 바늘구멍과 똑같은 투영을 하도록 만든 장치입니다.

왼쪽: 빛이 구멍 하나를 지나 뒷벽에 거꾸로 맺힙니다. 오른쪽: 사진 면을 구멍 앞쪽으로 옮겨 그리면 똑바로 선 그림이 되고, 닮은 삼각형 하나로 식이 나옵니다.

구멍(렌즈 중심)을 원점에 두고, 렌즈 중심에서 사진 면에 수직으로 내린 방향을 Z축으로 잡습니다. 그러면 닮은 삼각형에서 바로 다음 식이 나옵니다.

\[\frac{x}{f} = \frac{X}{Z}, \qquad \frac{y}{f} = \frac{Y}{Z}\]

대문자 \(X, Y, Z\)는 세상 속 점의 World 좌표(3D), 소문자 \(x, y\)는 사진 속 점의 Image 픽셀 좌표(2D), \(f\)는 구멍과 사진 면 사이의 거리(초점거리)입니다. 초점거리 \(f\)도 픽셀 단위로 재면, \(x, y\)는 사진 한가운데에서부터 센 픽셀 위치가 됩니다. 식이 이렇게 단순한 건 World 좌표의 원점을 카메라에 두었기 때문입니다. 로봇 팔처럼 다른 기준의 좌표가 필요하면, 나중에 두 좌표 사이의 변환만 따로 구하면 됩니다.

예를 들어 책상 위 카메라가 컵을 보고 “컵은 내 기준으로 오른쪽 10 cm, 앞쪽 40 cm에 있다”고 알아냈다고 해 봅시다. 그런데 컵을 집을 로봇 팔은 카메라보다 30 cm 왼쪽에 서 있습니다. 로봇에게 카메라 숫자를 그대로 주면 로봇은 엉뚱하게 자기 앞 오른쪽 10 cm로 손을 뻗습니다.

같은 컵이라도 누구를 기준으로 재느냐에 따라 숫자가 달라집니다.

해결은 간단합니다. “로봇은 카메라에서 왼쪽으로 30 cm 떨어져 있다”는 관계를 한 번만 재 두면 됩니다. 그러면 카메라가 알려 주는 숫자에 30을 더해 “로봇 기준으로 오른쪽 40 cm, 앞쪽 40 cm”로 바꿀 수 있습니다. 로봇이 비스듬히 돌아서 있다면 더하기에 회전이 하나 더 붙을 뿐입니다. 이렇게 두 기준 사이의 관계(얼마나 떨어져 있고 얼마나 돌아가 있는지)를 미리 재 두는 작업을 캘리브레이션이라고 합니다. 한 번 재 두면 사진을 몇 장 찍든 같은 변환을 계속 쓸 수 있습니다. 그래서 카메라 쪽 계산은 언제나 카메라 기준의 단순한 식으로 하고, 다른 기준으로 바꾸는 일은 마지막에 따로 처리하는 것입니다.

이 식에서 눈여겨볼 점이 두 가지 있습니다.

• Z로 나눈다: 같은 물체도 두 배 멀어지면 사진에서 절반 크기가 됩니다. 나눗셈이 들어가서 식이 직선적이지 않아 다루기 귀찮습니다.
• 그래서 오히려 희망이 있다: 사진 속 위치가 거리 Z에 따라 달라진다는 건, 거꾸로 사진에서 거리에 대한 단서를 얻을 수 있다는 뜻입니다.

같은 식을 벡터로 쓰면 \(\frac{1}{f}\mathbf{r} = \frac{1}{\mathbf{R}\cdot\hat{\mathbf{z}}}\mathbf{R}\)입니다. \(\mathbf{R}\)은 World 좌표(3D)로 나타낸 점, \(\mathbf{r}\)은 Image 픽셀 좌표(2D)로 나타낸 점, \(\hat{\mathbf{z}}\)는 Z축 방향의 길이 1짜리 화살표입니다. 다음 강의에서 이 식을 시간에 대해 미분하면 “세상의 움직임”과 “사진 속 움직임”의 관계가 나옵니다.

밝기는 무엇에 달려 있을까

투영이 “어디에 찍히나”에 대한 답이라면, 이제 남은 절반은 “얼마나 밝게 찍히나”입니다.

• 조명: 빛을 두 배 비추면 두 배 밝아집니다. 표면이 녹아내릴 정도가 아니면 거의 완벽하게 비례합니다.
• 표면이 빛을 되돌려 보내는 비율: 밤하늘의 달은 하얗게 보이지만, 실제로는 햇빛의 10% 남짓만 되돌려 보내는 석탄처럼 어두운 표면입니다. 옆에 비교할 흰 종이가 없으니 우리 눈이 속는 것입니다.
• 거리는 상관없다: 벽에서 두 배 멀어져도 벽이 4분의 1로 어두워 보이지 않습니다.

멀어지면 벽 한 점에서 오는 빛은 거리의 제곱만큼 약해지지만, 픽셀 하나에 담기는 벽의 넓이가 정확히 그만큼 커져서 서로 상쇄됩니다.

• 표면이 기운 정도: 빛을 비스듬히 받는 면은 같은 빛이 더 넓게 퍼져 어둡습니다. 빛과 이루는 각의 코사인만큼 줄어드는데, 이건 5강과 6강에서 자세히 다룹니다.

숫자 하나로 두 개를 알아낼 수는 없다

밝기로 표면의 기울기를 알 수 있다면 사진 한 장으로 입체 모양을 얻을 수 있을 것 같습니다. 그런데 표면의 방향은 숫자가 두 개입니다.

여기서 “표면의 방향”은 표면에 수직으로 꽂은 길이 1짜리 화살표(법선 벡터)를 말합니다. 책상 위 작은 판에 이쑤시개를 수직으로 꽂아 보면, 이쑤시개가 가리키는 쪽이 곧 판이 향한 쪽입니다. 판을 기울이면 이쑤시개도 같이 기웁니다.

왼쪽: 판에 직각으로 꽂은 길이 1짜리 화살표가 법선입니다. 가운데: 판을 기울이면 화살표도 같이 기울어서, 화살표만 보고도 판이 어느 쪽을 향하는지 압니다. 오른쪽: 굽은 표면은 점마다 아주 작은 평평한 판으로 보고, 점마다 법선을 하나씩 꽂습니다.

이 화살표는 3D 벡터라서 성분이 세 개입니다.

\[\hat n = (n_x,\ n_y,\ n_z), \qquad n_x^2 + n_y^2 + n_z^2 = 1\]

방향만 나타내면 되니 길이는 늘 1로 맞춥니다. 그러면 \(n_x, n_y\)만 알아도 \(n_z\)는 위 식에서 저절로 나옵니다. 카메라 쪽을 보는 면이라 \(n_z\)는 양수이므로 답이 하나로 정해집니다. 그래서 마음대로 정할 수 있는 숫자는 두 개뿐입니다. 아래 그림에서 화살표 끝을 바닥에 비춘 파란 그림자 점의 좌표 \((n_x, n_y)\), 즉 그 점을 X축에서 읽은 값 \(n_x\)와 Y축에서 읽은 값 \(n_y\)(굵은 파란 선)가 바로 그 두 숫자입니다.

같은 두 숫자를 다르게 적을 수도 있습니다. 각도로 적으면 “어느 쪽으로 기울었나(바닥에서 돈 각)”와 “얼마나 기울었나(Z축에서 벌어진 각)”입니다. 지구본의 경도와 위도 같은 두 각입니다. 6강부터는 x쪽 경사 \(p\)와 y쪽 경사 \(q\)로 적는데, 이것도 같은 정보입니다(지금은 알 필요가 없으니, 이런 표현도 있다는 것만 알아 두세요).

표면 방향은 길이 1인 3D 화살표라서, 바닥 그림자 \((n_x, n_y)\) 두 숫자만 알면 전부 정해집니다. 반면 사진의 픽셀 하나에 담긴 밝기는 0(검정)~255(흰색) 사이의 숫자 하나뿐입니다.

미지수는 둘인데 측정은 하나입니다. 이 수업 내내 반복되는 질문이 바로 이것입니다. “미지수가 몇 개고, 식은 몇 개인가? 측정에 오차가 조금 있으면 답은 얼마나 흔들리나?” 조명을 바꿔 가며 여러 장을 찍거나(6강), 이웃 픽셀끼리 매끄럽게 이어져야 한다는 조건을 더하는(8~10강) 식으로 모자란 식을 채웁니다.

3D를 2D로 찍는데 왜 될까

세상은 3차원이고 사진은 2차원입니다. 정보가 한 차원 사라지는데 어떻게 거꾸로 풀 수 있을까요? 우리가 아주 특별한 세상에 살기 때문입니다.

왼쪽: 공기는 투명하고 물체는 불투명해서, 눈으로 오는 빛줄기 하나는 표면의 딱 한 점에서 옵니다. 오른쪽: 방을 젤리로 채우고 여기저기 색소를 넣으면, 빛줄기 하나에 앞뒤 색이 모두 겹쳐 버립니다.

빛은 공기 속을 곧게 지나고, 우리가 보는 것은 대부분 불투명한 물체의 겉면입니다. 물체 속은 보이지 않고 겉면만 보입니다.

이 겉면을 모눈을 그린 얇은 포장지라고 생각해 보세요. 종이 위의 점은 “가로 몇 칸, 세로 몇 칸”이라는 숫자 두 개로 짚을 수 있습니다. 종이 자체는 2D이고, 그 종이가 3D 공간에서 이리저리 휘어 있을 뿐입니다.

왼쪽: 물체의 겉면을 모눈 종이로 그렸습니다. 카메라에서 나간 빛줄기는 종이 위의 딱 한 점에 닿습니다. 오른쪽: 찍힌 사진에서는 모눈이 휘어 보이지만, 사진의 픽셀 하나는 여전히 종이 위의 점 하나와 짝을 이룹니다.

카메라는 이 종이를 찍습니다. 그러면 사진의 픽셀 하나와 종이 위의 점 하나가 일대일로 짝을 이룹니다. 종이의 모눈이 사진에서 휘어 보일 뿐, 칸이 겹치거나 사라지지는 않습니다. 그래서 픽셀마다 새로 알아내야 하는 것은 “그 점이 카메라에서 얼마나 떨어져 있나”라는 숫자 하나뿐입니다. 3D 공간 전체를 되살릴 필요 없이, 픽셀마다 거리 하나만 채우면 물체의 모양이 나옵니다. 그래서 거꾸로 풀 여지가 있습니다.

젤리로 찬 방은 다릅니다. 빛줄기 하나에 앞에서부터 뒤까지의 색이 모두 겹쳐 있어서, 픽셀 하나에 숫자 하나가 아니라 빛줄기 위 모든 지점의 색을 알아내야 합니다. 한 방향에서 봐서는 절대 풀 수 없고, 여러 방향에서 찍어 계산으로 합쳐야 합니다. 그게 CT(단층 촬영)입니다.

왜 여러 방향이 필요한지는 색소 한 방울로 생각하면 쉽습니다. 젤리를 위에서 내려다본 그림입니다.

• 옆에서만 비추면 벽에 그림자가 생기고, 그 높이로 “세로 2인 줄 어딘가”까지만 압니다. 가로로 어디쯤인지는 모릅니다.
• 아래에서도 한 번 더 비추면 이번에는 “가로 3인 줄 어딘가”를 압니다.
• 두 줄이 만나는 한 점, (3, 2)가 색소의 위치입니다.

한 방향 그림자로는 한 줄까지만 좁혀지지만, 다른 방향의 그림자를 하나 더 얻으면 두 줄이 만나는 한 점으로 위치가 정해집니다.

그런데 색소가 두 방울만 되어도 두 방향으로는 모자랍니다.

• 옆에서 비추면 세로 1과 3에, 아래에서 비추면 가로 1과 3에 그림자가 생깁니다.
• 이 줄들이 만나는 곳은 (1, 3), (3, 1), (1, 1), (3, 3) 네 군데입니다. 그런데 색소는 두 방울뿐이니, 어느 두 곳이 진짜인지 알 수 없습니다.
• 여기서 비스듬한 방향으로 한 번 더 비추면, 비스듬한 빛줄기는 진짜 두 곳만 지나가며 그림자를 남깁니다. 그래서 가짜 후보 두 곳이 걸러집니다.

왼쪽: 두 방향의 그림자 줄이 네 군데에서 만나서 진짜 두 곳을 고를 수 없습니다. 오른쪽: 비스듬한 방향의 그림자를 더하면 가짜 후보(회색 ×)가 걸러지고 진짜 두 곳(분홍)만 남습니다.

실제 몸속처럼 색소가 수없이 많고 서로 겹쳐 있으면, 이런 가짜 후보도 훨씬 많아집니다. 그래서 CT는 각도를 조금씩 바꿔 가며 아주 많이 찍고, 그 결과를 계산으로 겹칩니다. 방향이 많을수록 가짜 후보가 더 많이 걸러집니다.

겹치는 방법은 간단합니다. 각 사진의 그림자를 빛줄기를 따라 젤리 전체에 띠 모양으로 다시 칠하고, 여러 각도의 띠를 모두 포갭니다. 색소가 있는 곳은 어느 각도에서 칠해도 띠가 지나가니 점점 진해지고, 나머지 곳은 띠가 흩어져 묻힙니다. 아래 그림의 “4방향”, “16방향”, “90방향”은 서로 다른 각도에서 찍은 사진의 수이고, 세 그림 모두 같은 계산 방법을 썼습니다. 그림 둘레의 주황 화살표가 빛을 비춘 방향입니다.

왼쪽: 한 방향에서만 비추면 빛줄기 하나에 겹친 색소들이 모두 더해져 밝기 하나로 찍힙니다. 색소가 몇 개인지, 빛줄기의 어디쯤 있는지 알 수 없습니다. 오른쪽 세 그림: 4방향뿐이면 띠가 지나간 자리마다 줄무늬 자국이 남고, 16방향이면 위치가 보이기 시작하고, 90방향이면 색소 하나하나가 또렷해집니다. 병원 CT는 몸 둘레를 돌며 수백 방향에서 찍어 이렇게 합칩니다.

답이 깔끔하게 안 나오는 문제와 최소제곱

거꾸로 푸는 문제는 흔히 답이 깔끔하게 안 나오는 문제입니다. 수학 용어로는 잘못 놓인 문제(ill-posed problem)라고 부르는데, “문제가 틀렸다”는 뜻은 아닙니다. 수학자 아다마르는 깔끔하게 풀리는 문제라면 아래 세 가지를 모두 갖춘다고 했습니다. 하나라도 빠지면 잘못 놓인 문제입니다.

깔끔하게 풀리는 문제라면	머신비전에서 이게 깨지는 예
① 답이 적어도 하나는 있다	잡음 때문에 측정끼리 서로 조금씩 어긋나면, 모든 측정을 동시에 딱 맞추는 답이 하나도 없음
② 답이 딱 하나뿐이다	밝기 하나로는 표면 방향이 하나로 안 정해짐(숫자 1개 < 미지수 2개). 한 방향에서만 찍은 젤리 방도 “그 줄 어딘가”까지만 앎
③ 측정이 조금 틀려도 답은 조금만 달라진다	측정이 1%만 틀려도 답이 엉망이 됨. 위성이 하늘 한쪽에 몰려 있을 때의 GPS 위치가 대표적

머신비전에서는 세 번째, 답이 크게 흔들리는 경우가 가장 무섭습니다. 각 경우를 다루는 방법도 정해져 있습니다.

• 답이 여러 개면: 측정을 더 모읍니다. 조명을 바꿔 가며 찍거나, 젤리 방처럼 방향을 늘려 찍습니다.
• 딱 맞는 답이 없으면: 모든 측정에 가장 덜 어긋나는 답을 고릅니다. 이것이 최소제곱(least squares)입니다.
• 답이 흔들리면: 어떤 조건에서 답이 크게 흔들리는지 따져 보고 그런 상황을 피합니다(노이즈 이득, 3강).

사진은 생각보다 잡음이 많습니다. 픽셀 하나는 몇 마이크로미터 크기라서 거기 들어오는 빛 알갱이(광자)가 많아야 수십만 개 정도입니다. 10개가 들어올 자리에 9개나 11개가 들어오는 식의 흔들림이 늘 있습니다.

왼쪽: 픽셀은 빛 알갱이를 세는 작은 통입니다. 빛이 들어오기 전에는 비어 있다가, 같은 빛을 세 번 찍으면 9개, 11개, 10개처럼 매번 조금씩 다르게 들어옵니다. 가운데와 오른쪽: 같은 공을 찍은 사진입니다. 픽셀당 평균 10개뿐이면 흔들림이 밝기의 30%가 넘어 사진이 자글자글하고, 10만 개가 들어오면 흔들림이 0.3%로 줄어 매끈해집니다. 알갱이가 많을수록 흔들림은 늘지만, 전체에 비하면 훨씬 작아집니다.

픽셀에 담을 수 있는 빛에도 한계가 있습니다. 픽셀은 들어온 빛 알갱이를 모아 두었다가, 찍는 순간 그 개수를 셉니다. 비 오는 날 양동이에 빗물을 받아 두었다가 나중에 양을 재는 것과 비슷합니다. 양동이 크기는 정해져 있어서, 가득 차면 그 뒤로 들어오는 빛은 더 세지 못하고 그 픽셀은 하얗게 날아갑니다. 하늘이나 조명이 하얗게 뭉개지는 노출 과다가 바로 이것입니다.

픽셀은 빛을 받는 양동이입니다. 폰 픽셀은 양동이가 작고 카메라 픽셀은 큽니다. 양동이가 넘치면 더 세지 못해 하얗게 날아가고, 작은 양동이라도 여러 번 받아 합치면 큰 양동이 하나와 비슷해집니다.

센서	픽셀 하나에 담을 수 있는 양	가득 채워도 남는 흔들림
스마트폰 (픽셀이 아주 작음)	수천 ~ 1만 개 정도	약 1% 이상
큰 카메라 (DSLR, 미러리스)	수만 ~ 10만 개 정도	약 0.3%

숫자는 센서마다 달라서 대표적인 범위만 적었습니다. 위 그림의 “픽셀당 10만 개”는 큰 카메라가 양동이를 꽉 채워 찍었을 때쯤입니다.

양동이가 가득 차도 흔들림은 남기 때문에, 사진 한 장으로 줄일 수 있는 잡음에는 바닥이 있습니다. 픽셀이 큰 카메라가 폰보다 깨끗하게 찍히는 이유 중 하나입니다. 폰은 이 한계를 넘으려고 여러 장을 연속으로 찍어 합칩니다. 야간 모드가 바로 이것으로, 10장을 합치면 양동이가 10배 커진 것과 비슷해집니다.

그래서 이 수업은 답을 구하는 방법과 함께 “측정이 1% 틀리면 답은 몇 % 틀리나”(노이즈 이득)를 계속 따집니다. 그리고 여러 측정을 한꺼번에 쓰는 최소제곱을 주로 씁니다. 계산이 간단하고 반복 없이 한 번에 답이 나오기 때문입니다.

직접 해 보기

바늘구멍 사진기. 흰 점을 끌어 물체(초록 막대)의 높이와 거리를 바꿔 보세요. 거리를 두 배로 하면 사진 속 크기가 절반이 됩니다. “사진 면을 앞으로 옮겨 그리기”를 켜면 거꾸로 맺힌 그림이 똑바로 섭니다.

정리

• 머신비전은 사진에서 세상의 모양, 거리, 움직임을 거꾸로 알아내는 “거꾸로 그래픽스”입니다.
• 바늘구멍 사진기에서 닮은 삼각형 하나로 원근 투영 \(x/f = X/Z\)가 나옵니다. 멀수록 작게 찍히고, 그래서 사진에 거리의 단서가 남습니다.
• 밝기는 조명과 표면의 반사율, 표면이 기운 정도에 달려 있고, 거리 자체와는 상관없습니다.
• 표면 방향은 숫자 둘인데 밝기는 하나라서, 모자란 정보를 어떻게 채우고 잡음에 얼마나 민감한지가 이 수업의 중심 질문입니다.

다음 글: [MIT 머신비전 2강] 사진 속 움직임으로 내가 어디로 가는지 알기

참고: MIT 6.801/6.866 Machine Vision (Fall 2020), Berthold Horn 강의 녹취록 (MIT OpenCourseWare, CC BY-NC-SA 4.0)