논문을 보다가 카메라 관련 용어 많이 등장해서 개념 정리
1. Camera Intrinsic Parameters(카메라 내부 파라미터) :
카메라의 내부적인 특성을 정의하며, 이미지 평면에서 픽셀 좌표와 실제 3D 공간 좌표 간의 변환에 영향을 미친다.
요약
카메라 Intrinsic Parameters :
1. Focal Length (초점 거리)
2. Principal Point (주점)
3. Pixel Size 또는 Aspect Ratio
4. Skew Coefficient (기울기 계수)
5. Lens Distortion Parameters (왜곡 계수)
- 이 모든 요소는 카메라 캘리브레이션을 통해 추정되며, 이를 바탕으로 3D 재구성, 깊이 추정 등의 작업에서 정확한 결과를 얻을 수 있습니다.
- Camera Calibration :
- 카메라의 내부 파라미터(intrinsic parameters), 외부 파라미터(extrinsic parameters), 왜곡 파라미터(distortion parameters)를 계산하는 과정.
- 카메라의 실제 물리적 특성을 이해하고, 3D 공간에서 정확한 측정을 가능하게 하기 위해 필수적
- 목적 :
- 1. 카메라 내부 특성(Intrinsic Parameters) 추정:
- Focal length (초점 거리)
- Principal point (주점)
- Pixel aspect ratio 및 skew coefficient
- Lens distortion coefficients (왜곡 계수)
- 2. 카메라 외부 특성(Extrinsic Parameters) 추정: 카메라의 위치와 방향(3D 공간에서의 회전 및 이동).
- 3. 왜곡 보정(Distortion Correction): 카메라 렌즈로 인해 발생하는 이미지 왜곡(방사 및 접선 왜곡)을 보정.
- 4. 정확한 3D 복원: 카메라 캘리브레이션을 통해 2D 이미지에서 정확한 3D 위치 정보를 추출.
- 1. 카메라 내부 특성(Intrinsic Parameters) 추정:
1. Principal Point (주점)
• 카메라 렌즈를 통해 들어오는 광선이 이미지 센서의 중심에 투영되는 지점.
• 이미지 센서의 좌표계에서 (cx, cy)로 표현됩니다.
• 일반적으로 센서의 중심에 가깝지만, 완벽히 일치하지는 않을 수 있습니다.
2. Pixel Size (픽셀 크기)
• 이미지 센서에서 단일 픽셀이 차지하는 실제 물리적 크기.
• 가로 픽셀 크기 \(s_x\)와 세로 픽셀 크기\(s_y\)는 다를 수 있습니다.
• 픽셀 크기 차이에 따라 단위를 통일하기 위해 Aspect Ratio(종횡비)가 고려될 수 있습니다.
3. Skew Coefficient (기울기 계수)
• 이미지 픽셀 좌표계에서 x축과 y축이 완전히 직교하지 않을 때 나타나는 기울기.
• 대부분의 현대 카메라에서는 거의 0에 가까워 무시되는 경우가 많습니다.
• Skew는 내재적으로 다음 행렬의 비대각선 요소로 표현됩니다.
4. Intrinsic Matrix (내부 행렬)
위의 요소들을 행렬 형태로 표현한 것이 카메라 내재 행렬(Camera Intrinsic Matrix) :
\(K = \begin{bmatrix} f_x & s & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}\)
• \(f_x, f_y\) : x축, y축 방향의 초점 거리(픽셀 단위)
• s : Skew coefficient
• \(c_x, c_y\) : 주점 좌표
5. Radial and Tangential Distortion (왜곡 계수)
카메라 렌즈의 왜곡으로 인해 이미지는 완벽한 직선 대신 곡선 형태로 나타날 수 있습니다. 이를 보정하기 위해 렌즈 왜곡 계수가 사용됩니다:
• Radial Distortion (방사 왜곡):
• 직선이 곡선으로 나타나는 현상 (배럴 왜곡 또는 핀쿠션 왜곡).
• 계수: \(k_1, k_2, k_3, …\)
• Tangential Distortion (접선 왜곡):
• 렌즈와 센서의 정렬 불량으로 발생하는 왜곡.
• 계수:\(p_1, p_2\)
2. 초점거리 focal length란?
- 카메라 렌즈의 광학 중심에서 이미지 센서까지의 거리를 나타내는 값으로, 광각과 줌 능력을 결정하는 핵심적인 요소
이는 카메라 렌즈의 성능과 촬영된 이미지의 시야각(field of view)에 직접적인 영향을 미침 - 이미지에서 픽셀 간 거리와 실제 세계의 거리 간 관계를 정의하는 데 사용
- 카메라와 피사체 사이의 거리를 더 정확히 계산할 수 있음 (depth)
1. 단위: 보통 밀리미터(mm)로 측정.
2. 초점 거리와 시야각 (Field of View, FOV) 관계:
- 짧은 초점 거리 (예: 18mm) : 더 넓은 시야각(광각), 넓은 풍경이나 단체 사진에 적합
- 긴 초점 거리 (예: 200mm) : 좁은 시야각(줌). 먼 거리에 있는 피사체를 확대해서 찍는 데 적합
3. 고정 초점 거리와 가변 초점 거리:
- 고정 초점 거리: 초점 거리가 일정 (예: 50mm 단렌즈).
- 가변 초점 거리: 초점 거리를 조절 가능 (예: 18-55mm 줌렌즈).
4. 심도(Depth of Field):
- 짧은 초점 거리(광각)는 더 넓은 심도를 제공해 배경과 피사체 모두 선명하게 보임.
- 긴 초점 거리(망원)는 더 얕은 심도를 제공해 배경을 흐리게(보케 효과) 만듦.
5. 계산 예시:
- 센서 크기: 36mm (풀프레임 카메라의 가로 길이).
- 초점 거리: 50mm.
- 계산:
FOV = \( 2 \cdot \arctan\left(\frac{36}{2 \cdot 50}\right) \approx 39.6^\circ \)
왜 역 내재 행렬(\(\hat{K}^{-1}\))을 사용하는가?
1. 내재 행렬 (\(\hat{K}^{-1}\))의 역할
• 내재 행렬 (Intrinsic Matrix):
• 카메라의 내부 매개변수(초점 거리, 센서 크기, 주점 위치 등)를 나타내는 행렬입니다.
• 형태:
\(\hat{K} = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}\)
•f_x, f_y : 카메라의 초점 거리 (픽셀 단위).
• c_x, c_y : 카메라 센서 상의 주점(Principal Point) 위치.
• 이 행렬은 정규화 카메라 좌표(Normalized Camera Coordinates)에서 픽셀 좌표(Pixel Coordinates)로 변환하는 데 사용됩니다:
•(x_p, y_p) : 픽셀 좌표 (이미지 공간).
• (x_n, y_n) : 정규화 카메라 좌표 (카메라 중심 기준).
2. 역 내재 행렬 (\(\hat{K}^{-1}\))의 역할
정규화란 무엇인가?
• 정규화 카메라 좌표는 이미지의 픽셀 좌표를 카메라의 중심(광학 축 기준)으로 정규화한 좌표입니다.
• 정규화 카메라 좌표는 물리적 거리 단위(예: 미터)와 비례하며, 초점 거리 및 센서 크기를 기준으로 계산됩니다.
왜 역함수를 사용하는가?
• 내재 행렬은 정규화 카메라 좌표를 픽셀 좌표로 변환: \(\hat{K}\)
• 역 내재 행렬 은 이 과정을 역으로 수행: \(\hat{K}^{-1}\)
왜 정규화가 필요한가?
• Homography 계산은 정규화된 카메라 좌표에서 수행되어야 합니다.
• 픽셀 좌표는 카메라 센서의 해상도, 초점 거리, 센서 크기 등과 연관되어 왜곡된 좌표입니다.
• 이를 정규화하면, 카메라의 물리적 특성과 독립적인 “이상적인 좌표계”로 변환 가능.
• 따라서, 픽셀 좌표를 정규화하려면 \(\hat{K}^{-1}\)를 사용해야 함.
3. 수학적 직관
• 픽셀 좌표를 정규화하려면 내재 행렬의 역행렬(\(\hat{K}^{-1}\))을 곱해야 합니다:
\(\begin{bmatrix} x_n \\ y_n \\ 1 \end{bmatrix} \hat{K}^{-1} \cdot \begin{bmatrix} x_p \\ y_p \\ 1 \end{bmatrix}\)
•(x_p, y_p) : 픽셀 좌표.
•(x_n, y_n) : 정규화 카메라 좌표.
• 내재 행렬의 역할은 “픽셀 좌표의 스케일, 중심점, 왜곡을 적용”하는 것이고, 역행렬은 이를 “제거”하여 정규화된 상태로 돌려놓는 것입니다.
4. 예시
카메라 좌표계와 픽셀 좌표계
• 픽셀 좌표계:
• 카메라 센서의 해상도와 초점 거리에 따라 비례합니다.
• 예를 들어, 픽셀은 센서의 특정 지점에 해당.
• 정규화 카메라 좌표계:
• 이미지 센터(광학 중심)를 기준으로 스케일링된 좌표.
• 예를 들어, 픽셀 좌표 가 과 같은 좌표로 변환될 수 있습니다.
역행렬의 사용
• \(\hat{K}^{-1}\)를 곱하면:
• 픽셀 좌표에서 정규화된 좌표로 변환. Homography와 같은 기하학적 계산에서 사용.
5. 요약
• 역 내재 행렬 (\(\hat{K}^{-1}\))을 사용하는 이유 : 픽셀 좌표를 카메라의 물리적 특성과 독립적인 정규화된 좌표계로 변환하기 위해.
• 정규화가 필요한 이유: 기하학적 계산(Homography 등)을 수행하려면 카메라 내부 매개변수의 영향을 제거해야 함.
• 역함수의 역할:
• 내재 행렬은 정규화된 좌표를 픽셀 좌표로 변환.
• 역 내재 행렬은 그 반대로 픽셀 좌표를 정규화된 좌표로 변환.