Editorial Board

최근 CMOS 이미지 센서 연구의 동향은 고품질의 2차원 이미지 구현뿐만 아니라 3차원 이미지 구현에도 집중되고 있다. 3차원 이미지는 기존의 2차원 이미지에 깊이 정보가 포함되므로 전달할 수 있는 정보의 품질이 향상된다. 또한, 포함된 깊이 정보는 자동차, 의료 기기, 군사 용품 등과 같은 다양한 응용 분야에서 용이하게 활용된다 [1-4]. 물론, 3차원 이미지 구현을 위해서 Time-of-flight (TOF) 시스템, 스테레오 카메라 시스템, 구조 광 시스템과 같은 많은 방법들이 존재한다[5-8]. 그러나, 앞서 언급한 방법들에 비해 오프셋 화소 조리개 (offset pixel aperture: OPA) 방법은 하나의 칩 및 간단한 구조로 깊이 정보를 획득할 수 있다는 장점이 있다 [9-11].

본 논문에서는 오프셋 화소 조리개 방법이 적용된 센서에서 깊이 정보 추출에 가장 중요한 요소인 디스패리티 (disparity) 추정에 대해 논한다. 디스패리티는 오프셋 화소 조리개 패턴에서 왼쪽-오프셋 화소 조리개가 적용된 화소와 오른쪽-오프셋 화소 조리개가 적용된 화소 사이의 응답 각도 차이에 의해 생성된 다른 채널 두 이미지의 x축 방향 거리 차이이다.

응답 각도의 차이는 오프셋-화소 조리개의 오프셋 값과 픽셀 높이에 영향을 받는다. 본 논문에서, 디스패리티는 픽셀 높이가 다른 두 개의 단색 CMOS 이미지 센서를 이용하여 추정된다. 그 후, 픽셀 높이가 디스패리티에 얼마나 영향을 미치는지 확인한다.

오프셋 화소 조리개 방법을 이용한 설계된 단색 CMOS 이미지 센서는 깊이 추출을 위한 중요한 요소인 디스패리티 추정에 이용된다. Fig. 1에서는 오프셋 화소 조리개와 카메라 렌즈 조리개의 효과가 동등함을 나타낸다. O₁은 오프셋 화소 조리개의 오프셋 값이고, O₂는 카메라 렌즈 조리개의 오프셋 값이다.

Fig. 1. 
Equivalent effect between OPA and camera lens aperture.

Fig. 2는 오프셋 화소 조리개 방법이 적용된 CMOS 이미지 센서의 단면도를 보여준다. 등가 오프셋 f-수 (F_OA) 는 픽셀 높이에 반비례하며 다음의 식과 같다.

Fig. 2. 
Cross-sectional view of OPA CMOS image sensor.

여기서 h는 픽셀 높이이고, 2 × O₂는 OA와 동일하며, n은 마이크로 렌즈의 반사 지수이다. F_OA가 카메라 렌즈의 f-수보다 작으면 디스패리티가 정확하게 최대로 얻어지지 않는다. 따라서, Fig. 3에서 보여지는 것처럼 F_OA는 카메라 렌즈의 f-수보다 더 크게 설정되어야 하며, 왼쪽-오프셋 화소 조리개와 오른쪽-오프셋 화소 조리개의 대칭되는 개구영역에 의해 확인된다.

Fig. 3. 
(a) and (b) Correlation between F_OA and f-number of the camera lens.

Fig. 4는 디스패리티에 대한 물체의 거리 및 초점 거리의 영향을 나타낸다. a₁은 초점이 맞지 않은 상태에서의 물체 거리이고, a₂는 초점이 맞는 상태에서의 물체거리이다. b₁은 초점이 맞지 않은 상태에서의 초점 거리이고, b₂는 초점이 맞을 때의 초점 거리이다. d는 초점이 맞지 않은 상태에서 센서와 초점 사이의 거리이다.

Fig. 4. 
Influence of the distance of the object and the focal length on the disparity.

디스패리티(d_s)의 정의는 다음 식과 같다.

디스패리티는 위에서 언급한 렌즈 수식을 이용하여 계산할 수 있다. 위 수식에서 보여지는 것처럼 픽셀 높이가 감소함에 따라 F_OA가 감소하여 디스패리티는 증가한다.

디스패리티는 이전 섹션에서 설명한 렌즈 수식에서 보여지는 것처럼 F_OA의 크기에 따라 달라진다. 즉, 픽셀의 높이가 낮아지거나 오프셋 화소 조리개의 오프셋 값이 증가하면 디스패리티가 증가한다. 따라서, 오프셋 화소 조리개 방법으로 픽셀을 설계할 때, 픽셀 높이와 오프셋 값을 설정하는 것이 매우 중요하다. 디스패리티 추정에 이용한 오프셋 화소 조리개의 개구 영역 오프셋 값은 0.78 μm이다.

이는 화소 면적 2.8 μm × 2.8 μm 영역내에서 오프셋 화소 조리개의 개구 영역 폭을 0.5 μm로 형성할 때, 설정할 수 있는 최대 오프셋 값이다. 그런 다음, 고정된 오프셋 값에 대하여 픽셀 높이 변화가 디스패리티에 어떤 영향을 미치는지 확인하였다.

화소 높이 차이가 존재하는 두 센서를 이용하여 디스패리티를 추정하였다. Fig. 5는 실리콘 영역 에칭 공정 (SRE process) 적용 유무에 따른 픽셀 높이 차이에 대한 단면도를 나타낸다.

Fig. 5. 
(a) and (b) Cross-sectional illustration of difference in pixel height depending on the presence or absence of the SRE process.

오프셋 화소 조리개 방법이 적용된 단색 CMOS 이미지 센서의 화소 높이를 감소시키기 위하여 실리콘 영역 에칭 공정을 적용하였다. 실리콘 영역 에칭 공정이 적용되지 않은 화소의 높이는 3.335 μm이며, 실리콘 영역 에칭 공정이 적용된 화소의 높이는 2.355 μm이다. 화소 높이의 차이는 0.98 μm이므로 실리콘 영역 에칭 공정이 적용된 화소의 높이가 낮은 것으로 확인되었다. 따라서, 고정된 오프셋 화소 조리개의 오프셋 값과 두 센서의 화소 높이를 이용하여 디스패리티 추정을 진행하였다. Fig. 6은 오프셋 화소 조리개 방법이 적용되어 설계된 단색 CMOS 이미지 센서의 레이아웃 사진이다. 설계된 단색 CMOS 이미지 센서의 특성은 Table 1에 서술하였다.

Fig. 6. 
Entire chip layout of the designed sensor.

디스패리티는 설계된 오프셋 화소 조리개 CMOS 이미지 센서에서 깊이 정보를 획득하여 3차원 이미지를 구현함에 있어서 가장 중요한 요소이다. 디스패리티가 향상됨에 따라 깊이 정보의 해상도 또한 향상된다. 본 절에서는 화소의 높이가 디스패리티에 미치는 영향을 확인하기 위해 계산한 결과를 비교한다. 디스패리티는 실리콘 영역 에칭 공정 적용에 따른 화소 높이 차이를 가지는 두 센서의 계산된 결과들로 비교한다. 디스페리티를 계산하기 위해 설계된 센서의 특성 외에도 카메라 렌즈의 특성이 요구된다. 따라서, 두 가지의 카메라 렌즈 특성을 이용하여 디스패리티를 계산하고 비교하였다.

Fig. 7은 설계된 CMOS 이미지 센서와 Edmund 사의 C 시리즈 고정 초점 거리 렌즈 특성을 이용하여 계산된 디스패리티를 보여준다. 카메라 렌즈의 초점 거리는 25 mm이고, f-수 값은 1.4이다. 초점은 100 cm에 맞추고 물체 거리는 1 cm간격으로 85 cm부터 115 cm까지의 거리에 대하여 디스패리티를 계산하였다.

Fig. 7. 
Calculated disparity using the characteristics of designed CIS and 25 mm focal length camera lens.

물체의 거리가 85 cm 인 경우, 실리콘 영역 에칭 공정이 적용되지 않은 센서의 디스패리티는 80.44 화소이다. 이 때, 실리콘 영역 에칭 공정이 적용된 센서의 디스패리티는 138.07 화소이다. 물체 거리가 115 cm인 경우, 실리콘 영역 에칭 공정이 적용되지 않은 센서의 디스패리티는 59.45 화소이다. 반면에, 실리콘 영역 에칭 공정이 적용된 센서의 디스패리티는 102.05 화소이다. 계산된 결과에서 보여지듯, 실리콘 영역 에칭 공정이 적용된 센서의 디스패리티가 물체 거리 85 cm에서 57.63화소, 물체 거리115 cm에서 42.6 화소로 향상되었다.

Fig. 8은 설계된 센서와 THORLABS의 MVL17HS-17 mm EFL 렌즈의 특성을 이용하여 계산한 결과를 나타낸다. 거리에 대한 계산 조건은 Fig. 7과 동일하다. 카메라 렌즈의 초점 거리는 17 mm이며, f-수는 0.95이다. 물체의 거리가 85 cm 인 경우, 실리콘 영역 에칭 공정이 적용되지 않은 센서의 디스패리티는 36.89 화소이다. 이때, 실리콘 영역 에칭 공정이 적용된 센서의 디스패리티는 63.32 화소이다. 물체 거리가 115 cm인 경우, 실리콘 영역 에칭 공정이 적용되지 않은 센서의 디스패리티는 27.26 화소이다. 반면에, 실리콘 영역 에칭 공정이 적용된 센서의 디스패리티는 46.80 화소이다. 두 결과에서 확인할 수 있는 것처럼, 실리콘 영역 에칭 공정이 적용된 센서의 디스패리티가 향상된다.

Fig. 8. 
Calculated disparity results using the characteristics of the designed sensor and 17mm focal length camera lens.

두 결과에서 공통적으로 나타나는 현상은 초점 거리를 기준으로 좌우 디스패리티의 비대칭 현상이다. 이는 디스패리티의 경향이 비선형이기 때문에 발생한다. 왜냐하면, 왼쪽-오프셋 화소 조리개와 오른쪽-오프셋 화소 조리개 두 이미지의 디스패리티가 거리가 멀어질 수로 변화폭이 줄어 들기 때문이다.

오프셋 화소 조리개 방법이 적용되어 설계된 단색 CMOS 이미지 센서에서 깊이 정보 추출을 위한 디스패리티를 추정하는 방법을 제시하였다. 이는 단색 센서뿐 만 아니라 오프셋 화소 조리개 방법이 적용된 모든 이미지 센서에 적용이 가능하다. 디스패리티는 깊이 정보를 추출하여 3차원 이미지를 구현하기 위한 가장 중요한 요소이다. 오프셋 화소 조리개 방법을 적용하여 화소를 설계할 때, 중요하게 고려할 특성은 픽셀의 높이와 오프셋 화소 조리개의 오프셋 값이다. 본 논문에서는 오프셋 값을 가능한 최대로 하였다.

실리콘 영역 에칭 공정 적용 유무에 따라 설계된 두 개의 단색 CMOS 이미지 센서에 대하여 계산된 디스패리티를 비교한 결과, 결론적으로, 실리콘 영역 에칭 공정이 적용된 센서가 F_OA 값이 감소함에 따라 디스패리티가 개선되었음을 확인하였다.