For Reviewers

스테레오 매칭은 스테레오 카메라의 왼쪽과 오른쪽 이미지 사이의 disparity를 구하는 것이다. 뎁스는 구해진 disparity와 스테레오 카메라의 파라미터를 이용하여 구할 수 있다. 전통적인 스테레오 매칭 방법은 스테레오 카메라의 왼쪽과 오른쪽 이미지에서hand-crafted 피쳐를 이용하는 것이다 [6,7]. 이러한 방법은 적은 컴퓨팅 파워만을 사용하면서 실시간으로 disparity를 구하는 것이 가능하다. 그러나 이러한 방법은 복잡한 전처리 및 후처리 과정과 hand-crafted 피쳐를 다루기 위한 세부적인 파라미터 조정이 요구되어 다양한 환경에 적용하기 어려운 한계점이 있다.

CNN 기반의 스테레오 매칭 방법은 전통적인 스테레오 매칭 방법과 달리 hand-crafted 피쳐를 사용하지 않고 모델을 데이터를 기반으로 학습시킨다 [3,4,8]. 이러한 방법은 전통적인 방법에 비해 더 정교한 disparity를 구할 수 있다. 그렇지만 이러한 방법은 전통적인 방법에 비하여 몇 가지 한계점이 있다. 첫 번째로 모델의 학습을 위하여 많은 양의 주의 깊게 수집된 테이터를 필요로 하며 많은 컴퓨팅 파워가 요구된다 [9,10]. 두 번째로 학습된 모델을 이용하여 인퍼런스 할 때 역시 전통적인 방법에 비해 휠씬 많은 컴퓨팅 파워를 요구한다 [3,8]. 세 번째로 학습된 모델을 off-the-shelf로 여러 도메인에서 사용할 수 없다. 모델의 학습을 위해 사용한 데이터가 수집된 환경이나 카메라와 다른 환경이나 카메라에 모델을 적용하여 disparity를 구할 경우 성능의 저하가 심하다. 다른 도메인에서 모델을 적용하기 위해서는 추가적인 데이터를 수집하여 모델을 재학습 시키거나 fine-tunning을 해야만 한다.

MDE는 CNN이나 Transformer [11]와 같은 뉴럴 네트워크(NN)모델을 이용하여 이미지로부터 뎁스를 직접 구하는 것이다. NN 모델을 학습시키기 위해서는 1) supervised, 2) unsupervised, 3) image translation세 가지 접근 방법을 이용할 수 있다. Supervised 접근 방법에서는 이미지와 뎁스 페어로 이루어진 데이터셋을 이용하여 NN 모델을 학습하여 NN 모델이 이미지를 입력 받아 뎁스를 예측할 수 있도록 한다 [12-14]. 그러나 이미지와 뎁스페어로 이루어진 데이터를 실외에서 수집하기 위해서는 고가의 장비 및 복잡한 후처리 과정이 필요하다는 한계가 있다. Ground truth 뎁스를 얻기 위해서는3D LiDAR가 필수적으로 필요하며 3D LiDAR의 density가 이미지 보다 낮기 때문에 이를 해결하기 위해 여러 위치에서 수집한 3D LiDAR의 point cloud를 registration하는 후처리 작업을 수행해야만 한다 [9].

Unsupervised 접근 방법은 supervised 접근 방법과 달리 ground truth 뎁스가 NN 모델의 학습 과정에서 필요하지 않은 방법이다 [5]. Unsupervised 접근 방법에서는 스테레오 카메라를 탑재한 플랫폼을 이동시키면서 수집한 데이터를 학습에 사용한다. 이를 위해서 left-right consistency라는 개념을 사용한다 [5]. 이는 스테레오 카메라의 캘리브레이션 파라미터를 알고 있고NN모델이 뎁스를 잘 예측할 수 있다면 한 쪽 카메라 이미지와 뎁스 예측 결과를 가지고 다른 쪽 카메라에서 본 view로 변환한 이미지와 다른 쪽 카메라 이미지와 유사할 것이라는 가정을 바탕으로 한 것이다. 그러나 이 접근 방법 역시 데이터 수집 과정에서 정교하게 캘리브레이션한 카메라를 이용해야 한다는 한계가 있다.

Image-translation 접근 방법 [15,16]은 앞의 두 가지 접근 방법과 달리 generative model을 사용하여 이미지로부터 뎁스를 예측한다. 이 접근 방법에서는 cycle consistency [17]라는 개념을 사용하여 이미지와 뎁스 사이의 명시적인 페어가 존재하지 않는다 해도 이미지와 뎁스 사이의 변환을 할 수 있는 NN 모델을 학습시킬 수 있다. 그러나 이 접근 방법은 앞의 두 가지 접근 방법보다 뎁스 예측의 정확도가 떨어지며 복잡한 loss 함수와 모델의 구조 때문에 안정적으로 학습시키기 어렵다는 한계가 있다.

세 가지 접근 방법 모두 데이터가 수집된 환경과 유사한 환경이나 데이터를 수집할 때 사용한 카메라와 유사한 카메라를 사용해서 얻은 이미지로부터 NN 모델이 절대적인 뎁스를 예측하지만 다른 환경이나 다른 카메라를 사용해서 얻은 이미지로부터 NN 모델이 상대적인 뎁스는 정확하게 예측하나 절대적인 뎁스는 예측하지 못한다는 한계를 가지고 있다.

좌측 영상으로부터MDE 모델을 사용하여 unscaled depth를 구한다. 이 과정에서 사용하는 MDE 모델인 BTS [12]는 KITTI 데이터셋을 이용하여 학습된 모델의 파라미터를 freeze 하여 재학습 없이 사용하였다. MDE를 재학습 없이 인퍼런스를 하는 경우 인퍼런스 하는 환경과 카메라가 MDE가 학습에 사용한 데이터를 수집한 환경과 카메라의 유사도가 뎁스 추정 결과에 영향을 미친다. 만일 인퍼런스 하는 환경이나 카메라가 학습에 사용한 데이터를 수집한 환경이나 카메라와 유사하지 않다면 재학습 없이 인퍼런스를 통해 추정한 뎁스는 스케일이 맞지 않는다.

MDE 모델을 이용하여 구한 unscaled depth의 스케일을 보정해주기 위해 SBSC의 좌우 영상과 파라미터를 이용하여 구한 sparse depth를 이용한다.

Sparse depth를 구하기 위해서 먼저 좌우 두 영상으로부터 keypoint detector를 이용하여 좌우 영상 각각keypoint와 keypoint의 descriptor를 추출한다. 이 과정에서 keypoint detector로 FAST[17]를 이용하였고descriptor로 AKAZE [18]를 이용하였다. Keypoint는 영상 내에서 골고루 분포하는 것이 scale feactor를 더 정확하게 추정할 수 있도록 할 수 있기 때문에 bucketing을 사용한다 [19]. Bucketing은 영상을 일정한 크기의 grid로 분할한 다음 한 개의 grid cell에서 추출될 수 있는 keypoint의 최대 숫자를 제한하여 영상의 특정 영역에서 keypoint가 과도하게 추출되지 않도록 억제한다.

Bucketing을 사용하여 추출한 좌측 영상의keypoint와 우측 영상의 keypoint 사이의 matching을 수행한다. Keypoint matching은 keypoint의 descriptor의 유사도를 이용하여 왼쪽 영상의 keypoint들과 우측 영상의 keypoint들의 tentative match를 찾은 다음 epipolar geometry를 적용하여 신뢰할만한 match만을 남겨둔다.

왼쪽 영상의 keypoint들과 오른쪽 영상의 keypoint들의 신뢰할만한 match를 구한 다음 match 되는 왼쪽 영상과 오른쪽 영상의 keypoint들과 SBSC의 파라미터를 이용하여 3차원 triangulation을 수행한다.

이 과정을 통해 왼쪽 영상의 sparse depth를 구할 수 있다. 이는 Stereo matching을 통하여 얻은 depth 보다 훨씬 sparse 하다. 그러나 Sparse한 keypoint의 위치에 해당하는 depth는 stereo matcing을 한 것보다 더 정확할 수 있다.

MED 모델을 이용하여 구한 unscaled depth의 스케일을 보정하기 위한 scale factor를 sparse depth를 이용하여 구한다. 이를 위해서 우선 sparse depth 데이터 포인트 p_i^sd=[r_i,c_i,d_i^sd]^T에서 d_i^sd에 대응하는 unscaled depth p_i^ud=[r_j,c_j,d_j^ud]^T의 d_j^ud의 매칭 페어를 찾는 것이다.

Sparse depth와 unscaled depth의 매칭 페어를 찾는 과정에서 두 가지 이슈가 있다. 첫 번째 이슈는sparse depth데이터 포인트의 r_i와 c_i의 값은 sup-pixel 레벨의 부동소수점으로 표현되지만 unscaled depth 데이터 포인트의 r_j와 c_j의 값은 pixel 레벨의 정수로 표현된다는 것이다.

두 번째 이슈는 MDE에 의해 구해진 unscaled depth 데이터 포인트의 p_j^ud의 값이 환경 내의 오브젝트 형태에 따라 오차를 포함할 수 있다는 것이다. MDE 모델의 uncertainty를 추정하기 위하여 MC-Dropupt을 적용한 결과를 볼 때 [20] p_j^ud의 값은 오브젝트의 경계나 표면이 불규칙한 오브젝트의 포면에서 오차가 커지는 것을 확인할 수 있다.

두 가지 이슈를 해결하기 위하여 p_i^sd와 p_j^ud의 매칭 페어를 찾을 때 (1) sub-pixel 레벨로 표현되는 r_i와 c_i 주변의 일정 범위의 윈도우를 linear interpolation을 이용하여 remapping한 패치를 추출한 다음 (2) 추출한 패치에서 가장 평면에 가까운 픽셀 좌표에 해당하는 d값을 p_j^ud의 값으로 사용한다.

위 식에서 r_j,c_j의 범위는 윈도우 사이즈에 의해 결정된다. 이 과정을 통해 p_i^sd와 p_j^ud의 매칭 페어를 찾을 수 있다.

Sparse depth 데이터 포인트와 unscaled depth데이터 포인트의 매칭 페어를 찾은 다음 적절한 스케일 팩터를 찾는 과정을 수행한다. Sparse depth와 unscaled depth 사이에는 바이어스가 있는 선형 관계가 있다고 가정한다.

스케일 팩터에 대한 파라미터 θ=[θ₀, θ₁]^T는 RANSAC과 least squares를 이용해 구한다. Fig. 3은 unscaled depth의 데이터 포인트와 scaled depth데이터 포인트의 매칭 페어를 바탕으로 스케일 팩터의 파라미터를 추정한 결과이다.

Fig. 3. 
Unscaled depth and sparse depth matching.

스케일 팩터에 대한 파라미터 θ를 매 프레임마다 구한 다음 이를 이용하여 unscaled depth에 적용하여 MDE의 depth의 스케일을 보정할 수 있다.

스케일 팩터를 추정하는 과정에서 영상 내에 텍스쳐가 부족하여 keypoint가 충분히 추출되지 않거나 keypoint가 균일하게 추출되지 않는 경우 스케일 팩터에 대한 파라미터가 제대로 추정되지 않을 수 있다. 이에 대응하기 위하여 스케일 팩터에 median 필터를 적용하여 사용한다.

SBSC를 장착한 플랫폼으로 수집된 오픈 데이터셋 중 하나인 RADIATE 데이터셋 [21]을 이용하여 제안하는 방법의 성능을 정성적 또는 정량적으로 검증하였다.

RADIATE 데이터셋은 승합차에 SBSC인 ZED 카메라와 차원 라이다와 레이다를 함께 탑재하여 도심 및 교외 지역을 다양한 날씨 조건에서 주행하면서 수집한 데이터이다. ZED 카메라는 약 12 cm의 베이스라인을 가지고 있으며 rectification을 다음 입력으로 사용하였으며 입력에 사용한 좌우 영상의 크기는 672×372 이다.

제안하는 방법의 성능을 정성적으로 비교하기 위하여 SBSC에서 뎁스를 추정할 수 있는 전통적인 스테레오 매칭 방법인 SGBM [6]과 CNN기반의 스테레오 매칭 방법인 PSMNet [3]을 함께 사용하였다. PSMNet은 KITTI 데이터셋을 이용해 학습된 모델을 사용하였다.

Fig. 4는 RDIATE 데이터셋 중 하나인 city_1_1의 한 프레임을 이용하여 SGBM, PSMNet 그리고 제안하는 방법을 이용하여 깊이 추정을 수행한 결과를 보여준다. Fig. 4 (b)는 SGBM을 이용하여 뎁스 추정을 한 결과를 보여준다. 뎁스 추정 결과를 볼 때 전체적인 구조를 어느 정도 나타내고 있지만 상당히 많은 artifact가 존재하며 유사한 뎁스를 가지고 있는 평면에서도 뎁스가 불균일하게 추청되는 것을 확인할 수 있다. 또한 뎁스 추정 결과 그림에서 왼쪽 부분은 뎁스를 제대로 추정하지 못하는데 이는 SGBM이 매칭 과정에서 양쪽 영상의 오버랩이 충분하지 못한 경우 뎁스 추정을 수행하지 못하기 때문이다.

Fig. 4. 
Depth estimation result (a) input image, (b) SGBM, (c) PSMNet, (d) proposed method.

Fig. 4 (c)는 PSMNet을 이용하여 뎁스 추정을 한 결과를 보여준다. KITTI 데이터셋과 RADIATE 데이터셋은 둘 다 비슷한 도시 환경에서 수집되었음에도 불구하고 KITTI 데이터셋으로 학습된PSMNet은 RADIATE 데이터셋에서 깊이 추정을 제대로 하지 못하고 있는 것을 확인할 수 있다. 뎁스 추정 결과를 볼때 전체적인 구조만을 어느 정도 나타내고 있으며 근거리의 물체에 대한 뎁스를 제대로 추정하지 못하고 있다는 것을 확인할 수 있다.

Fig. 4 (d)는 제안하는 방법을 이용하여 뎁스 추정을 한 결과를 보여준다. BTS는 PSMNet과 동일하게 KITTI 데이텃셋으로 학습되었지만 PSMNet과 달리 환경의 전체적인 구조 뿐 아니라 환경 내에 존재하는 여러 가지 물체의 구체적인 윤곽도 추정할 수 있다는 것을 확인할 수 있다. 또한 같은 유사한 뎁스를 가지고 있는 평면의 뎁스도 균일하게 추정할 수 있다는 것을 확인할 수 있다. 그러나 BTS는 상대적인 뎁스만을 추정할 수 있기 때문에 제안한 방법을 이용하여 스케일 보정을 하면 절대적인 뎁스를 추정할 수 있다.

제안하는 방법을 이용하여 절대적인 뎁스를 추정한 결과를 확인하기 위하여 스케일 보정이 되지 않은 BTS와 제안한 방법으로 스케일이 보정된 BTS의 평균 뎁스 오차를 거리에 따른 구간 별로 확인하였다.

Fig. 5 (a)와 5 (b)는 각각 RADAIATE city_1_1 데이터와 RADIATE city_3_1 데이터에서의 두 방법의 구간 별 평균 뎁스 오차를 나타낸다. BTS는 KITTI 데이터셋을 이용하여 학습 되었기 때문에 RADIATE 데이터셋을 사용하여 뎁스 추정을 하는 경우 상대적인 뎁스는 잘 추정할 수 있지만 스케일 보정을 수행하지 않으면 상당히 큰 뎁스 추정 오차가 발생하는 것을 확인할 수 있다. 제안하는 방법을 사용하여 스케일 보정을 수행하면 약 30m 범위 내에서는 뎁스 추정 오차를 상당히 감소시킬 수 있다는 것을 확인할 수 있다.

Fig. 5. 
Mean depth estimation errors of BTS [BTS] and the proposed method. (a) city_1_1 dataset, (b) city_3_1 dataset

Table 1은 제안하는 방법의 연산 시간을 나타낸다. 모노 뎁스 추정의 경우 MDE 모델의 복잡도에 따라 연산 시간이 결정된다. 더 빠른 연산 속도를 필요로 하는 경우 BTS 보다 더 경량화된 MDE 모델 [14]을 사용한다면 연산 속도를 더 향상 시키는 것이 가능하다. 저밀도 뎁스 추정과 스케일 보정은 keypoint detector와 descriptor의 특성 및 추출하는 최대 keypoint 개수 그리고 bucketing 파라미터에 의해서 영향을 받는다.