Current Issue

VPR 작업은 입력 영상인 query 이미지와 같은 위치에서 찍은 이미지를 추출하는 것을 목표로 한다. 이러한 VPR 작업은 컴퓨터 비전의 이미지 유사도 검색(image retrieval) 작업과 굉장히 비슷하지만 이미지 유사도 검색 작업은 단순히 query 이미지와 유사한 이미지를 추출하는 것에 목적을 두는 것에 비해 VPR은 특정 장소와 위치를 인식하는 목적으로 작업을 수행하는데 차이가 존재한다. 앞서 언급대로 VPR 작업에 있어 특징을 추출하는데 크게 두 가지 방법이 존재한다. 첫 번째로는 SIFT(Scale-Invariant Feature Transforms) [2], SURF (Speeded-Up Robust Features) [3]와 같은 local descriptor를 추출하는 방식이다. Local descriptor를 계산하기 위해서는 이미지의 keypoint를 추출하는 작업이 선행되어야 한다. 이러한 local descriptor는 이미지의 회전, 크기 변화, 일반적인 변형 등에 대한 강인하다는 것이 장점으로 꼽힌다. 하지만 local descriptor는 한 이미지에서 최소 몇 백 개의 keypoint를 추출하기 때문에 바로 이미지 matching을 진행하는 것은 컴퓨팅 자원과 효율성이 떨어질 수 있다. 이러한 단점을 극복하고자 이미지를 하나의 고정된 벡터로 표현하는 global descriptor인 Bag-of-Words(BoW) [4]와 같은 모델이 소개되었다. BoW는 keypoint를 추출하고 추출된 keypoint들에 대해 clustering을 수행하여 cluster들의 중심인 visual word를 찾아낸다. 이렇게 찾은 visual word들을 histogram으로 표현하여 visual dictionary를 생성한다. 따라서 이미지 하나 당 하나의 histogram이 생성되며 visual word의 출현 빈도를 기반으로 이미지 유사도를 비교하는 작업을 수행할 수 있다. 이렇게 표현된 visual dictionary는 이미지의 복잡한 구조를 상대적으로 간단한 형태로 표현할 수 있어 local descriptor들의 유사도를 직접 비교하는 것 보다 계산 효율성이 높다. 이 밖에도 밝기 histogram, 텍스처 특징으로부터 같은 global descriptor를 추출하거나 local descriptor를 clustering하여 global descriptor로 만드는 VLAD [5]나 VLAD의 기법을 CNN 네트워크로 대체해 global descriptor로 추출하는 NetVLAD [6]와 같은 방법들이 제안되었다.

많은 연구에서 BoW의 계산 효율성을 활용한 VPR 방법이 제안되었다 [7,8]. 하지만 BoW은 visual word 그리고 visual dictionary가 이미지 촬영 시 조도나 밝기와 같은 환경에 대해서 강건하지 않다는 한계가 있다. 이를 극복하고자 BoW의 변형 모델인 Bag-of-Objects(BoO)와 같은 모델들이 위치 추정 방식에 적용되고 있다 [9]. BoO 모델은 이미지의 픽셀 단위가 아닌 패치 단위로 특징이 되는 물체들을 식별하여 위치 추정 방식에 적용하는 기법이다. BoO 모델은 BoW의 visual word와 같은 역할인 visual object를 각 이미지에서 추출하여 장소 인식에 사용한다. Visual object를 추출하기 위해서 딥러닝 모델을 통해 각 이미지를 대표할 수 있는 물체 탐지 작업을 실행한다. 추출된 물체들을 histogram화하여 이미지를 표현하고 표현된 이미지를 벡터화하여 dataset 안에 있는 이미지와 cosine similarity나 euclidean distance 방식을 통해 query 이미지와 동일한 장소의 이미지를 추출해 낸다. 이러한 BoO 방식은 기존의 BoW 보다 조명이나 시점 차이 등에 더 강건하다는 장점이 있다.

Fig. 1. 
BoO example

컴퓨터 비전 분야에서는 전통적으로 이미지만을 데이터로 입력 받아 어떻게 모델을 구성하면 더 좋은 표현을 학습하는지에 대해 연구되어왔다. CNN(Convolutional Neural Network) 모델을 기반으로 한 Inception [9], Resnet [10] 모델들이 등장했고 Attention 모듈을 적용하는 SENet [11], BAM [12], CBAM [13]과 같은 모델들이 등장했다. 이와는 다르게 자연어 처리 분야는 2017년 긴 문장을 효과적으로 처리할 수 있는 Transformer [14]모델의 등장으로 초거대 언어 모델인 LLM(Large Language Model)을 향한 비약적인 발전을 이뤘으며, 비전 분야보다 한 발 앞서 나아가는 형태로 발전해왔다. 이러한 Trasformer의 등장으로 2021년 이후에도 비전 분야의 트렌드도 Transformer의 구조를 적용하는 것이었고, 이러한 트렌드에 맞추어 ImageGPT [15], Vision Transformer [16] 모델들이 등장하였다. 기존의 컴퓨터 비전 모델들은 labeling된 이미지 데이터만을 이용해 사전 학습(pre-training)을 진행하고 자신의 특정 작업에 맞는 dataset에 대해서 파인 튜닝(finetuning)하는 방식이였다. 하지만 이러한 방식은 학습에 사용되지 않은 이상치의 데이터가 들어왔을 때 예측률이 현저히 떨어지는 문제점이 존재해 일반화가 어렵다는 한계가 존재하고 무엇보다 labeling된 dataset의 용량에 대해서 한계가 존재했다. 이러한 한계를 극복하고자 컴퓨터 비전에서도 LLM과 같은 큰 모델과 큰 데이터를 사용한 CLIP [17]과 같은 연구들이 등장하였다. CLIP은 기존의 labeling된 dataset을 사용하지 않고 웹에서 존재하는 이미지와 이미지마다 달려있는 자연어 문장을 그대로 dataset으로 활용하여 4억장의 dataset을 구축하였다. 하지만 단일 유형의 데이터만 다루는 기존 모델과는 다르게 CLIP은 이미지와 자연어를 동시에 구축한 dataset을 사용하기 때문에 기존 모델과는 서로 다른 두 개의 데이터를 학습하는 인코더로 구성되고 이러한 모델을 멀티모달(Multi Modal) 모델이라 정의한다. 이러한 멀티모달 모델은 다양한 유형의 데이터를 동시에 처리하여 복잡하고 더욱 좋은 성능을 낼 수 있으며 다양한 유형의 데이터들을 함께 사용함으로써 상호보완적인 정보를 제공할 수 있으며, 전체 시스템의 성능을 향상시킬 수 있다. CLIP은 기존 labeling된 dataset에 대해서 학습하는 것이 아닌 이미지 마다 매칭되어 있는 문장으로 학습하기 때문에 기존 softmax로 구분하는 학습 방식은 적합하지 않다. 따라서 CLIP은 이미지와 텍스트 데이터를 대조하는 방식을 사용하여 학습을 진행하였고 대조 학습에서는 배치단위로 이루어진 N개의 이미지와 텍스트를 각각 인코더에 통과시켜 각각의 특징 벡터 I_i와 T_i를 산출한다. 학습을 위한 정답 레이블로는 자기 자신의 레이블을 제외한 이미지 또는 텍스트는 서로 다르다는 관계, 즉 개의 쌍에서 서로 정답인 쌍(positive pair)은 N 개, 정답이 아닌 쌍(negative pair)은 N²-N개로 정의하여 진행한다. 이렇게 정답인 레이블 쌍에 대해서는 cosine similarity인 I_i*T_i 가 최대가 되도록, 나머지 쌍에 대해서는 최소가 되도록 하는 방향으로 학습시킨다 [17].

Fig. 2. 
CLIP structure visualization

Fig. 3. 
Zero Shot Prediction

학습된 CLIP은 기존의 ImageNet으로 학습된 모델에서는 기대하기 어려운 처음 보는 dataset, 즉 학습되지 않은 문제를 맞추는 Zero Shot Prediction(ZSP)에서 큰 강점을 보인다. ZSP를 수행하려면 먼저 이미지의 특징을 모델의 이미지 인코더를 통해 추출하게 된다. 그런 다음 이미지에 해당되는 클래스를 예측하기 위해서 사람이 직접 클래스 개수와 종류를 설정하고 이러한 텍스트 클래스에 대해서도 텍스트 인코더로 특징을 추출한다. 마지막으로 추출된 이미지 특징과 텍스트 특징들 간의 cosine similarity를 측정한 다음, 가장 높은 cosine similarity를 갖는 값을 해당 클래스로 예측하게 된다.

Fig. 4. 
Edge box example

도심 환경 속에 대한 데이터를 사용하기 위해 dataset 공유 웹사이트인 Mapillary에서 Berlin Kurfürstendamm dataset를 사용하였다. 연구의 순서도는 물체 탐지 모델로 물체를 탐지한 후 TF-IDF를 적용해 이미지 벡터화를 진행했고 이렇게 추출된 벡터를 통하여 cosine similarity로 VPR을 수행하여 query 이미지에 대한 최상위 유사도 이미지 5장, 최하위 유사도 이미지 5장을 뽑아 대표적인 VPR 모델인 VLAD와의 정성적 평가를 실시하여 실험을 마무리하였다. 또한 조도에 대한 실험을 위해 Chicago Night City dataset [19]에 대해서도 동일한 방법을 이용하여 모델의 조명 변화에 대한 강건성을 대략적으로 파악하였다.

Dataset의 각각의 이미지를 BoO 표현을 위해 CLIP을 통해서 물체 탐지를 완료한 후 각 물체의 DF와 IDF를 적용한 결과는 Table 1과 같고 이러한 물체를 기준으로 BoO형식으로 표현한 그래프는 Fig. 5와 같다.

Fig. 5. 
TF histogram

Fig. 7은 각 이미지에서 나온 물체들을 pandas 라이브러리의 dataframe 형식으로 표현한 것이다. 모든 222장의 각 이미지에 대해서 각 물체의 빈도수를 나타낸 것으로 하나의 이미지를 1×40 크기의 하나의 벡터로 표현할 수 있다.

Fig. 7. 
TF dataframe

추출된 DF를 살펴보면 가장 많이 출현된 물체로는 Fig. 6의 빨간색 상자와 같이 속도를 제한하는 교통 장치인 traffic calming device였다. 제일 출현 빈도가 낮은 물체로는 회전 교차로인 roundabouts였다.

Fig. 6. 
Traffic calming device examples.

이렇게 추출 빈도수와 IDF를 고려하여 VPR의 작업에 있어 가중치를 부여하는 작업이 가능하다.

IDF를 살펴보면 DF에서 낮은 값을 얻은 회전교차로나 소화전 같은 물체들이 빈도수가 현저히 낮아 가중치가 높게 부여되었다. 이렇게 가중치 작업이 완료된 벡터를 통해 query 이미지에 대한 가장 유사한 이미지를 dataset에서 추출할 수 있다. 또한 실험에서 모든 이미지에 대해서 빈번히 출현되는 차나 나무와 같은 물체들은 추출이 잘되는 물체에 속하지만 VPR 작업을 수행하기에는 적합하지 않아 벡터화 작업에서는 배제하였다.

최종적으로 query 이미지에 대해서 가장 유사한 이미지를 찾기 위한 작업들이 마무리되었고 Fig. 9 왼쪽과 같이 query 이미지에 대해서 최상위 유사도 이미지 5개를 추출하였다.

Fig. 9. 
Ours and VLAD top ranked candidate scenes

Query 이미지는 dataset의 201번째 이미지이며 최상위 유사도 이미지로는 차례대로 202, 208, 193, 206, 205번째 이미지가 추출되었다.

시퀀스에서도 알 수 있듯이 첫 번째 후보 이미지부터 다섯 번째 이미지까지 query 이미지와 동일한 장소와 멀리 떨어지지 않은 장소인 것을 확인할 수 있다.

Fig. 9의 오른쪽과 같이 VPR의 대표적인 모델인 VLAD에 대해서도 같은 Berlin Kudamm dataset을 이용하여 실험하였다. VLAD의 경우, 첫 번째와 두 번째 최상위 유사도 이미지가 query 이미지에서 찍은 이미지와 가까운 거리에서 찍은 이미지를 얻을 수 있었으나 나머지 후보 이미지들에 대해서는 좋지 못한 결과를 얻으므로 본 연구의 VPR에 대한 가능성과 경쟁력을 확인하였다.

최하위 유사도는 Fig. 8과 같이 query 이미지 201번째에 대해서 차례대로 87, 82, 121, 143, 139번째 이미지를 얻은 것으로 query 이미지와 상관없는 위치 장소인 것을 확인할 수 있다.

Fig. 8. 
Bottom-K visual place recognition

마지막으로 VPR의 조명 변화에 대한 실험 결과는 Fig. 10과 같다. Chicago Night City 46 번째 이미지를 query 이미지로 해서 차례대로 94, 47, 96, 64, 44 번째 이미지를 얻을 수 있었다. 상위 두 번째 이미지(47), 다섯 번째 이미지(44)와 같이 좋은 결과를 얻을 수도 있었지만 나머지 3개의 후보 이미지를 살펴보면 query 이미지에 대해서 전혀 상관없는 이미지인 것을 확인할 수 있다. 하지만 두 번째와 다섯 번째 이미지에 대해서 좋은 후보 이미지를 얻은 점을 고려하면 충분히 상대적으로 밤 거리와 같은 어두운 환경에 대해서도 가능성을 보여줬다.

Fig. 10. 
Top k visual place recognition (Chicago night city)