이미지 쌍의 유사도를 고려한 Acoustic Odometry 정확도 향상 연구

1. 서 론

UUV(Unmanned Underwater Vehicles)는 해양 탐사, 수중케이블 매설, 기뢰 제거와 같은 분야에서 널리 사용된다[1-3]. UUV의 완전 자율화(Fully autonomy)는 정확하고 신속한 임무 수행이 가능하게 한다. 완전 자율화를 위해서는 위치파악 (Localization)문제를 해결하여야 한다.

육상에서는 GPS(Global Positioning System)와 카메라 센서를 이용하여 위치파악을 할 수 있다[4]. 하지만, 수중환경은 물의 높은 탁도(Turbidity)와 전파가 흡수되는 특성으로 위치 파악에 어려움이 있다[5]. 그 대안으로 수중환경에서는 FLS(Forward-looking Sonar), USBL(Ultra-Short Base Line), DVL(Doppler Velocity Log)와 같은 초음파 기반의 센서를 이용하여 위치를 추정할 수 있다[6]. 초음파 기반의 센서 중에서 FLS는 초음파 이미지를 이용하여 동시에 위치추정과 주변 환경 인식할 수 있다는 장점이 존재한다.

FLS에서 획득한 초음파 이미지를 정합(Image Registration)하여 Acoustic Odometry를 추정할 수 있다[7-9]. 이미지 정합의 접근법에는 특징 기반 접근법(Feature based method)과 푸리에 기반 접근법(Fourier based method)이 있다[10]. 특징 기반 접근에는 SIFT(Scale Invariant Feature Transform), SURF(Speeded-Up Robust Features)을 이용하여 특징점을 추출하고 매칭 알고리즘을 통해 이미지 간의 변위(Displacement)를 계산할 수 있다[11,12]. 하지만, FLS에서 획득한 초음파 이미지는 신호 대 잡음 비(Signal-to-Noise Ratio, SNR)가 낮아 명확한 특징 추출이 어려워 매칭 알고리즘에 실패하는 경우가 존재한다[10]. 반면, 푸리에 기반 접근법은 주파수 영역에서 위상상관(Phase correlation)을 통해 정합하기 때문에 강건한 Odometry 추정이 가능하다 [10,13]. 위상상관은 2차원에서만 추정할 수 있다는 단점이 존재하지만, 호버링 타입(Hovering type)의 수중로봇은 일정 고도를 유지하여 운행하기 때문에 2차원 문제로 근사하여 접근할 수 있다[13].

푸리에 기반 접근법으로 계산한Acoustic Odometry는 위상상관의 정확도에 큰 영향을 받는다. 만약, 정점 주변에 큰 잡음(Noise)이 존재할 경우 정점과 중심점 간의 거리 계산에 어려움이 생겨 위상상관에 실패하게 된다[10]. 또한, 이미지 쌍이 높은 유사도(High Similarity) 를 띌 경우에는 동일한 이미지로 인식되어 이미지 쌍의 변위를 계산할 수 없어 위상상관에 실패하게 된다[14]. 이러한 문제를 해결하기 위해 저역 통과 필터(Low-pass filter) 등을 이용하여 잡음을 제거하거나, 정점 대 잡음 비(Peak-to-Noise Ratio, PNR)를 이용하여 위상상관의 실패를 방지한 사례가 있다[10,15,16]. 하지만, 이러한 접근법은 잡음에 의한 영향은 방지할 수 있지만, 이미지 쌍의 높은 유사성으로 위상상관에 실패하는 경우는 해결하기 어렵다는 단점이 있다[10,15,16]. 잡음과 이미지 쌍의 유사성은 프레임 간격과 관련이 있다[15-17].

연구에서는 위상상관의 정확도를 높이기 위해 적절한 이미지쌍 선정법을 제안한다. 위상 상관에 영향을 주는 요소를 분석하여 최적의 프레임 간격을 선정하고 위상상관에 실패 원인을 감소시켜 Acoustic Odometry의 정확도를 개선하였다. 본 논문의 구성은 다음과 같다. 2장에서는 Acoustic Odometry의 추정 과정에 대해 설명하였고, 3장에서는 문제 정의를 한다. 4장에서는 제안하는 접근법에 대해 설명하고, 이어서 접근법에 대한 검증과 결론을 제시한다.

2. Acoustic Odometry의 추정

2.1 FLS 이미지 처리

FLS는 고해상도의 초음파 이미지를 제공하는 수중카메라이다[18]. FLS는 96개의 트랜스듀서(Transducer)에서 출력되는 초음파 신호의 강도와 TOF(Time of Flight)를 측정하여 흑백 이미지(Gray scale)를 생성한다[18]. 소나 이미지의 생성 메커니즘은 r, θ, φ의 3차원 정보로 매핑(Mapping)된다(Fig. 1)[10]. r는 초음파가 출력되는 범위, θ는 방위각(Azimuth angle), φ는 고도각(Elevation angle)이다. φ는 10도 이하로 작기 때문에 0으로 가정하여 소나 이미지의 생성메커니즘은 2차원으로 가정하였다(식 (1))[10].

Fig. 1.

The beam geometry of FLS

$\[ \left[\begin{array}{c}rcos\theta \\ rsin\theta \end{array}\right]=\left[\begin{array}{c}{x}_s\\ y_s\end{array}\right] \]$

(1)

FLS로부터 획득되는 원본 이미지(Raw Image)는 세로 512, 가로 96픽셀의 극 좌표계(Polar Coordinate)로 표현된다[18]. 극 좌표계의 초음파 이미지는 식 (1)을 통해 직교 좌표계(Cartesian Coordinate)의 부채꼴 이미지(Fan-shaped Image)로 변환될 수 있다[19].

2.2 푸리에 기반 Acoustic Odometry의 추정

푸리에 기반 영상 정합은 FLS에서 획득한 영상 쌍을 푸리에 시프트를 이용하여 기준 프레임에 매칭하는 알고리즘이다. FLS에서 획득되는 초음파 이미지 쌍은 i₁(x, y)과 i₂(x, y)이다[10]. 이미지쌍의 픽셀 변위가 (t_x, t_y)의 차이가 있을 경우 식 (2)로 표현할 수 있다.

$\[ i_1(x,y)=i_2\left(x-t_x,y-t_y\right) \]$

(2)

이미지 쌍i₁(x, y)과 i₂(x, y)는 푸리에 변환(Fourier Transform)을 통해 주파수 영역으로 변환한 이미지 쌍 l₁(u, v)과 l₂(u, v) 로 변환된다(식 (3)).

$\[ I_1\left(u, v\right)=I_2\left(u, v\right){exp}^{j\left(u{t}_x+v{t}_y\right)} \]$

(3)

이미지 쌍의 변위 (t_x, t_y)를 추정하기 위해 주파수 영역 l₁(u, v)과 l₂(u, v) 의 상관계수(Correlation)을 계산하여야 한다[10]. 주파수 영역의 교차 상관 스펙트럼 (Cross Power Spectrum)을 통해 계산된 상관계수는 식 (4)와 같이 나타낼 수 있다.

$\[ C\left(u, v\right)=\frac{I_1\left(u, v\right)I_2^{\mathrm{*}}\left(u, v\right)}{\left|I_1\left(u, v\right)I_2^{\mathrm{*}}\left(u, v\right)\right|} \]$

(4)

교차 상관 스펙트럼으로 상관 계수가 계산된 주파수 영역은 역푸리에 변환(Inverse Fourier Transform)을 통해 디랙 함수(Dirac function)의 픽셀영역으로 변환되고 한 개의 정점이 생성된다(Fig. 2)[10]. 이미지의 중심 점과 생성된 정점과의 차이를 통해 이미지쌍의 변위 (t_x, t_y)를 계산하고 Acoustic Odometry를 추정할 수 있다[10].

Fig. 2.

Peaks generated by phase correlation

3. 문제 정의

Acoustic Odometry의 정확도를 높이기 위해서는 위상상관이 중요하다. Acoustic Odometry의 오차는 뚜렷하지 않은 정점의 생성으로 정합에 실패하는 경우 증가한다(Fig. 3(a))[10]. 뚜렷한 정점 생성에 영향을 미치는 요인에는 이미지 유사도 및 이미지 정보가 있다[10]. 이미지 쌍의 유사도 및 이미지 정보가 작을 때 거짓 정점(Spurious Peaks)이 발생한다(Fig. 3(b))[10]. 거짓 정점은 정점 보다 큰 잡음으로 정점의 위치 추정을 어렵게 한다. 또한, 이미지 쌍의 유사성이 높은 경우 동일한 이미지로 인식되어 변위 추정에 실패하게 된다.

Fig. 3.

(a) An example of image registration failed, (b) Spurious peaks

이 문제를 해결하기 위해 다른 연구자들은 저역 통과 필터와 정점과 잡음 사이의 관계인 정점 대 잡음 비를 정의하여 거짓 정점 문제를 해결하였다[10,15,16]. 하지만, 저역 통과 필터를 사용하는 접근법은 유효한 정점 정보도 함께 제거되는 한계가 존재한다 [10]. 임계점을 이용한 방법은 이미지의 차이가 클 때 정점 대 잡음 비가 임계점 보다 낮아지므로 위상상관의 실패 확률이 높아진다. 반면, 이미지가 아주 유사할 때는 정점 대 잡음 비가 크게 되는데, 이 때 임계점 값을 훨씬 초과하지만 위상상관은 실패하게 된다. 따라서, 정점 대 잡음 비의 임계점만 이용한 방법은 위상상관의 실패를 정확히 예측할 수 없다[15,16].

이러한 문제를 해결하기 위해 이미지 유사도가 적절하게 유지되도록 최적 프레임 간격을 선정하는 접근법이 필요하다 [14]. 최적프레임 간격을 선정하기 위해 위상상관에 영향을 주는 요소를 분석하여 환경에 따라 조절되는 프레임 간격을 정의하였다. 위상상관에 영향을 주는 요소에는 정점 대 잡음 비, UUV의 속도, FPS, 유효한 영역(Effective Region)이 있다.

정점 대 잡음비는 정점과 잡음의 관계로, 위상상관 과정에서 주파수는 디랙 함수(Dirac function)로 정규화(Normalization)되어 정점의 크기를 알 수 있다[15,16]. 정점의 최대 크기는 디랙 함수로 최대 1dB이다[15,16]. 정점의 최대 크기에서 실제 정점 크기의 차이를 통해 잡음을 계산할 수 있다. 이를 이용하여 정점 대 잡음 비는 식 (5)로 표현하였다[15,16]. 동일한 이미지 쌍의 경우에는 잡음이 없으므로 정점 대 잡음 비는 무한대 값에 수렴하게 된다[15,16]. 즉, 정점 대 잡음 비가 높다는 것은 이미지의 높은 유사도를 의미한다[15,16].

위상상관에 실패하는 임계점은 정점 대 잡음 비가 급격하게 감소하는 부분에서 예측된다. 이미지 쌍의 유사성이 작은 경우 임계점은 낮게 예측된다. 반대로, 이미지 쌍의 유사성이 큰 경우 임계점은 크게 예측된다. 이런 특징을 고려하여 강건한 위상상관을 위해서는 정점 대 잡음 비가 임계점 이하로 낮아지지 않도록 하여야 한다(Fig. 4)[15,16]. 정점 대 잡음 비가 임계점 이하로 감소할 경우에는 거짓 정점이 발생하여 위상상관에 실패할 수 있기 때문에 적절한 임계점을 예측하는 것이 중요하다(Fig. 3(b))[15,16]. 하지만, 임계점을 이용하는 방법은 초음파 이미지 외곽의 검은 영역으로 인해 정점 대 잡음비가 과도하게 높아지는 문제로 적절한 임계점을 찾기 어렵다는 한계가 존재한다.

Fig. 4.

PNR variation with changing frame interval of image pair

이미지 유사도와 정점 대 잡음비에 영향을 주는 요소는 UUV의 속도와 관련이 있다(Fig. 5). UUV의 속도가 빠른 경우 이미지의 유사성이 작아져 정점 대 잡음비가 낮게 형성된다. 정점 대 잡음 비가 낮게 형성되면, 위상상관 실패 임계점에 도달하여 정합에 실패할 가능성이 높아진다[15,16]. 반대로, UUV의 속도가 느린 경우 이미지의 유사도가 높아져 동일한 이미지로 인식되어 변위 추정에 실패하는 현상이 발생할 수 있다.

Fig. 5.

Relationship between velocity and PNR.

위상상관과 이미지의 유사도에 영향을 주는 다른 요소는 초음파이미지를 획득할 때의 FPS이다(Fig. 6). FPS는 단위 시간당 프레임 수로, FPS가 높으면 단위시간에 프레임 수가 많아져 영상이 자연스럽게 연결된다. 즉, FPS가 높으면 이미지 간의 유사성이 높아진다. 이미지 간의 유사도가 높아지면 동일한 이미지로 인식되어 변위 추정에 실패가능성이 높아진다. 반대로, FPS가 낮으면 이미지 간의 유사도가 낮아진다. 이미지 간의 유사도가 낮아지면 거짓 정점의 발생가능성이 높아진다[10].

Fig. 6.

Comparison of FPS

마지막으로, 위상상관에 영향을 주는 요소는 유효면적이다[19]. 유효면적은 이미지 정보량과 관련이 있다. 유효면적은 음파 빔이 바닥까지 유효하게 도달하는 영역이다[19]. 유효면적은 빔 폭을 고려하여 FLS와 바닥 간의 최대, 최소거리로 계산된다. 실제 음파가 도달하는 최대 유효 초음파 범위와 최소 유효 초음파 범위는 소나의 고도(Altitude), 빔 폭(Spreading angle), 주사각도(Tilt angle)에 영향을 받는다(Fig. 1)[19]. 소나 음파의 기하학적 해석을 통해 최대 유효 초음파 범위는 식 (6)으로 나타내고, 최소 유효 초음파 범위는 식 (7)으로 나타낼 수 있다 [19].

유효면적이 작은 경우 초음파가 도달하지 않은 영역은 비유효면적(Ineffective region)이 되어 위상상관에 이용할 수 없는 영역이 된다. 이때 유효면적은 최대 유효범위와 최소 유효범위의 차로 계산된다(식 (8))[19].

유효면적이 작아져 위상상관에 이용되는 이미지 정보의 손실이 생길 경우 정점이 작아지게 되어 잡음의 영향이 커진다(Fig. 7(c)). 또한, 비유효면적이 동일한 영역으로 인식되어 정점 대 잡음비의 임계점이 변화하여 거짓 정점을 방지하기 어려워진다.

Fig. 7.

Comparison of image information, (a) little loss of image information, (b) loss of image information (c) Relationship between effective region and image information.

4. 접근법

Acoustic Odometry의 정확성을 높이기 위해 정합을 하기 전에 최적 프레임 간격 선정(Optimal Frame Interval Selection)하여야 한다. 최적 프레임 간격을 설정하기 위해서는 위상상관에 영향을 주는 유사도와 관련 있는 정점 대 잡음 비, UUV의 속도, FPS와 이미지정보변화에 관련 있는 유효 면적을 고려하여야 한다. 이미지 정보변화는 위상상관에 사용되는 유효한 픽셀 정보를 의미한다. 위상상관에 영향을 미치는 요인을 요약하면 Table 1과 같다.

Table 1.

Factors affecting phase correlation

위상상관의 불확실성을 감소시키기 위해서는 큰 정점이 생성되도록 하여야 한다. 높은 정점 대 잡음 비와 FPS는 이미지의 유사도의 증가시키는 요인으로, 이미지 정보의 변화를 감소시켜 큰 정점의 생성으로 위상상관의 불확실성을 감소시킨다. 빠른 UUV의 속도는 이미지의 유사도를 감소시켜 큰 이미지 정보 변화로 작은 정점의 생성으로 위상상관의 불확실성을 증가시킨다. 유효 면적이 크면 이미지 정보 변화를 감소시켜 큰 정점을 생성하게 하여 위상상관의 불확실성을 감소시킨다. 따라서 최적 프레임 간격 선정을 통해서 불확실성을 감소시키는 요인이 높으면 프레임 간격을 넓게 하여 높은 유사도의 이미지 쌍이 동일한 이미지로 인식되는 현상을 방지하여야 한다. 반대로, 불확실성을 증가시키는 요인이 높으면 프레임 간격을 좁게 하여 거짓 정점의 생성을 방지하여야 한다.

위상상관에 영향을 미치는 요인을 고려하여 제안하는 최적 프레임 간격은 OFI로 표현하며, 식 (9)와 같이 나타낼 수 있다.

여기서 k는 보정계수이다. 제안하는 최적 프레임 간격 선정을 이용하여 Acoustic Odometry를 추정하는 과정을 Fig. 8에 표현하다.

Fig. 8.

Optimal frame interval selection based acoustic odometry estimation

제안하는 최적 프레임 간격 선정은 정합 전에 이용된다. 만약, 이미지 쌍의 유사도가 작은 경우 프레임 간격을 좁게 하여 거짓 정점을 방지할 수 있다. 반대로, 이미지 쌍의 유사도가 높은 경우 프레임 간격을 넓게 하여 동일한 이미지 쌍으로 인식되는 현상을 방지 할 수 있다. 또한, 모든 프레임을 정합을 하지 않기 때문에 계산 시간이 단축되는 장점이 있다.

5. 실험 및 결과

제안하는 방법을 검증하기 위해 포항공대에서 개발한 UUV Cyclops 의 실해역 데이터를 활용하였다(Fig. 9). UUV Cyclops의 주요사양은 Table 2에 표현하였다[20,21].

Fig. 9.

UUV Cyclops[21]

Table 2.

UUV Cyclops specifications

UUV Cyclops은 호버링(Hovering) 타입으로 크기는 가로 0.87 m, 세로 1.48 m, 높이 0.92 m, 무게 210 kg으로 최대 100 m 깊이까지 운행이 가능하다. 또한, 475Watt의 DC 모터가 8개가 장착되어 있어 최대 2 knot의 속도를 낼 수 있다. Acoustic Odometry를 추정하기 위한 FLS로 Sound Metrics사의 DIDSON을 이용하였다. 요(Yaw)를 추정하기 위해 Honeywell사의 관성측정장치(Inertial Measurement Unit)을 사용하였다. 검증을 위한 비교 데이터는 Evologics사의 USBL 데이터를 활용하였다.

UUV Cyclops를 이용하여 실해역 데이터를 오프라인 환경에서 Matlab을 이용하여 검증하였다. 호버링 타입의 UUV Cyclop s는 장착되어 있는 압력센서를 이용하여 비교적 정확하게 수심 정보를 얻을 수 있다. 고도 정보는 압력센서에서 획득한 수심정보를 이용하여 2차원 문제로 가정하였다. 초음파 이미지는 5990개를 사용하여 약 9 m를 이동하였다. 최적 프레임 간격은 식 (9)를 이용하여 계산하였다(Fig. 10).

Fig. 10.

Calculated optimal frame interval during field test

제안하는 최적 프레임 간격 선정 방법을 통해 추정한 Acoustic Odometry 데이터의 정확도를 검증하기 위해 1프레임 간격, 30프레임 간격, 그리고 USBL 위치 데이터를 비교 분석하였다(Fig. 11).

Fig. 11.

Result comparison using field data

빨간 선은 FLS을 이용하여 제안하는 최적 프레임 간격으로 Acoustic Odometry를 추정한 결과이고, 청색 점선은 FLS을 이용하여 좁은 간격인 1프레임으로 Acoustic Odometry를 추정한 결과, 자색 점선은 넓은 간격인 30프레임으로 Odometry를 추정한 결과이다.

USBL의 위치데이터를 기준 값으로 식 (10)의 RMSE(Root Mean Square Error)를 계산하였다(Fig. 12).

Fig. 12.

RMSE comparison results of acoustic odometry

제안하는 최적 키프레임 간격으로 Acoustic Odometry를 추정하였을 때 RMSE는 1.076 m로 추정되었고, 1프레임 간격인 경우는 1.309 m, 30프레임 간격은 1.652 m로 계산되었다. 그 결과 제안하는 최적 프레임 간격으로 Acoustic Odometry를 추정하였을 때 1프레임 간격으로 추정할 때 보다 RMSE는 21.65% 개선되었다. 또한, 30프레임 간격으로 추정할 때 보다 RMSE는 53.53% 개선되었다. 제안하는 최적 프레임 간격을 이용하면 고정된 프레임 간격으로 Acoustic Odometry를 추정한 경우보다 성능이 개선되었음을 확인할 수 있다.

6. 결 론

본 논문에서는 Acoustic Odometry의 정확도를 높이기 위해 최적 프레임 간격 선정 방법을 제안하였다. 최적의 프레임 간격을 정의하기 위해 정점 대 잡음 비, FPS, UUV의 속도 및 유효 영역을 분석하였다. 제안된 방법을 검증하기 위해 UUV Cyclops의 실해역 데이터를 이용하였다. USBL로 측정한 UUV의 위치데이터를 기준 값(Ground truth)으로 키프레임 간격과 좁은 프레임 간격인 1프레임, 넓은 프레임 간격인 30프레임의 Acoustic Odometry 추정 결과를 비교하였다. 그 결과 제안하는 최적 프레임 간격을 이용하여 Acoustic Odometry를 추정한 경우 고정된 프레임 간격인 1프레임과 30프레임으로 추정할 때 보다 RMSE가 각각 21.65%, 53.53%가 개선되었다. 결론적으로 프레임 간격은 Acoustic Odometry 추정 성능에 영향을 주며, 제안된 최적 프레임 간격 선정 접근법을 통해 정확도가 개선됨을 알 수 있다. 향후 연구에서는 센서 융합을 통해 Acoustic Odometry 정확도를 높일 계획이다.

Acknowledgments

이 성과는 2021년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2021R1C1C1008655). 또한, 2022년도 해양수산부 재원으로 해양수산과학기술진흥원의 지원을 받아 수행된 연구임(20220188, 경북씨그랜트).

REFERENCES

• L. Whitcomb, D. R. Yoerger, H. Singh, and J. Howland, “Advances in underwater robot vehicles for deep ocean exploration: Navigation, control, and survey operations”, Proc. of Robotics Research: The Ninth International Symposium, pp. 439-448, Snowbird, Utah, USA,2000. [https://doi.org/10.1007/978-1-4471-0765-1_53]
• S.-W. Huang, E. Chen, and J.-H. Guo, “Seafloor obstacle detection by sidescan sonar scanlines for submarine cable construction”, Proc. of 2014 Oceans - St. John's, pp. 1-6, St. John's, Newfoundland and Labrador, Canada, 2014.
• D. P. Williams, “On optimal auv track-spacing for underwater mine detection”, Proc. of 2010 IEEE International Conference on Robotics and Automation, pp. 4755-4762, Anchorage, Alaska, USA, 2010. [https://doi.org/10.1109/ROBOT.2010.5509435]
• M. Agrawal and K. Konolige, “Real-time localization in outdoor environments using stereo vision and inexpensive gps”, Proc. of 18th International conference on pattern recognition (ICPR’06), pp. 1063-1068, Hong Kong, China, 2006. [https://doi.org/10.1109/ICPR.2006.962]
• S.-C. Yu and M. Sung, “Optical and acoustic sensing and intelligence of underwater drones”, Soc. Naval Architects of Korea, Vol. 57, No. 3, pp. 24-27, 2020.
• H. T. Choi, “Robot navigation and SLAM technology: Introduction and understanding of underwater robot navigation technology”, Robots and humans, Vol. 15, No. 2, pp. 5-18, 2018.
• M. Franchi, A. Ridolfi, and L. Zacchini, “A forward-looking sonar-based system for underwater mosaicing and acoustic odometry”, Proc. of 2018 IEEE/OES Autonomous Underwater Vehicle Workshop (AUV), pp. 1-6, Porto, Portugal, 2018. [https://doi.org/10.1109/AUV.2018.8729795]
• N. Hurtós, S. Nagappa, N. Palomeras, and J. Salvi, “Real-time mosaicing with two-dimensional forward-looking sonar”, Proc. of 2014 IEEE International Conference on Robotics and Automation (ICRA), pp. 601-606, Hong Kong, China, 2014. [https://doi.org/10.1109/ICRA.2014.6906916]
• W. Xu, J. Yang, H. Wei, H. Lu , X. Tian, and X. Li, “A localization algorithm based on pose graph using forward-looking sonar for deep-sea mining vehicle”, Ocean Eng., Vol. 284, p. 114968, 2023. [https://doi.org/10.1016/j.oceaneng.2023.114968]
• N. H. Vilarnau, “Forward-looking sonar mosaicing for underwater environments”, Ph. D. thesis, University of Girona, Girona, Spain, ES, 2014.
• G. Lowe, “Sift-the scale invariant feature transform”, Int. J., Vol. 2, No. 91-110, p. 2, 2004.
• H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, “Speeded-up robust features (surf)”, Comput. Vis. Image underst., Vol. 110, No. 3, pp. 346-359, 2008. [https://doi.org/10.1016/j.cviu.2007.09.014]
• B. S. Reddy and B. N. Chatterji, “An fft-based technique for translation, rotation, and scale-invariant image registration”, IEEE Trans. Image Process., Vol. 5, No. 8, pp. 1266-1271, 1996. [https://doi.org/10.1109/83.506761]
• L. Piyathilaka and R. Munasinghe, “An experimental study on using visual odometry for short-run self- localization of field robot”, Proc. of 2010 Fifth International Conference on Information and Automation for Sustainability, pp. 150–155, Colombo, Sri Lanka, 2010. [https://doi.org/10.1109/ICIAFS.2010.5715651]
• M. Pfingsthorn, A. Birk, S. Schwertfeger, H. Bülow, and K. Pathak, “Maximum likelihood mapping with spectral image registration”, Proc. of 2010 IEEE International Conference on Robotics and Automation, pp. 4282-4287, Anchorage, Alaska, USA, 2010. [https://doi.org/10.1109/ROBOT.2010.5509366]
• N. Hurtós Vilarnau, X. Cufí i Solé, Y. Petillot, and J. Salvi, “Fourier-based registrations for two-dimensional forward-looking sonar image mosaicing”, Proc. of 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 5298-5305, Vilamoura, Algarve, Portugal, 2012. [https://doi.org/10.1109/IROS.2012.6385813]
• B. Li, W. Yan, and H. Li, “A combinatorial registration method for forward-looking sonar image”, IEEE Trans. Industr. Inform., pp.1-10, 2023. [https://doi.org/10.1109/TII.2023.3292973]
• H. Joe and S.-C. Yu, “Study on Seabed Mapping using Two Sonar Devices for AUV Application”, J. Korea Robot. Soc., Vol. 16, No. 2, pp. 94. [https://doi.org/10.7746/jkros.2021.16.2.094]
• H. Cho, B. Kim, and S.-C. Yu, “Auv-based underwater 3-d point cloud generation using acoustic lens-based multibeam sonar”, IEEE J. Ocean. Eng., Vol. 43, No. 4, pp. 856-872, 2017. [https://doi.org/10.1109/JOE.2017.2751139]
• J. Pyo, H. Cho, H. Joe, T. Ura, and S.-C. Yu, “Development of hovering type auv “cyclops” and its performance evaluation using image mosaicing”, Ocean Eng., Vol. 109, pp. 517-530, 2015. [https://doi.org/10.1016/j.oceaneng.2015.09.023]
• H. Joe, H. Cho, M. Sung, J. Kim, and S.-c. Yu, “Sensor fusion of two sonar devices for underwater 3d mapping with an auv”, Auton. Robots, Vol. 45, No. 4, pp. 543-560, 2021. [https://doi.org/10.1007/s10514-021-09986-5]