한국센서학회 학술지영문홈페이지
[ Article ]
JOURNAL OF SENSOR SCIENCE AND TECHNOLOGY - Vol. 32, No. 2, pp.110-117
ISSN: 1225-5475 (Print) 2093-7563 (Online)
Print publication date 31 Mar 2023
Received 15 Mar 2023 Revised 27 Mar 2023 Accepted 29 Mar 2023
DOI: https://doi.org/10.46670/JSST.2023.32.2.110

비선형 보간법을 이용한 수중 이미지 소나의 3 차원 해저지형 실시간 생성기법

이인규1 ; 김재선1 ; 노세환1 ; 신기철2 ; 이재준2 ; 유선철1,
1포항공과대학교 IT융합공학과
2LIG Nex1 해양 연구소
Real-time Data Enhancement of 3D Underwater Terrain Map Using Nonlinear Interpolation on Image Sonar
Ingyu Lee1 ; Jason Kim1 ; Sehwan Rho1 ; Kee–Cheol Shin2 ; Jaejun Lee2 ; Son-Cheol Yu1,
1Department of Convergence IT Engineering, Pohang University of Science and Technology C5, 77, Cheongam-ro, Nam-gu, Pohang-si, Gyeongsangbuk-do, 37673, Korea
2Maritime R&D Center, LIG Nex1, 333 Pangyo-ro, Bundang-gu, Seongnam-City, Gyeonggi-do, 13488, Korea

Correspondence to: + sncyu@postech.ac.kr

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(https://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Reconstructing underwater geometry in real time with forward-looking sonar is critical for applications such as localization, mapping, and path planning. Geometrical data must be repeatedly calculated and overwritten in real time because the reliability of the acoustic data is affected by various factors. Moreover, scattering of signal data during the coordinate conversion process may lead to geometrical errors, which lowers the accuracy of the information obtained by the sensor system. In this study, we propose a three-step data processing method with low computational cost for real-time operation. First, the number of data points to be interpolated is determined with respect to the distance between each point and the size of the data grid in a Cartesian coordinate system. Then, the data are processed with a nonlinear interpolation so that they exhibit linear properties in the coordinate system. Finally, the data are transformed based on variations in the position and orientation of the sonar over time. The results of an evaluation of our proposed approach in a simulation show that the nonlinear interpolation operation constructed a continuous underwater geometry dataset with low geometrical error.

Keywords:

Imaging sonar, Forward scan sonar, Sonar data interpolation, Nonlinear interpolation, Underwater 3D reconstruction

1. 서 론

최근 광학 카메라, 라이다(light detection and ranging, LiDAR) 등의 광학 센서를 활용한 육상 이동체의 무인화 및 자율화에 관한 연구가 활발하게 진행되고 있다. 예를 들어, 자율 주행 또는 무인기의 군집 제어 등이 있는데, 이는 광학 센서의 기술이 발전함에 따라 고해상도의 3 차원 지형도를 실시간 획득 및 연산이 가능해짐에 그 이유가 있다.

이와 마찬가지로, Fig. 1과 같이, 수중 이미징 소나 (underwater forward scan sonar)의 실시간 해저 지형 복원은 수중이동체의 동시적 위치 추정 및 지도 작성 (simultaneous localization and mapping, SLAM), 경로 계획(path planning) 등에 있어 주요한 역할을 한다[1]. 하지만 빠르게 발전하고 있는 육상 이동체의 제어와는 달리, 수중 이동체는 그 발전이 더디다.

Fig. 1.

Relationship between the geometry reconstruction and the path planning.

Fig. 2.

Angular data loss of sonar data.

Fig. 3.

Highlight extension with respect to the distance between the sonar and the object. (a) the object is in the region with no highlight extension occurs, (b) the region with highlight extension occurs, (c) the critical point when the maximum highlight extension occurs, (d) after the critical point.

육상 이동체와 수중 이동체의 이러한 차이점은 주변 환경 인식, 위치 추정 및 지도 작성, 그리고 경로 설정에 있어 사용되는 데이터의 해상도에 있다. 육상 이동체에서 주로 사용되는 라이다의 경우 약 1 μm 단위의 공간 분해능과 1 cm 단위의 깊이 분해능을 가진다[2]. 하지만 수중에서는 높은 전자기파 감쇄율로 인해 광학 데이터를 활용하기 어려워, 비교적 감쇄율이 낮은 음향 데이터를 이용한다[3]. 광학 데이터에 비해 수중 이미징 소나의 경우 1.8 MHz 의 매우 높은 주파수에서 0.3o의 공간 분해능을, 즉 10 m 거리에 대해 5 cm의 공간 분해능을 가지며, 획득하는 데이터 또한 8 비트의 신호 강도를 가진다[4]. 또한, 소나의 빔폭, 음향 신호의 감쇄, 잡음, 누화, 신호처리 과정에서의 정보 누락, 높은 연산 비용 등의 어려움이 있어, 지상에서의 광학 센서와 같은 고해상도 3 차원 지형도의 실시간 획득에 어려움이 있다[5].

센서 데이터의 형식에서도 육상 이동체와 수중 이동체의 특성이 크게 달라, 육상 이동체에 적용된 알고리즘을 수중 이동체에 적용하기 어려운 점이 있다. 육상 이동체에서 주로 사용되는 광학 이미지와 라이다 데이터는 핀홀 카메라 모델 기반의 데이터 형식을 가져, 직교 좌표계에서의 2D 데이터를 3D 데이터 형식으로 쉽게 변환할 수 있다[6]. 하지만 수중 이동체에서 주로 사용되는 소나 이미지의 경우, 2D 데이터의 각 축이 거리와 각도에 관한 축으로 이루어져 있어, 주변 환경 인식을 위해서는 구면 좌표계 모델의 데이터의 형식을 직교 좌표계로 변환해야 하는 점이 있다.

즉, 수중 이동체는 육상 이동체와는 달리 낮은 데이터 해상도와, 데이터의 좌표계 모델의 변환이 필요한 점이 있어, 육상에서의 제어 알고리즘을 그대로 적용하기 어려운 점이 있다. 이에 본 연구에서는 수중 이동체의 동시적 위치추정을 위한 실시간 데이터 획득을 위해, 데이터의 해상도 상향 및 데이터의 좌표계 모델에 있어 연산 비용을 고려한 3 차원 지형 데이터 처리에 관한 연구를 수행하였다.

본 연구의 주안점은 데이터의 신뢰성과 연산 비용을 고려한 해저 지형 3 차원 복원 및 데이터 보간법에 있다. 해저 지형 데이터는 다양한 요인에 의해 그 정보의 신뢰성이 영향을 받는다. 수중 음향 신호는 수온에 따라 신호의 경로가 변화하고, 거리에 따라 신호의 크기가 감쇄하며, 빔폭에 따라 누화 현상을 일으키기 때문에 해저 지형 정보는 다양한 요인을 고려하여 실시간으로 그 정보가 수정될 수 있어야 한다. 또한, 해저 지형 복원의 연산 비용은 위치추정 및 경로 계획에 있어서 중요한 요소 중 하나이다. 수중이동체의 안전 거리 유지, 관심 영역의 데이터 확보 등에 있어 충분한 연산 시간의 확보는 중요한 요소이다.

경로 계획을 위해서는 점군 형태의 지형 데이터 대신 격자 형태의 연속된 지형 데이터가 필요하다. 널리 사용되는 경로 계획 알고리즘은 격자화된 지형 데이터를 기반으로 지형에 따라 탐사할 수 있는 영역을 구분하고, 미탐사 지역 또는 관심 영역에 대한 가중치를 부여하여 경로 계획을 수립한다[7]. LiDAR, 소나 등 다양한 센서를 활용한 지형 인식은 3 차원 위치 정보 점군 형태로 표현되나, 경로 계획 수립을 위해서는 이러한 점군 데이터를 연속된 격자 형태의 데이터로 변환하는 과정이 필요하다.

연속된 지형 데이터는 데이터 보간을 통해 확보할 수 있으나, 보간 과정에서 소나 데이터 특성에 의해 데이터의 신뢰성 저하와 연산 비용의 증가가 일어날 수 있다. 소나 데이터의 좌표계를 변환하는 과정에서 밀집된 데이터가 소산되고, 이에 따라 보간법 적용 과정에서 신뢰성의 저하와 연산 비용의 증가가 일어날 수 있다.

소나 데이터 보간의 신뢰성 저하는 좌표계 변환에 의한 데이터 영역의 불일치로 인해 발생한다. 소나 데이터는 거리와 각도에 따른 수신 신호의 강도 데이터로, 구면 좌표계로 표현된다. 이를 경로 계획을 위한 해저 지형 데이터로 사용하기 위해서는 직교 좌표계로의 데이터 변환이 필요하다. 이 과정에서 Fig. 4 (d)와 같이 부채꼴 형태로 데이터가 변환된다. 그런데 직교 좌표계에서 2차원 데이터에 대해 보간법을 수행할 경우, Fig. 6과 같은 쌍선형 보간(bilinear interpolation)을 수행하게 되는데, 이러한 보간법은 보간을 수행하고자 하는 데이터 위치의 주변 사각형 영역의 데이터를 사용하여 보간법을 수행한다. 즉, 2차원 보간법의 경우 직사각형 영역에 대해 보간 연산을 수행하나, 소나 데이터는 직교 좌표계로 변환될 경우 부채꼴 형태로 데이터 위치가 변형된다. 이러한 차이로 인해 데이터 보간 영역에 차이가 생기게 되고, 외삽법(extrapolation)이 수행되는 데이터 영역의 경우 그 데이터의 신뢰도가 떨어지게 된다.

Fig. 4.

Geometry of the forward-looking sonar image. (a) oblique view of the sonar image, (b) side view of the sonar beam, (c) top view of the sonar beam, (d) coordinate transformation of the sonar image.

Fig. 5.

Determination of the number of data interpolation.

Fig. 6.

Concept of bilinear interpolation.

이러한 데이터 영역의 차이에 대해 보간을 수행하는 방법에는 들로네 삼각 분할(Delaunay triangulation)을 활용한 보간법이 있다. 구면 좌표계의 소나 데이터 특성 상 거리가 멀어질수록, 그리고 해저 지형과의 각도에 따라 직교 좌표계에서의 데이터 간 거리가 변화한다. 상용 프로그램의 산점 데이터 보간은 연산 비용 O(nlog(n))의 들로네 삼각분할을 활용한다[8]. 이 방법은 산점 데이터에 보편적으로 적용할 수 있는 방법이므로, 본 연구에서는 앞서 소개한 쌍선형 보간법과, 들로네 삼각 분할을 활용한 보간법을, 본 연구에서 제시하는 보간법과 비교하기로 한다.


2. 제안하는 해저지형 생성 방법

앞서 확인한 한계점에 대해 본 연구에서는 보간법 수행에 있어 구면 좌표계에서 보간법을 수행한 후 좌표계를 변환하여 데이터의 신뢰성과 연산 시간을 보완하는 방안을 제시한다. 이 방안은 세 단계로 수행된다. 먼저 각 데이터 점 사이의 거리와 직교 좌표계의 데이터 격자에 따라 보간될 데이터의 개수를 결정한다. 그리고 구면 좌표계에서 보간된 데이터가 직교 좌표계에서 선형적인 변화를 가지도록 비선형 보간법 연산을 수행한다. 마지막으로 소나의 이동 및 회전에 따라 매 신호마다 계산된 지형 데이터를 변환하여 누적해 연속된 지형 데이터를 생성한다.

2.1 수중 이미징 소나 데이터 기반 지형 데이터 계산

본 연구에서는 수중 이미징 소나를 활용하여 지형 데이터를 계산한다. 지형 데이터는 최대 하이라이트 연장(maximum highlight extension) 방법을 통해 지형의 위치 및 높이 데이터를 계산한다. 이 방법은 소나 데이터에서 음원에서 해저면까지의 그림자 구간(shadow region)에서 지형 또는 물체에 의한 하이라이트 구간(highlight region)의 최대 길이를 통해 그 높이를 계산하는 방법이다[9].

수중 이미징 소나의 데이터는 광학 센서의 데이터와는 다른 특성을 가진다. 소나로부터 음향 신호가 방사되면 매질을 통해 신호가 전달되어, 해저면 또는 물체에 신호가 반사되거나 투과된다. 이후 소나 체계에서 반사된 신호를 수신하여 소나 데이터를 구성한다. 소나 데이터는 수신된 신호의 강도를 기반으로 한 흑백 이미지 형태의 데이터로 이루어진다. 소나 데이터의 한 축은 신호가 수신된 거리를 나타내고, 다른 축은 신호가 수신된 방위각을 나타낸다. 수신된 신호의 강도가 높을수록 소나 데이터는 밝게 나타나고, 수신된 신호의 강도가 낮을수록 소나 데이터는 어둡게 나타난다.

수중 이미징 소나 데이터는 음향의 고각 방향의 넓은 빔폭으로 인해 고각 방향 각도 정보가 제한된다. 본 연구에서 사용된 수중 이미징 소나는 배열된 각각의 트랜스듀서에서 방사한 음향 빔에 대해서, 방위각 방향으로 0.3°의 좁은 빔폭을 가지고, 고각 방향으로 12°의 넓은 빔폭을 가진다[4]. Fig. 2와 같이 소나 데이터는 서로 다른 높이와 위치의 지점이라도 소나와의 거리가 동일하고 동일한 음향 빔에 속해 있다면 동일한 데이터 점으로 표현된다. 최대 하이라이트 연장법은 이러한 각도에 관한 정보의 누락을, 소나 신호 수신 각도가 제한되는 시점에서 지형의 높이 정보를 획득한다.

본 연구에서는 수중 이미징 소나에 대해 Dual-Frequency Identification Sonar(DIDSON)의 모델을 사용한다. DIDSON 소나는 매우 높은 주파수의 신호와 음향 렌즈의 활용으로 수중 이미징 소나 중에서 그 해상도가 매우 높은 편이며, 1-3 PZT 복합 트랜스듀서를 활용하여 높은 결합 계수와 해수와의 최적의 임피턴스 매칭으로 신호 수집에 있어 유리한 조건을 지녀, 높은 데이터 신뢰성을 가지고 있다[4,10].

Fig. 3 은 소나와 물체 간 거리에 따른 소나 데이터를 표현한 그림이다. Fig. 3 (a)는 소나 최소 거리와 해저면까지의 그림자 구간, 그리고 물체에 의한 하이라이트 구간과 그림자 구간을 확인할 수 있다. Fig. 3 (b)는 해저면까지의 그림자 구간에서의 물체에 의한 하이라이트 연장 현상을 확인할 수 있다. Fig. 3 (c)는 물체의 최고 높이가 소나 빔폭의 경계에 도달하는 시점에서 최대 하이라이트 연장을 확인할 수 있다. 본 연구에서는 이 시점을 크리티컬 포인트라 한다. Fig. 3 (d)는 크리티컬 포인트 이후의 최대 하이라이트 연장을 확인할 수 있다.

소나가 물체를 향해 움직이면서 데이터를 수집하면, 최대 하이라이트 연장 시점의 소나 데이터로부터 빔폭 경계의 각도 조건을 활용해 물체의 높이를 확인할 수 있다. 최대 하이라이트 연장은 물체가 소나의 빔폭, 즉 소나의 인식 범위의 경계를 지날 때 형성되므로, 이 조건을 통해 물체의 높이를 계산할 수 있다. 이 계산은 Fig. 4와 같이, 구형 좌표계에서 직교 좌표계로의 변환과 동일하며, 아래 식 (1-3) 을 통해 확인할 수 있다.

xc=rccosϕs+ϕb/2cosθc(1) 
yc=rccosϕs+ϕb/2sinθc(2) 
zc=rcsinϕs+ϕb/2(3) 

xc, yc, zc는 물체의 직교 좌표계에서의 위치, ϕs는 소나의 고각, ϕb는 소나 신호의 고각 방향 빔폭, 그리고 θc는 소나 이미지에서 물체가 인식된 방위각이다.

2.2 데이터 보간

2.2.1 보간 데이터 개수 결정

보간에 필요한 데이터의 개수는 신호의 거리, 각도 그리고 변환될 좌표축의 격자의 크기로 결정된다. 소나 데이터는 거리와 각도에 대한 데이터로, 수신된 신호의 크기를 구면 좌표계로 표현한다. 구면 좌표계의 소나 데이터를 직교 좌표계로 변환하면서 신호의 거리가 멀어질수록 데이터 간 거리가 멀어지게 되며, 신호의 반사면에 대한 입사각에 따라, 그리고 좌표축의 격자의 크기에 따라 데이터 사이의 빈 데이터 격자의 개수가 변화할 수 있다.

선택적 추출 기법(selective sampling technique)는 소나 데이터를 직교 좌표계의 격자에 보간을 수행할 때 필요한 데이터의 개수를 구하는 기법이다[11]. Fig. 5 와 같이, 보간법 수행 시 필요한 데이터의 최소 개수 n은 지형까지의 거리 rc와 각도 Δθ, 그리고 격자의 크기 d로 표현할 수 있다.

nrcΔθ/d(4) 
2.2.2 구면 좌표계 데이터 비선형 보간법

구면 좌표계에서 보간된 데이터셋이 직교 좌표계에서 선형 데이터셋으로 표현되기 위해서는 구면 좌표계에서의 비선형 보간법이 필요하다. 구면 좌표계에서의 선형 데이터셋은 직교 좌표계로 변환되었을 경우 곡선을 그리게 된다. 구면 좌표계에서 보간된 데이터가 직교 좌표계에서 선형 데이터셋으로 표현되기 위해서는, 원본 데이터와 보간될 데이터의 각도를 기반으로 거리 정보를 계산해야 하며, 보간된 데이터셋은 2차원 평면을 이루어야 한다.

2차원 데이터 비선형 보간은 쌍선형 보간과 그 원리를 동일하게 적용한다. 쌍선형 보간은 Fig. 6 과 같이 4 개의 데이터 Q11, Q12, Q21, Q22가 있고, 계산하고자 하는 값 P가 있을 때, 데이터를 두 개씩 한 축에 대해 선형 보간을 수행하여 같은 축 상의 값 R1, R2를 계산하고, 두 값을 해당 축에 대해 선형 보간을 수행하여 계산하고자 하는 값 P를 계산한다. 본 연구에서 적용하고자 하는 비선형 보간법 또한 이와 같은 과정을 거친다.

1차원 데이터 보간은 보간 후 직교 좌표계에서 선형 데이터셋이 되도록 수행되어야 하므로, Fig. 7 과 같이 각 데이터 점간 기울기가 동일한 조건을 만족해야 한다. 다시 말해 x1:y1=x2:y2 조건을 만족해야 하므로 아래와 같이 식을 정리할 수 있다.

R'=R2cosθ2+R2sinθ2R1cosθ1-R2cosθ2R1sinθ1+R2sinθ2(5) 
Fig. 7.

Calculation of the range data for Cartesian coordinate linear interpolation.

식 (5)Fig. 6의 기호를 사용하면 아래와 같이 정리할 수 있다.

P=R2cosΔϕ2+R2sinΔϕ2R1cosΔϕ1-R2cosΔϕ2R1sinΔϕ1+R2sinΔϕ2(6) 
R1=Q21cosΔθ2+Q21sinΔθ2Q11cosΔθ1-Q21cosΔθ2Q11sinΔθ1+Q21sinΔθ2(7) 
R2=Q22cosΔθ2+Q22sinΔθ2Q12cosΔθ1-Q22cosΔθ2Q12sinΔθ1+Q22sinΔθ2(8) 

Q11, Q12, Q21, Q22는 소나 데이터에서 고각과 방위각에 대해 인접한 지점들의 거리 정보, R1, R2는 각각 Q11,Q21Q12, Q22θ축에 대해 보간한 거리 정보이다. P는 보간을 통해 계산하고자 하는 위치의 거리 정보이며, 각각의 각도 정보는 Fig. 7 에서의 보간을 위한 각도 간격으로, Δφ1=φ-φ1, Δφ2=φ2-φ, Δθ1=θ-θ1, Δθ2=θ2-θ이다.

2.3 소나 이동에 따른 지형 좌표 변환

Fig. 8과 같이, 소나가 이동 및 회전함에 따라 매 신호마다 계산된 지형 데이터 또한 이동 및 회전에 따라 변환 후 누적하여 연속된 지형 데이터를 획득할 수 있다. 소나 데이터를 통해 계산된 지형의 위치는 소나와 지형 사이의 거리에 따른 상대적 좌표로 표현되므로, 관성 측정 장치(inertial measurement unit, IMU), 도플러 속도계(doppler velocity log, DVL), 또는 SLAM 등으로 획득한 회전 및 이동 정보를 지형 데이터에 적용하여 변화된 상대적 위치를 계산할 수 있고, 이를 매 데이터 수집마다 적용하여 지형 데이터를 기록할 수 있다.

Fig. 8.

Accumulation of the reconstructed geometric data. (a) data points from a single sonar image, (b) accumulated data points from multiple sonar images.

3 차원 지형 데이터의 이동 및 회전은 SE(3)(special euclidean group) 변환을 통해 적용할 수 있다. SE(3)는 아래와 같이 표현되는 행렬이다.

SE(3)=T=Rt0T1R4×4RSO(3),tR3(9) 

R은 3차원 회전 변환, 그리고 t는 이동 변환으로, 본 연구에서는 아래와 같이 연산하였다. RXx축에 대한 각도 변화량 αi의 회전 변환이며, Ryy축에 대한 각도 변화량 βi의 회전 변환, Rzz축에 대한 각도 변화량 γi의 회전 변환이다. Δx, Δy, Δz는 좌표축에 대한 소나의 변위이다.

R=RzRyRx(10) 
Rx=1000cosαi-sinαi0sinαicosαi(11) 
Ry=cosβi0sinβi010-sinβi0cosβi(12) 
Rz=cosγi-sinγi0sinγicosγi0001(13) 
t=ΔxΔyΔzT(14) 
0=000T(15) 

이전 시점 i에서 계산된 지형 데이터의 좌표 xi, yi, zi식 (9)를 활용해 다음과 같이 이후 시점 i+1에서 회전 및 이동된 좌표 xi+1, yi+1, zi+1로 변환될 수 있다.

xi+1yi+1zi+11=Rt0T1xiyizi1(16) 

3. 시뮬레이션

본 연구에서 제안된 3차원 데이터 보간의 결과를 확인하기 위해 시뮬레이션을 통한 검증을 수행하였다. 사용된 시뮬레이션은 소나의 위치와 각도, 그리고 해저 지형의 3D 형태가 주어질 때 소나 데이터를 작성한다. 시뮬레이션은 레이 트레이싱(ray tracing) 기법을 활용하여 수심에 따른 수온 및 음속, 신호 감쇄 및 누화, 잡음, 소나 이동 등이 고려되었다[12]. 수심에 따른 수온은 국립수산과학원의 관측자료를 참조하였다[13]. 작성된 소나 데이터를 기반으로 본 연구에서 제안된 지형 데이터 작성 및 보간을 수행한다. 그리고 보간된 데이터의 개수를 확인하고, 지형 데이터의 적합성을 확인하기 위해 계산된 지형 데이터와 설정한 지형의 정보를 비교하여 그 오차를 확인한다. 시뮬레이션은 해저면에 원뿔 형태의 해저 지형을 생성하여 수행된다. 시뮬레이션에 사용된 조건은 Table 1과 같다.

Parameters for the simulation.


4. 결과 및 분석

4.1 보간법 수행 전후 데이터 비교

본 연구에서 제안한 데이터 처리를 수행한 결과, 목표한 실제 데이터 구간 내에서의 데이터 보간이 이루어졌으며, 직교 좌표계에서의 연속적인 데이터 격자를 확인하였다. Table 2는 데이터 보간 전후의 데이터 격자의 개수이며, 데이터 보간 후 데이터의 개수가 30.6 배 늘어난 것을 확인할 수 있다.

Number of data with respect to the interpolation.

4.2 쌍선형 보간법, 들로네 삼각분할, 비선형 보간법의 비교

본 연구에서 제시한 비선형 보간법을 수행한 결과와, Fig. 6과 같은, 2차원 데이터 보간에 주로 사용되는 쌍선형 보간법을 수행한 계산 결과와, 산점 데이터 보간에 주로 사용되는 들로네 삼각 분할을 활용한 보간법을 수행한 계산 결과를 비교하였을 때, 비선형 보간법을 수행한 결과가 원본 지형 데이터와 더 높은 정합률을 보이는 것을 확인하였다. Table 3은 무작위 추출된 표본으로부터 계산된 지형 데이터의 지형 데이터의 오차와 오차율이다. 지형 오차 및 오차율 계산은, 보간된 지형 데이터의 10 %를 무작위 추출하여 해저 지형의 참값과 비교해 평균 높이 오차를 계산하였다. 오차율의 계산은, 각 데이터의 위치 오차와, 소나와 지형까지의 거리의 비율로 계산하였다. 비선형 보간법 수행 시 높이 오차가 약 11.76 m 로, 쌍선형 보간법 수행 시의 높이 오차 약 36.87 m와, 들로네 삼각 분할을 활용한 보간법의 높이 오차 약 18.51 m과 비교해 낮은 오차를 보였다. 거리 대비 오차율은 비선형 보간법 수행 시 1.354 % 로, 쌍선형 보간법 수행 시의 3.394 %의 오차율에 비해 낮은 오차율과, 들로네 삼각 분할을 활용한 보간법의 오차율 약 1.422 %와 비교해 낮은 오차율을 보였다.

Height error of sampled data points.

Fig. 9는 시뮬레이션에서 설정한 해저 지형의 참값을 그린 지형 데이터이다. Fig. 10은 데이터 보간을 수행하기 전의 각 소나 빔에서 인식된 해저 지형 데이터이다. Fig. 11은 쌍선형 데이터 보간을 수행한 후의 해저 지형 데이터이다. Fig. 12는 들로네 삼각분할을 활용한 보간법을 수행한 후의 해저 지형 데이터이다. Fig. 13는 본 연구에서 제시하는 비선형 데이터 보간을 수행한 후의 해저 지형 데이터이다. Fig. 14는 시뮬레이션에서 설정한 해저 지형 참값 데이터와, 비선형 데이터 보간을 수행한 후의 해저 지형 데이터이다.

Fig. 9.

Ground truth of the simulation data.

Fig. 10.

3D reconstruction of the seamount from the simulation data without interpolation.

Fig. 11.

3D reconstruction of the seamount from the simulation data with bilinear interpolation.

Fig. 12.

3D reconstruction of the seamount from the simulation data with Delaunay triangulation.

Fig. 13.

3D reconstruction of the seamount from the simulation data with nonlinear interpolation, which is proposed in this paper.

Fig. 14.

3D reconstruction of the seamount from the simulation data with nonlinear interpolation, with the ground truth data.


5. 결 론

본 논문은 주변 환경 인식, 위치 추정 및 지도 작성, 그리고 경로 설정에 있어, 수중 이동체에서 주로 사용되는 음향 센서의 모델을 고려하여 데이터의 해상도 상향 및 좌표계 변환에 연산 비용을 고려하여 3 차원 지형 데이터 처리에 관한 연구를 수행하였다. 경로 계획을 위해 데이터의 신뢰성과 연산 비용을 고려하여 해저 지형 3 차원 복원 및 데이터 보간법에 관한 연구로, 격자화된 지형 데이터에 작성된 산점 지형 데이터를 기반으로 한 데이터 보간에 있어 기존의 들로네 삼각분할을 활용한 산점 데이터 보간 대신, 구면 좌표계에서 보간법을 수행한 후 좌표계를 변환하여 데이터의 신뢰성을 보완하는 방안을 제시하였다. 이는 먼저 각 데이터 점 사이의 거리와 데이터 격자에 따라 보간될 데이터의 개수를 결정하고, 직교 좌표계에서 선형적인 값을 가지도록 거리 정보를 보정한 비선형 보간법 연산을 수행한다. 그리고 소나의 이동 및 회전에 따라 지형 데이터를 변환하여 지형 데이터를 생성한다. 시뮬레이션을 통해 생성된 데이터를 활용해 그 결과를 확인하였고, 측정된 데이터 범위에 대해서만 보간법이 적용되는 것과 연속적인 데이터셋을 형성하는 것을 확인하였으며, 거리 정보를 보정한 비선형 보간법 연산을 적용할 경우 지형 정보 오차가 크게 줄어드는 것을 확인하였다.

본 논문에서 제시한 것과 같이, 라이다와 같은 다른 센서와 구분되는 소나 데이터의 구형 좌표계 모델을 활용할 경우, 수중 이미징 소나 외의 다양한 소나에서도 효과적인 데이터 확장 방법을 설계할 수 있다. 제안된 해저 지형 3 차원 복원 및 데이터 보간법은 해저 지형 복원 및 경로 계획 알고리즘 연구의 기반이 될 수 있으며, 향후 관련 응용 연구의 기반이 될 수 있다.

Acknowledgments

이 논문은 LIG NEX1 산학협력과제 지원으로 연구되었음.

References

  • M. Qadri, M. Kaess, and I. Gkioulekas, “Neural Implicit Surface Reconstruction Using Imaging Sonar”, arXiv, p. 08221, 2022.
  • S. Royo and M. Ballesta-Garcia, “An Overview of Lidar Imaging Systems for Autonomous Vehicles”, Appl. Sci., Vol. 9, No. 19, p. 4093, 2019. [https://doi.org/10.3390/app9194093]
  • Hodges, R. P. Underwater Acoustics: Analysis, Design, and Performance of Sonar. J. Wiley, United Kingom, pp. 1-15, 2010 [https://doi.org/10.1002/9780470665244]
  • E. Belcher, W. Hanot, and J. Burch, “Dual-Frequency Identification Sonar (Didson)”, Proc. of 2002 Int. Symp. Underwater Technol. (Cat. No.02EX556), pp. 187-192, 2022.
  • D. T. Blackstock, Fundamentals of Physical Acoustics. Wiley, Hoboken, pp.1274-1276, 2000. [https://doi.org/10.1121/1.1354982]
  • I. Ashraf, S. Hur, and Y. Park, “An Investigation of Interpolation Techniques to Generate 2d Intensity Image from Lidar Data”, IEEE Access, Vol. 5, pp. 8250-8260, 2017. [https://doi.org/10.1109/ACCESS.2017.2699686]
  • E. Galceran and M. Carreras, “A Survey on Coverage Path Planning for Robotics”, Robot. Auton. Syst., Vol. 61, No. 12, pp. 1258-1276, 2013. [https://doi.org/10.1016/j.robot.2013.09.004]
  • I. Amidror, “Scattered Data Interpolation Methods for Electronic Imaging Systems: A Survey”, J. Electron. Imag., Vol. 11, No. 2, pp.157-176, 2002. [https://doi.org/10.1117/1.1455013]
  • H. Cho, B. Kim, and S.-C. Yu, “Auv-Based Underwater 3-D Point Cloud Generation Using Acoustic Lens-Based Multibeam Sonar”, IEEE J. Ocean. Eng., Vol. 43, No. 4, pp. 856-872, 2018. [https://doi.org/10.1109/JOE.2017.2751139]
  • C. H. Sherman and J. L. Butler, Transducers and Arrays for Underwater Sound, Springer Publishing Company, New York, pp. 122-126, 2007. [https://doi.org/10.1007/978-0-387-33139-3]
  • C. Fritsch, M. Parrilla, O. Martı́nez, and D. Jiménez, “A Multirate Scan Conversion Method”, Ultrason., Vol. 38, No. 1, pp. 179-182, 2000. [https://doi.org/10.1016/S0041-624X(99)00044-X]
  • J.M. Bell and L.M. Linnett. “Simulation and Analysis of Synthetic Sidescan Sonar Images”, IEE Proc. - Radar, Sonar Navig., Vol. 144, No. 4, pp. 219-226, 1997. [https://doi.org/10.1049/ip-rsn:19971311]
  • https://www.nifs.go.kr/, (retrieved on Aug. 11, 2022)

Fig. 1.

Fig. 1.
Relationship between the geometry reconstruction and the path planning.

Fig. 2.

Fig. 2.
Angular data loss of sonar data.

Fig. 3.

Fig. 3.
Highlight extension with respect to the distance between the sonar and the object. (a) the object is in the region with no highlight extension occurs, (b) the region with highlight extension occurs, (c) the critical point when the maximum highlight extension occurs, (d) after the critical point.

Fig. 4.

Fig. 4.
Geometry of the forward-looking sonar image. (a) oblique view of the sonar image, (b) side view of the sonar beam, (c) top view of the sonar beam, (d) coordinate transformation of the sonar image.

Fig. 5.

Fig. 5.
Determination of the number of data interpolation.

Fig. 6.

Fig. 6.
Concept of bilinear interpolation.

Fig. 7.

Fig. 7.
Calculation of the range data for Cartesian coordinate linear interpolation.

Fig. 8.

Fig. 8.
Accumulation of the reconstructed geometric data. (a) data points from a single sonar image, (b) accumulated data points from multiple sonar images.

Fig. 9.

Fig. 9.
Ground truth of the simulation data.

Fig. 10.

Fig. 10.
3D reconstruction of the seamount from the simulation data without interpolation.

Fig. 11.

Fig. 11.
3D reconstruction of the seamount from the simulation data with bilinear interpolation.

Fig. 12.

Fig. 12.
3D reconstruction of the seamount from the simulation data with Delaunay triangulation.

Fig. 13.

Fig. 13.
3D reconstruction of the seamount from the simulation data with nonlinear interpolation, which is proposed in this paper.

Fig. 14.

Fig. 14.
3D reconstruction of the seamount from the simulation data with nonlinear interpolation, with the ground truth data.

Table 1.

Parameters for the simulation.

Symbol Value Unit Description
hs 200 m Depth of the seabed
SPLn 60-80 dB Noise level
xs [0, 0, -50] m Location of the sonar
xm [0, 500, -200] m Location of the seamount
hm 150 m Height of the seamount
rm 500 m Radius of the seamount
φs -9.4 o Elevation angle of the sonar
φb 1.8 o Beam width of the sonar
nφ 8   Number of the transducer in the
elevation angle
θm -45 o Lower limit of the sonar bearing angle
θM 45 o Upper limit of the sonar bearing angle
nθ 46   Number of the transducer in the
bearing angle
d 7.85 m Size of the geometry data grid

Table 2.

Number of data with respect to the interpolation.

Condition Number of data
Without interpolation 368
With the nonlinear interpolation 11269

Table 3.

Height error of sampled data points.

Condition Average height
difference [m]
Average height error
[%]
Bilinear interpolation 36.87 3.394
Delaunay triangulation 18.51 1.422
Nonlinear interpolation 11.76 1.354