수중 유속 및 유향의 동시 측정을 위한 이미지 분석 기술에 관한 연구

1. 서 론

어류는 수중생활에 적응하기 위해 다양한 감각기관을 갖고 있으며 주변환경에 따라 최적의 형태로 진화하였는데 그 중 하나인 신경소구(Neuromast)는 근처의 물 흐름을 감지하여 어류 주변 다른 수중 생명체의 움직임을 포착하고 장애물을 피하는 등의 활동을 하는데 도움을 준다[1,2]. 이러한 신경소구는 표면 신경소구(Superficial neuromast)와 도관 신경소구(Canal neuromast)로 나뉘며 표면 신경소구는 피부 표면에 존재하며 유속을 감지하고, 도관 신경소구는 측면 신경관에 위치하여 유압의 변화를 감지하는 역할을 한다.

최근 다양한 목적으로 수중 무인잠수체가 개발되어 적용되고 있으며 이러한 잠수체들은 주변의 유체 흐름에 따라 선체에 저항을 받으므로 정확한 항법과 수중 동작을 위해서는 근접역의 유체의 변화량(유속, 유향)을 측정하는 것이 중요하다. 다만 현재는 음파를 이용한 수중 유속센서가 주로 활용되고 있는데 이러한 센서는 근접역 유속을 측정할 수 없으므로 연구자들은 어류의 신경소구를 모방하여 근접역의 유속을 측정할 수 있는 생체모방형 유속센서 개발에 관심을 갖고 있다[3].

어류의 신경소구를 모방한 센서는 압저항(Pizoresistive), 압전(Piezoelectric), 정전용량(Capacitive), 광학(Optical) 등의 변환 방식을 이용하여 개발되고 있는데, 이들 중 압저항, 압전, 정전용량 방식의 센서들은 주변의 온도 및 압력 변화가 센서의 잡음으로 작용하므로 가변적인 온도와 압력 조건을 갖고 있는 수중환경에 적용하기에는 한계가 있다[4-12]. 이러한 수중 환경 조건을 고려하였을 때 광학 측정 방식의 유속센서는 온도와 압력의 변화에 영향을 받지 않아 수중에 적용하기에 적합하므로 일부의 연구자들은 광학 측정 방식에 기반한 유속센서 개발 연구를 진행하고 있다[13,14]. 광학 측정 방식의 유속센서관련 연구는 대부분 어류의 신경소구 형태를 모방하여 필러(Pillar)나 바(Bar) 형상의 돌출부를 유체와 반응하는 구조로 사용하여 필러의 움직임에 따라 변화되는 광신호를 측정하는 방법으로 구현된다.

이런 방식을 제안한 연구 그룹 중, 투명한 소재의 필러를 광도파로로 이용하여 필러의 상단과 하단에 각각 광원과 광검출기를 배치하여 유체의 흐름에 따라 검출되는 광신호의 세기가 변화되는 양상을 측정 원리로 하는 연구가 진행되었는데 이러한 방법은 유체의 속도를 측정할 수 있으나 방향에 대한 정보는 얻을 수 없는 단점을 보여줬다. 다른 연구에서는 광학 측정 방식을 기반으로 유속과 유향을 측정하기 위해, 필러 내부에 브래그 격자 광섬유를 삽입하여 유체의 흐름에 따라 반응하는 필러의 변형 정도를 광신호의 파장 변화량으로 측정하는 광섬유 격자 센서 기반의 생체모방형 유속센서의 연구가 진행되었다[15,16]. 다만 해당 연구는 전방향(Omnidirectional)의 유향 측정 정확도가 낮고 광신호의 파장분석을 위해서 인터로게이터(Interrogator)가 필요하므로 전력공급이 제한적인 수중 무인잠수체에 적용하는 목적의 센서로는 적합하지 않다.

이와 같이 현재까지 개발된 생체모방형 유속센서들의 한계점을 극복하고자, 본 연구에서는 수중 환경(온도, 압력) 변화에 강인하면서도 유속, 유향의 동시 측정이 가능한 무인잠수체 적용목적의 유속 측정 기술을 제안한다. 해당 기술은 광원과 광검출기가 수중 무인잠수체 내부에 위치할 수 있는 형태로 설계되어 외부의 빛이 잡음 요소로 작용할 수 있는 여지를 최소화하였고, 광신호의 검출을 위해 이미지 센서를 적용하여 유체의 방향을 직관적으로 도출할 수 있다. 본 논문에서는 해당 기술의 핵심적인 부분인 형광체가 결합된 필러와 이미지 센서를 포함하는 광학 측정부의 구성 내용과 이를 통해 획득한 형광 이미지를 이용하여 유속과 유향을 도출하는 이미지 분석 방법에 대한 연구내용을 제시한다.

2. 연구 방법

본 연구에서는 어류의 표면 신경소구를 모방한 탄성 재질의 필러를 사용하였으며, 필러의 움직임을 관측하기 위한 방법으로 형광체를 필러에 집적하는 방안을 고안하였다(Fig. 1 (a)). 필러는 유속의 흐름과 동일한 방향으로 휘어지며, 필러에 가해지는 힘의 크기에 따라 휘어짐의 정도가 커진다. 이 때, 필러의 휘어짐에 따라 필러 끝에 고정된 형광체의 위치도 함께 변하게 된다. 필러는 Axygen 社의 10 ml파이펫 팁(T-300)을 사용하였고, 길이는 24 mm, 내부 직경은 4 mm, 외부 직경은 6 mm 이며 내부가 비어있는 구조다. 형광체는 Cospheric 社의 유리 비드(HCMS-P-SLGS-FMR 2 mm)를 사용하였다. 유리 비드의 재질은 소다석회이며, 반구 영역에 빨간색 형광이 코팅되어 있다. 형광체의 여기 파장은 575 nm, 방출 파장은 607 nm 이다. 형광체와 필러는 Edmund optics 社의 UV 에폭시(Norland Optical Adhesive NOA 68)를 사용하여 접합하였다. 에폭시를 경화하기 위해서는 380 nm의 UV LED를 사용하였다. Fig. 1 (b)는 제작한 형광체 집적 필러의 상단부와 하단부의 이미지이다. 형광체집적 필러는 형광 이미지 측정을 위해 기판에 UV 에폭시를 이용해 고정하였다. 기판을 통해 필러 끝에 결합된 형광체를 관찰함으로써 필러의 움직임을 분석할 수 있다. Fig. 1 (c)는 유속 및 유향을 측정할 수 있는 광학 측정 시스템의 구성을 보여준다.

Fig. 1.

Configuration of a phosphor-integrated pillar and optical system to measure the movement of the pillar. (a) Design of the phosphor-integrated pillar, (b) Shape of the fabricated phosphor-integrated pillar, (c) Configuration of the optical system for fluorescence measurement, (d) Enlarged figure of the detection unit of the system irradiated with the light source.

측정 시스템은 빛의 간섭을 최소화하기 위하여 탁상용 암실내부에 위치시켰다. 시스템의 가장 아래엔 형광체가 부착된 필러가 위치한다. 광원은 470 nm 파장을 갖는 링 형태의 LED 광원을 사용하였다. 해당 광원의 중앙 쪽의 빈 공간에 이미지 센서를 배치시켜 광 측정부의 부피를 최소화 하였다.

이미지 센서에는 텔레센트릭 렌즈와 607 nm 대역 광학 필터가 장착되어 있다. 텔레센트릭 렌즈는 형광체의 심도 변화로 인해 발생하는 관심 영역의 초점 분산도를 최소화하기 위해 사용하였다. 광학 필터는 LED 광원의 빛을 배제시키고 형광체가 방출하는 607 nm 파장 빛 만을 선택적으로 이미지 카메라에 전달하는 역할을 한다. 즉, 광원의 470 nm 파장의 빛은 필러 끝단의 형광체를 여기시키고, 여기된 형광체는 607 nm 파장의 빛을 방출한다. 방출된 빛은 광학 필터를 통과해 이미지 센서에 도달되며, 이미지 센서에서 측정된 형광 이미지를 분석하여 필러에 미치는 힘의 크기와 방향을 도출할 수 있는 것이다.

필러에 힘을 인가하기 위해서는 Simpo 社의 포스 게이지 센서(FGN-50)를 사용하였으며, 이미지 센서로 측정한 형광 이미지는 이미지 분석 프로그램인 Image J를 사용하여 분석하였다. 분석에 사용된 형광 이미지는 8 비트 그레이 레벨(gray level)로 변환되어 0~255 범위의 픽셀 값을 가진다.

3. 결과 및 고찰

필러의 움직임에 따라 변화되는 형광 이미지를 측정하기 위해서 포스 게이지 센서를 직접 필러에 접촉시켜 미는 힘을 증가시키면서 변화되는 형광 이미지를 촬영하였다.

Fig. 2는 필러에 인가되는 힘에 따라서 관측된 형광 이미지를 보여준다. 외력이 인가되지 않은 상태(0 N)일 때는 형광체의 관측 이미지인 밝은 원형 이미지가 측정 관심 영역의 가운데에 위치한 것을 확인할 수 있다. 외력은 필러의 왼쪽에서 인가되었으며, 외력이 증가됨에 따라서 관측되는 형광 이미지의 밝기는 줄어들고, 형광체 관측 이미지의 중심점은 외력이 인가되는 방향과 동일하게 움직인다.

Fig. 2.

Fluorescent images taken according to changes in force applied to the pillar.

즉, 형광체가 집적된 필러에 미치는 힘이 증가함에 따라 관측된 형광체의 이미지 밝기가 감소하고 형광체 관측 이미지의 중심점이 이동하는 양상을 통해서, 형광체 이미지의 밝기와 형광체 이미지 중심점의 이동 거리를 변수로 정하여 외력과의 관계를 도출하는 이미지 분석 방법을 도출하고자 하였다.

Fig. 3은 이미지 센서로 촬영한 형광 이미지를 분석하여 이미지 변화량과 외력의 관계를 도출하기 위한 이미지 분석 방법을 나타낸다. Fig. 3 (a)는 형광체 관측 이미지의 밝기 변화를 분석하는 방법을 나타낸다. 이 방법은 촬영된 전체 이미지 중 형광체 이미지에 해당하는 영역을 사각형 영역으로 선택하고, 사각형 내부의 픽셀 값의 밝기를 평균하여 일정 영역의 밝기와 외력 사이의 관계(Mean-Force analysis)를 수치화하는 절차로 구성된다. Fig. 3 (b)는 형광체 이미지의 위치를 분석하는 방법을 보여준다. 이 방법은 먼저 외력 인가가 없는 상태의 촬영된 형광체 이미지의 중심점을 측정하고, 외력 인가에 따라 변화하는 형광체 이미지의 중심점을 측정하여, 이 두 중심점 사이의 픽셀거리를 도출하는 절차로 이루어져 있다. 이를 통해 형광체 이미지의 중심점이 이동한 거리와 필러에 인가된 외력 사이의 관계(Length-Force analysis)를 수치화 하는 것이다.

Fig. 3.

Image analysis techniques for flow velocity measurements. (a) Detecting flow velocity through changes in brightness of the observation image, (b) Detecting flow velocity through movement of the center point of the observation image.

Fig. 4 (a)는 필러에 힘이 인가될 때의 형광 이미지의 밝기 분석 결과를 나타낸다. 형광 이미지의 밝기 분석 영역은 총 11,130픽셀이며, 힘이 인가되지 않은 상태인 초기의 평균 밝기는 106이다. 0.11 N의 힘이 필러에 인가될 때 평균 밝기는 99이며, 1.44 N의 힘이 필러에 인가될 때의 평균 밝기는 24이다. 필러에 인가된 힘이 증가함에 따라 평균 밝기가 감소되며, 측정된 12개의 데이터를 토대로 선형 그래프를 그렸을 때 R²은 0.8847의 값을 보였다. Fig. 4 (b)는 필러에 힘이 인가될 때 형광 이미지의 중심점이 이동한 거리를 분석한 결과를 나타낸다. 힘이 인가되지 않은 상태인 초기의 중심점은 관측영역의 픽셀 좌표 기준으로 (120, 111)이다. 0.11 N의 힘이 필러에 인가될 때 중심점은(123, 111)이며, 이는 초기에서 y축의 변화는 없으며 x축으로 3픽셀 이동한 것이다. y축의 변화가 없다는 것은 수평 방향으로 힘이 인가되었다는 것이며, x축으로 이동한 거리는 필러에 인가되는 힘의 방향을 나타낸다. 0.4 N의 힘이 필러에 인가될 때(128, 110), 1.44 N의 힘이 필러에 인가될 때는 (152, 110)로 분석되었다. 측정된 12개의 데이터를 토대로 선형 그래프를 그랬을 때 R²은 0.9733의 값을 보였다.

Fig. 4.

Results of fluorescence image analysis observed according to external force changes. (a) Graph of analysis results of changes in phosphor brightness according to changes in external force (Mean-Force analysis), (b) Graph of analysis results of changes in distance of the center point according to change in external force (Length-Force analysis).

결정계수로 필러에 외력이 인가됨에 따라 변화하는 형광 이미지를 분석한 결과, 이미지의 밝기를 분석하는 Mean-Force analysis 결과에 비해 형광 이미지 중심점의 거리를 분석하는Length-Force analysis 결과의 유용성이 더 높다. 그러므로, 힘의 변화량을 추정하기 위해서는 선형성이 높은 형광 이미지 중심점의 거리 분석 방법이 더 적합하다.

이미지 센서로 촬영할 수 있는 형광체의 움직임은 2 차원 평면에서 관측된다. 따라서 중심점의 위치 변화를 각도로 분석하면 필러에 가해지는 힘의 방향을 도출할 수 있다(Fig. 5). Fig. 2에서 촬영된 영상은 동일한 수평 방향에서만 힘을 인가한 것이므로 Fig. 4에서 분석한 것과 같이 중심점의 위치가 변할 때 x 축 좌표 값은 변화하지만 y 축 좌표 값의 변화는 없다. 물론, 필러에 인가되는 힘의 방향이 변화하면 y 축 좌표 값이 변화할 것이며, x 축 좌표 값과 y 축 좌표 값의 변화 정도를 계산하면 힘의 방향을 도출할 수 있다. 이러한 방법을 향후 유속 센서에 적용하였을 경우에는 유체의 이동 방향을 분석할 수 있다.

Fig. 5.

Image analysis technique for measuring fluid direction. (a) Analyzing direction through the angle of the center point of the observation image. (b) Six fluorescence images for direction change analysis, including the initial reference point.

Fig. 5 (a)는 인가된 힘의 방향을 분석하는 방법을 보여준다. 기준 이미지에서 필러에 힘이 인가되면 형광체 이미지 중심점의 x 축 좌표 값과 y 축 좌표 값이 변화한다. 기준점을 중심으로 하여 이 두 좌표의 변화를 아크탄젠트로 계산하면 라디안 단위의 값으로 도출할 수 있고, 이 값을 각도로 환산할 수 있다. 이렇게 도출된 각도는 외력이 인가되는 방향을 표현하게 된다(Degree analysis). Fig. 5 (b)는 다양한 방향에서 필러에 외력이 인가될 때의 촬영된 형광체 이미지를 나타낸다. 이미지 상의 픽셀 위치는 왼쪽 상단을 (0, 0)으로 기준한다.

Fig. 6은 앞에서 기술한 Degree analysis 방법을 통해서 다양한 방향으로 힘을 받는 형광체의 이미지를 분석한 결과이다. 분석에 사용된 형광 이미지는 Fig. 5 (b)의 이미지이며, 괄호 숫자로 이미지의 번호를 매칭시켰다. 우선 (1)은 초기 형광 이미지로써 x축과 y축의 좌표 값이 (122, 108)이다. (2)에서 (7)까지 해당하는 6개 이미지의 x 축과 y 축의 좌표 값은 각각 (137, 102), (92, 125), (133, 131), (114, 93), (96, 100), (103, 137)이다. 초기 형광 이미지를 중심점 좌표 값을 (0, 0)으로 하여 기준점을 잡으면, 기준점으로부터 떨어진 x축과 y축의 길이 변화를 계산할 수 있다. 변환된 길이를 사용해 라디안 값으로 계산하면 각각 0.38, 0.52, -1.12, -1.07, -0.31, 0.97이다. 이를 각도로 변경하면 각각 21.8^o, 209.5^o, 295.6^o, 118.7^o, 162.2^o, 235.6^o다. 이를 통해 2차원 평면에서 필러에 인가되는 힘의 방향을 360^o 전방향으로 분석이 가능하다는 것을 확인하였다.

Fig. 6.

Analysis results of fluid direction according to external force changes. (a) Results of two-dimensional analysis of the center point of the fluorescence image. (b) Result of converting the center point of the fluorescence image into an angle.

4. 결 론

수중 무인잠수체 근접역의 유체의 흐름(유속, 유향)을 측정하기 위해서 어류의 신경소구를 모방한 필러 구조를 제안하였고, 수중 환경(온도, 압력)이 센서에 미치는 잡음요소를 최소화하기 위해서 형광체를 필러에 집적하고 이를 이미지 센서로 측정하는 광학 측정부를 구성하였다.

제안한 구조는 유체가 센서의 감지부인 필러에 직접적으로 접촉을 하므로 유체 변화량(속도, 방향)을 필러의 움직임을 통해서 분석할 수 있다. 필러의 움직임을 분석하기 위한 방법으로 인위적으로 필러에 힘을 인가하여 힘의 세기 및 방향에 따라 형광체의 이미지를 촬영하였고 이를 분석하기 위한 이미지 분석방법을 도출하였다. 유속을 분석하기 위해서 형광 이미지의 밝기와 외력 사이의 관계를 파악할 수 있는 Mean-Force analysis, 그리고 형광 이미지 중심점의 거리를 분석하는 Length-Force analysis를 제안하였으며, 유향을 분석하기 위해 픽셀이 변화한 각도를 이용한 Angle analysis 방법을 제시하였다.

이를 통해 수중 근접역의 유속을 측정하는 방법으로 본 연구에서 제안한 형광체가 집적된 필러 구조를 갖는 광학 측정방식의 생체모방형 유속센서가 활용할 수 있음을 확인하였고, 형광체 이미지 분석을 통해 유체의 변화량(속도, 방향)을 추정할 수 있는 기술의 유효성을 확인하였다.

향후 제안한 센서를 유체의 실제 변화량과 이미지 분석방법으로 얻은 결과를 비교하는 유체 실험 및 센서 부위의 파울링, 내구성, 수명 등에 관한 추가 연구를 진행한다면 수중 유속 센서로의 활용 가능성을 검증할 수 있을 것으로 기대한다.

Acknowledgments

본 논문은 해양수산부 재원으로 선박해양플랜트연구소의 기본사업인 “수중환경 모니터링을 위한 스마트센서 기반기술 개발”에 의해 수행되었습니다(PES4830).

REFERENCES

• H. Bleckmann, Eds., Reception of Hydrodynamic Stimuli in Auatic and Semiaquatic Animals, in Zoology, W. Rathmayer, Gustav Fischer-Verlag, New York, pp. 1-115, 1994.
• H. Herzog, A. Klein, H. Bleckmann, P. Holok, S. Schmitz, G. Siebke, S. Tätzner, M. Lacher, and S. Steltenkamp, “μ-biomimetic flow-sensors—introducing light-guiding PDMS structures into MEMS”, Bioinspir. Biomim., Vol. 10, No. 3, p. 036001, 2015. [https://doi.org/10.1088/1748-3190/10/3/036001]
• Y. Zhai, X. Zheng, and G. Xie, “Fish Lateral Line Inspired Flow Sensors and Flow-aided Control: A Review”, J. Bionic. Eng., Vol. 18, pp. 264-291, 2021. [https://doi.org/10.1007/s42235-021-0034-y]
• X. Zheng, M. Xiong, and G. Xie, “Data-driven modeling for superficial hydrodynamic pressure variations of two swimming robotic fish with leader-follower formation”, Proc. of IEEE Int. Conf. on Systems, Man and Cybernetics (SMC), pp. 4331-4336, Bari, Italy, 2019. [https://doi.org/10.1109/SMC.2019.8914383]
• W.-K. Yen, D. M. Sierra, and J. Guo, “Controlling a robotic fish to swim along a wall using hydrodynamic pressure feedback”, IEEE J. Ocean. Eng., Vol. 43, No. 2, pp. 369-380, 2018. [https://doi.org/10.1109/JOE.2017.2785698]
• T. Salumäe and M. Kruusmaa, “Flow-relative control of an underwater robot”, Proc. R. Soc. A: Math. Phys. Eng., Vol. 469, No. 2153, p. 20120671, 2013. [https://doi.org/10.1098/rspa.2012.0671]
• S. Große and W. Schroder, “The Micro-Pillar Shear-Stress Sensor MPS3 for Turbulent Flow”, Sensors, Vol. 9, No. 4, pp. 2222-2251, 2009. [https://doi.org/10.3390/s90402222]
• M. Asadnia, A. G. P. Kottapalli, J. Miao, M. E. Warkiani, and M. S. Triantafyllou, “Artificial fish skin of self-powered micro-electromechanical systems hair cells for sensing hydrodynamic flow phenomena”, J. R. Soc. Interface, Vol. 12, No. 111, p. 20150322, 2015. [https://doi.org/10.1098/rsif.2015.0322]
• Y. Yang, N. Nguyen, N. Chen, M. Lockwood, C. Tucker, H. Hu, H. Bleckmann, C. Liu, and D. L. Jones, “Artificial lateral line with biomimetic neuromasts to emulate fish sensing”, Bioinspir. Biomim., Vol. 5, No. 1, p. 016001, 2010. [https://doi.org/10.1088/1748-3182/5/1/016001]
• L.-G. Tran, and W.-T. Park, “Biomimetic Flow Sensor for Detecting Flow Rate and Direction as an Application for Maneuvering Autonomous Underwater Vehicle”, Int. J. Precis. Eng. Manuf. – Green Technol., Vol. 9, No. 1, pp. 163-173, 2022. [https://doi.org/10.1007/s40684-020-00282-8]
• J. P. Wissman, K. Sampath, S. E. Freeman, and C. A. Rohde, “Capacitive Bio-Inspired Flow Sensing Cupula”, Sensors, Vol. 19, No. 11, pp. 2639(1)-2639(25), 2019. [https://doi.org/10.3390/s19112639]
• Y. Jiang, Z. Ma, J. Fu, and D. Zhang, “Development of a Flexible Artificial Lateral Line Canal System for Hydrodynamic Pressure Detection”, Sensors, Vol. 17, No. 6, p. 1220(1)-1220(10), 2017. [https://doi.org/10.3390/s17061220]
• A. Klein and H. Bleckmann, “Determination of object position, vortex shedding frequency and flow velocity using artificial lateral line canals”, Beilstein J. Nanotechnol., Vol. 2, No. 1, pp. 276-283, 2011. [https://doi.org/10.3762/bjnano.2.32]
• H. Herzog, S. Steltenkamp, A. Klein, S. Tätzner, E. Schulze, and H. Bleckmann, “Micro-Machined Flow Sensors Mimicking Lateral Line Canal Neuromasts”, Micromachines, Vol. 6, No. 8, pp. 1189-1212, 2015. [https://doi.org/10.3390/mi6081189]
• Z. Zhang, Y. Kang, N. Yao, J. Pan, W. Yu, Y. Tang, Y. Xu, L. Wang, L. Zhang, and L. Tong, “A Multifunctional Airflow Sensor Enabled by Optical Micro/nanofiber”, Adv. Fiber. Mater., Vol. 3, pp. 359-367, 2021. [https://doi.org/10.1007/s42765-021-00097-5]
• B. J. Wolf, J. A. S. Morton, W. N. MacPherson, and S. M. V. Netten, “Bio-inspired all-optical artificial neuromast for 2D flow sensing”, Bioinspir. Biomim., Vol. 13, No. 2, pp. 023013(1)-023013(11), 2018. [https://doi.org/10.1088/1748-3190/aaa786]