옵티컬 플로우를 이용한 영상처리 기반 진동 계측 및 검증
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(https://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Abstract
Conventional vibration-measurement methods used for vibration testing typically employ accelerometers, which offer the significant advantage of accurately measuring vibrations at specific positions. However, they can only measure one point at a time as simultaneously measurements of multiple points can be economically disadvantageous. This study aims to overcome these limitations by analyzing the vibration outputs of accelerometers attached to a product and those obtained through image processing. The analysis involved assessing the measurement uncertainties and verifying the low-frequency vibration testing according to KS standards. The results validated and confirmed the reliability of the proposed camera-based image-processing vibration-measurement method, which exhibited a notable vibration-detection performance and measurement errors within 5% compared to accelerometers for low-frequency vibrations. This method has the potential for application across various vibration-response and durability evaluations. Future research should focus on expanding it to high-frequency vibration testing using high-speed cameras and further enhancing image-based vibration-analysis techniques.
Keywords:
Optical flow, Image processing, Vibration measurement, Low frequency vibration, Measurement uncertainty1. 서 론
진동시험은 실제 발생하는 진동을 모사하여 시료의 진동 반응 특성 및 내구성 평가의 목적으로 주로 활용되고 있다. 일반적으로 진동시험은 진동시험기를 이용해 진행되며 주로 가속도계를 사용하여 시료의 진동 검출과 신뢰성 있게 모사할 수 있어 다양한 산업 분야에서 널리 적용되고 있다[1]. 가속도계는 측정 지점에서의 진동을 정확하게 측정할 수 있고 신호의 신뢰성이 우수하나[2], 한 번에 하나의 지점에서만 측정이 가능하여 다수의 지점을 동시에 측정 시 고가의 센서 가격과 더불어 진동 시험기용 제어기 채널 수 제한으로 인해 경제성 및 측정범위에 제약을 초래한다[3]. 또한 접촉식 검출방식 특성상 시료의 형태, 고전압/고전류 특성, 체결 특성, 무게 등 물리적 제약때문에 가속도계를 이용한 진동 계측 방법이 어려운 경우도 존재한다. 이러한 접촉식 검출방식의 제약 조건들과 경제성 문제를 극복하기 위해 비접촉식 검출방식인 영상처리 기반 진동 계측이 주목받고 있다[4]. 영상처리 기반 진동 계측 방법은 영상 이미지를 분석하여 시료의 진동을 검출하는 방식이며, 카메라를 사용하여 물리적 제약 조건 없이 여러 지점의 진동을 동시에 측정할 수 있는 장점과 측정 지점의 수가 증가하더라도 추가적인 카메라가 필요하지 않기 때문에 측정하고자 하는 지점이 증가할수록 접촉식 검출방식 대비 경제성 면에서 더욱 유리해진다[5].
본 연구에서는 진동시험기를 이용하여 저주파 진동에 대해 접촉식 기준 장비인 가속도계 출력값과 비접촉식 영상처리 기반 진동 계측값을 비교하였다. 반복 측정을 통해 측정 불확도 산출함으로써 영상처리 기반 비접촉식 진동 계측의 정확도를 평가하였으며, KS 진동시험 표준에 따른 진동 검출 시험을 진행하여 실제 적용 가능성을 검증하였다. 이러한 연구 결과는 비접촉 방식의 진동 시험 분야에서의 혁신적인 접근방법을 제시하며, 향후 경제성과 정확성이 높은 진동 계측 방법을 개발하는데 기여할 것으로 기대된다[6].
본 논문의 구성은 다음과 같다. 2장에서는 제안하는 영상처리기반 진동 계측 방법 및 실험환경과 측정불확도 산출 방법을 설명하고, 3장에서는 실험장비를 활용한 영상처리 활용 진동 계측 성능을 검증한다. 연구의 결과 및 고찰 사항은 4장에 기술한다.
2. 실험환경 및 측정불확도 산출
2.1 측정 장비 및 장비 사양
본 실험에서는 전자식 진동시험기(Fig. 1 (a)), 가속도계 (Fig. 1 (b)), 그리고 Microsoft 사의 30 FPS의 일반적인 저사양 카메라(Fig. 1 (c))를 활용하였다. 전자식 진동 시험기는 전자석의 원리를 이용하여 가진부를 움직이는 방식으로 고가속, 고정밀 진동 내구 시험이 가능하다[1]. 가속도계는 시료에 접촉하여 가해지는 진동 가속도의 크기를 출력하는 것으로, 측정 지점에서의 진동을 정확하게 측정할 수 있으며[2], 본 연구에서는 가속도계를 기준 장비로 선정하였다. Table 1은 측정에 사용된 진동시험기와 가속도계, 카메라 장비의 주요 사양을 각각 나타내고 있다.
Test Equipment
Specification of test equipment
2.2 실험환경 및 실험방법
진동시험기를 이용한 영상처리 기반 저주파 진동 계측을 위한 실험 환경은 Fig. 2 (a)와 같다. 진동 시험기와 체결된 시료는 30 Hz 이하에서 공진 특성이 없는 크기와 재질(Fig. 3 참조)로 선정하였으며, 2 - 30 Hz 구간에서 1 - 5 mm 변위로 설정하여 저주파 진동에 대해 반복 실험을 하였다.
Experimental Environment for Vibration Measurement Based on Image Processing
Sample pictures and specifications
영상처리 기반 진동 측정 시 진동 시험기의 변위, 주파수, 시료의 크기, 공진 특성 그리고 측정 장비인 카메라의 몇 가지 변수를 동시에 고려해 주어야 측정에 알맞은 카메라를 선정할 수 있다[7]. 주요한 카메라 변수는 프레임 레이트, 픽셀 당 실제 거리이다[8]. 프레임 레이트는 카메라가 초당 연속적으로 촬영하는 프레임 수를 말하며, 진동을 측정할 때는 에일리어싱(Aliasing)이 일어나지 않는 최대 한계 주파수인 나이키스트 주파수(Nyquist frequency)를 고려해야 한다. 픽셀당 실제 길이는 픽셀 하나의 한 변이 나타내는 실제 시료의 길이를 의미한다[9]. 저주파 진동에 대해 카메라 측정 조건은 Table 2와 같이 설정하였으며, 저주파 진동에 대한 영상처리 기반 진동 계측 실험 절차는 다음과 같다.
Vibration and camera conditions
1) 진동시험기 제어용 가속도계와 계측용 가속도계의 부착 위치 및 영상처리 ROI는 Fig. 2 (c)의 위치에 따른다.
2) 동일한 싱크를 위해 계측용 가속도계와 카메라를 DAQ 장비에 연결하며, 구성도는 Fig. 2 (b)와 같다.
3) 진동시험기 제어용 Controller에 Table 2와 같이 진동 조건을 입력하여 진동시험기를 이용한 진동을 수행한다.
4) 소수점 셋째 자리에서 반올림하여 둘째 자리까지 산출 후 가속도계와 영상처리 기반 진동 계측 결과를 비교한다.
2.3 카메라를 이용한 진동 계측 방법
카메라 이미지를 이용한 진동 계측 방법은 다양하나, 본 논문에서는 특정 ROI에서 옵티컬 플로우(Optical flow)를 계산하여 시료에 대한 진동 계측 및 검증을 실시하였다. 옵티컬 플로우는 연속하는 두 프레임에서 객체의 움직임에 의해 나타나는 객체의 이동 정보 패턴을 의미한다[10]. OpenCV에서 옵티컬 플로우 계산은 루카스-카나데 알고리즘(Locas-Kanade algorithm)을 이용하여 특정 ROI에서 옵티컬 플로우 벡터를 계산하며 루카스-카나데 옵티컬 플로우 계산 함수인 calcOpticalFlowPyrLK 함수를 사용하였다[11]. OpenCV를 이용한 영상처리 기반 진동 계측 절차는 Fig. 4와 같으며, 그 결과는 Fig. 5에 연속적으로 제시하였다.
Vibration measurement method using optical flow
Vibration measurement results using optical flow
2.4 측정불확도 산출 방법
측정장비 정확도(accuracy)를 나타내는 방법은 다양하며, 분해능(resolution), 반복성(repeatability), 불확도(uncert -ainty)도 중 가장 신뢰성 있는 지표가 불확도이다[12]. 측정불확도(Y) 계산 모델은 아래와 같다[13].
| (1) |
f(x1): 반복 측정에 따른 A형 표준불확도
uRep = (s = 표준편차, n = 반복횟수)
f(x2): 기준장비의 교정 성적서에 따른 B형 표준불확도
uCal–c = U/k (U = 표준불확도, k = 포함인자)
f(x3): 기준장비 분해능에 따른 B형 표준불확도
uRes–c = (a = 기준장비의 분해능)
f(x4): 측정장비의 교정 성적서에 따른 B형 표준불확도
uCal–m = U/k (U = 표준불확도, k = 포함인자)
f(x5): 측정장비 정밀도에 따른 B형 표준불확도
uRes–m = (a = 측정장비의 분해능)
합성표준불확도(uc) 산출식은 아래와 같다.
| (2) |
감도계수(ci) 계수 산출 방법은 아래와 같다.
| (3) |
유효자유도(veff) 산출을 위한 식은 아래와 같다.
| (4) |
실험결과는 신뢰수준 약 95%, 포함인자(k) = 2 이다.
3. 실험 결과 및 고찰
3.1 진동조건별 진동 계측 분석 결과
본 연구에서 제안한 카메라 영상처리 기반 진동 계측 방법의 효용성 확인을 위해 진동시험기의 기준 장비인 가속도계와의 진동 변위 비교 계측과 측정불확도 산출을 통해 그 결과를 검증하였다[14].
시료의 진동 영상을 계측한 후 프레임별로 영상처리를 수행하였다. FPS가 높을 경우 에일리어싱이 발생하여 기준치보다 낮게 진동 값이 계측되는 문제가 발견되었다. 이에 따라 8 Hz 이하에서는 프레임 레이트를 조절하여 진동 계측을 실시하였다[15]. 진동 조건별 진동시험기를 이용한 진동실험시 가속도계와 카메라 영상처리 기반 진동 계측 결과는 Table 3 와 같으며, 대표적으로 1, 5 mm 결과만 나타내었다. 진동 조건별 가속도계의 데이터와 영상처리 기반 진동 계측 데이터를 비교하여 상대적인 크기를 확인한 결과(Fig. 6 참조), 15 Hz 이하에서는 기준 장비인 가속도계 대비 5% 이내의 수준으로 유사한 진동 특성이 나타났으나[16], 15 Hz 이상 조건에서는 카메라 프레임 레이트 한계로 계측값이 선형적으로 감소하는 특성이 나타났다.
Test results for measuring equipment
Vibration measurement results by frequency
각 진동 조건별 진동 계측 특성을 비교하기 위하여 Fig. 7과 같이 진동 변위 및 주파수별로 가속도계와 카메라 영상처리 기반 계측의 평균 변위와 최대, 최소값을 비교하여 각 구간 내에 검출 특성을 분석하였다.
Vibration measurement analysis results
1 – 5 mm 진동 조건별 진동 계측 비교 결과 2 Hz에서는 장비 작동 특성 한계로 설정값 대비 낮은 변위가 나타났으나, 기준 장비와 계측장비 동등한 수준의 검출 특성이 나타났다. 주파수 영역 분석으로는 15 Hz 저주파 영역의 전체 구간에서 영상처리 기반 진동 계측 Min/Max/Avg 값은 최대 5% 이내로 Table 3와 같이 기준 장비와 동등한 수준의 검출 특성을 확인하였다.
3.2 기준 장비의 측정불확도 산출 결과
기준 장비의 10 Hz 진동 변위에 대한 진동 조건별 측정불확도 산출을 위해 10회 반복 측정 결과 진동 변위의 차이는 최소 0.004 mm에서 최대 0.016 mm 사이에 분포하는 것으로 나타났다. 가장 가혹한 조건인 최대 5 mm 변위에 대한 측정불확도 산출 결과 절대값 평균 1.570 mm, 표준편차 0.002 mm로 반복 측정에 대한 A형 표준불확도는 0.001 mm로 계산되었다. 제어용 가속도계 교정 성적서와 가속도계의 Resolution으로 계산된 B형 표준불확도는 0.002 mm, 측정용 가속도계의 B형 표준불확도는 0.002 mm로 계산되었으며, 계산모델을 통해 도출된 기준 장비 가속도계를 이용한 진동 계측 합성 표준불확도는 0.016 mm로 산출되어, 전체 측정값이 측정불확도 구간 내에 존재하는지를 Table 4와 같이 확인 및 검증하였다.
Accelerometer Measurement Uncertainty
3.3 측정 장비의 측정불확도 산출 결과
측정 장비인 카메라를 이용한 영상처리 기반 진동 계측의 측정불확도 산출을 위해 동일하게 10회 반복 측정 결과 변위 차이는 최소 0.005 mm에서 최대 0.020 mm 사이에 분포하는 것으로 나타났다. 5 mm 변위에 대한 절대값 평균 1,580 mm, 표준편차 0.011 mm로 반복 측정에 대한 A형 표준불확도는 0.004 mm로 나타났다. 카메라의 경우 가속도계와 달리 교정이 불가하여 불확도 요인을 ROI 설정에 따른 Frame Resolution으로 선정하였다. ROI 설정에 따라 진동 계측 불확도가 2%로 나타났으며, Frame Resolution에 따른 B형 표준불확도는 0.016 mm로 계산되었다. 제어용 가속도계 교정 성적서와 가속도계의 Resolution으로 계산된 B형 표준불확도는 0.011 mm로 계산모델을 통해 도출된 측정 장비 카메라를 이용한 진동 계측 합성 표준불확도는 0.020 mm로 산출되었다. 기준 장비와의 측정불확도 산출 결과 기준 장비 대비 다소 높은 불확도가 산출되었지만 기준 장비와 동일하게 변위가 증가할수록 선형적으로 불확도가 증가하며, 유효범위 내의 측정불확도가 산출됨을 Table 5와 같이 확인하였다[13].
Image Processing Measurement Uncertainty
3.4 KS 규격 진동 실험 검증 결과
영상처리 기반 진동 계측 결과를 검증하기 위해 KS R 9144 철도 차량 부품의 진동 시험방법 및 조건을 참고하여 저주파 진동 실험 및 진동 계측을 실시하였다[17].
진동 조건 중 주파수 범위는 3 - 7, 5 - 11, 7 - 16 Hz 구간으로, 변위는 10 mm로 동일하지만 해당 구간에 대해 선형적으로 주파수가 증가하는 진동 조건이다. 측정 장비의 진동 계측 결과 객체를 선형적으로 추적하면서 진동 변위를 검출하는 것을 확인하였으며, Fig. 8과 같이 기준 장비 가속도계 대비 3 - 7 Hz 구간에서 측정 결과 오차가 가장 크게 발생하였지만 진동 변위에 대한 Max/Min/Avg 값의 경우 Table 6와 같이 최대 5% 이내로 기준 장비와 유사한 진동 검출 값을 확인하였다. 이를 통해 카메라 영상처리 기반 진동 계측 방법에 대하여 KS R 9144 철도 차량 부품 진동시험의 적용 결과를 확인 및 검증하였다.
Test results from 3 to 7 Hz
KS Standard Vibration Experiment Verification Results
4. 결 론
본 연구에서는 진동시험기를 이용하여 진동 조건별 기준 장비인 가속도계와 카메라 영상처리를 통한 진동 계측 결과에 대해 비교·검증을 하였으며 장비별 진동 검출 측정불확도 산출과 KS 규격에 대한 진동 실험 검증을 통해 다음과 같은 결론을 얻었다.
1. 계측된 결과를 분석하였을 때, 진동 조건별 가속도계의 데이터와 영상처리 기반 진동 계측 데이터의 Min/Max/Avg 값은 기준 장비인 가속도계 대비 5% 이내의 수준으로 유사한 진동 검출 특성이 나타났다.
2. 진동 조건에 대한 장비별 측정불확도 산출 결과 기준 장비의 진동 변위는 최소 0.004 mm에서 최대 0.016 mm 사이, 측정 장비의 진동 변위는 최소 0.005 mm에서 최대 0.020 mm 사이에 분포하는 것으로 나타났으며, 진동 변위별 기준 장비와 동일하게 선형적인 측정불확도가 산출됨을 확인하였다. 측정 장비인 영상처리 진동 계측의 측정불확도 결과는 가속도계와 유사한 수준으로 저주파 진동에 대해서는 카메라 영상처리 기반 진동 계측 신뢰성이 확보됨을 확인하였다.
3. KS R 9144 철도 차량 부품의 진동 시험방법 및 조건을 참고한 영상처리 진동 계측 실험 결과 선형적으로 객체를 추적하면서 진동 변위를 검출하는 것을 확인하였으며, Max/Min/Avg 값의 경우 동일하게 5% 이내로 가속도계와 유사한 진동 계측값을 확인하여 적용 결과를 검증하였다.
진동은 시료에 대한 반응 기준이 되는 가장 기본적인 특성으로, 본 연구를 통해 저주파 진동에 대해 비교·검증된 카메라 영상처리 기반 진동 계측의 신뢰성 연구는 다양한 진동 반응 시험 및 내구성 평가에 활용될 수 있을 것으로 기대된다. 현재 수준은 KS R 9144 조건에 일부 적용될 수 있지만, 주파수 범위 추가 확장 및 검증을 통해 KS R 1034, 자동차 안전기준 구동 축전지 안전성시험 중 구동 축전지 진동시험에 적용할 수 있으며, 실차 환경에 적용하여 주파수 대역별 차량 특성에 대해 실시간으로 확인할 수 있는 계측 방법을 제시할 수 있다. 향후 고속 카메라를 적용하여 고주파 영역에서의 진동 검출함으로써 카메라 영상처리를 통한 진동 검출 및 계측에 관해 지속적인 연구가 필요할 것이다.
References
- C. H. Lee, “Understanding 3-axis Simultaneous Vibration Test Technology”, J. Korean Soc. Noise Vib. Eng., Vol. 29, No. 6, pp. 7-10, 2019.
-
J. Y. Yoo, G. C. Park, A. Y. Jeon, C. H. Kim, Y. J. Kim, J. H. Ro, and G. R. Jeon, “Wireless Vibration Measurem ent System Using a 3-Axial Accelerometer Sensor”, J. Sens. Sci. Technol., Vol. 20, No.2, pp. 131-136, 2011.
[https://doi.org/10.5369/JSST.2011.20.2.131]
- K. H. Sun and J. H. Jung, “Vibration image-based diagnosis and deep learning”, J. Korean Soc. Noise Vib. Eng., Vol. 30, No. 1, pp. 14-18, 2020.
-
O. S. Song and J. R. Koo, “Vibration Measurement of a Transmission Line Using Image-processing Technique”, Trans. Korean Soc. Noise Vib. Eng., Vol. 28, No. 2, pp. 181-187, 2018.
[https://doi.org/10.5050/KSNVE.2018.28.2.181]
-
Y. J. Lee, K. H. Chang, C. Y. Oh, and S. D. Jung, “Implementation on the Portable Blood Gas Analyzer and Performance Estimation/A Study on the Hydrometer Calibration System using Image Processing”, J. Sens. Sci. Technol., Vol. 12, No. 6, pp. 131-136, 2003.
[https://doi.org/10.5369/JSST.2003.12.6.258]
-
U. S. Park, S. P. Boo, S. Y. Park, D. H. Kim, J. W. Song, J. U. Jeon, and J. W. Kim, “Development of a MEMS Resonant Accelerometer Based on Robust Structural Design”, J. Sens. Sci. Technol., Vol. 21, No. 2, pp. 114-120, 2012.
[https://doi.org/10.5369/JSST.2012.21.2.114]
-
J. H. Hwang, B. W. Cho, and D. H. Choi, “Feature Map Analysis of Neural Networks for the Application of Vacant Parking Slot Detection”, Appl. Sci., Vol. 13, No. 18, pp. 10342(1)-10342(14), 2023.
[https://doi.org/10.3390/app131810342]
-
Y. M. Kim, Y. G. Kim, S. Y. Son, S. Y. Lim, B. Y. Choi, and D. H. Choi, “Review of Recent Automated Pothole-Detection Methods”, Appl. Sci., Vol. 12, No. 11, pp. 5320(1)- 5320(15), 2022.
[https://doi.org/10.3390/app12115320]
- J. H. Woo, S. W. Kim, and J. G. Ih, “Measurement of Twodimensional, Small-amplitude Vibration Using a Camera”, Proc. of Symposium of the Korean Society for Noise and Vibration Engineering, pp. 693-695, Gyeongju, Korea, 2016.
- J. G. Kang, “Accurate uncertainty estimation of optical flow for video object detection”, M. S. thesis, Hanyang University, Seoul, KR, 2022.
- S. N. Heo and B. I. Moon, “Optical flow Based Object Tracking Using Adaptive ROI”, J. I nst. E lectron. E ng. Korea TC, pp. 403-406, 2014.
- J. J. Lee, H. Y. Ryu, K. D. Nam, and C. B. Kim, “Analysis of Ethernet Wwitch Measurement Uncertainty for KOLAS Testing Laboratory Accreditation”, J. Inst. Electron. Eng. Korea TC, Vol. 48, No. 12, pp. 1-8, 2011.
-
J. R. Shim and B. C. Kim, “Comparison of Measurement Accuracies of GPS-Type and Noncontact Optical-Type Speed Sensors by Vehicle Test”, J. Korean Soc. Manuf. Process Eng., Vol. 21, No. 10, pp. 22-29, 2022.
[https://doi.org/10.14775/ksmpe.2022.21.10.022]
-
Y. G. Kim, K. S. Gam, and I. S. Yang, “Uncertainty assessment of industrial platinum resistance thermometers for different lead-wire connection methods”, J. Sens. Sci. Technol., Vol. 18, No. 4, pp. 322-326, 2009.
[https://doi.org/10.5369/JSST.2009.18.4.322]
-
K. Y. Kim and M. K. Kwak, “Measurement of Large-amplitude and Low-frequency Vibrations of Structures Using the Image Processing Method”, Trans. Korean Soc. Noise Vib. Eng., Vol. 15, No. 3, pp. 329-333, 2005.
[https://doi.org/10.5050/KSNVN.2005.15.3.329]
- S. J. Moon and J. W. Park, “An Example on Measurement Uncertainty of Vibration Testing Result”, Proc. of Korean Society for Noise and Vibration Engineering, pp. 408-409, Yesan, Korea, 2016.
-
Y. G. Kim, C. K. Park, and J. H. Ryu, “Comparison and Analysis of Vibration and Shock Test Methods for Rolling Stock Equipment”, J. Korean Soc. Railway, Vol. 16, No. 4, pp. 246-252, 2013.
[https://doi.org/10.7782/JKSR.2013.16.4.246]