자동차 차체부품 CO2용접설비 전수검사용 비전시스템 개발

1. 서 론

최근 들어 고연비, 고안전성 및 고품질 등은 국내외 자동차 OEM업계에서 화두로 떠오르고 있는 항목들이며, 이 중 고안전성과 고품질은 용접부와 밀접한 연관이 있는 항목이다. 특히 차체 및 차체 부품의 용접부의 불량은 사고 시 인명에 치명적인 영향을 미치며, 자동차 외관 품질 부분에서도 클레임의 원인이 된다. 이러한 원인으로 인하여 용접부의 품질 검사는 샘플 검사 및 전수 검사가 이루어지고 있으며, 대부분의 전수 검사는 숙련된 기술자의 육안을 통한 외관 검사로 수행되며, 숙련된 기술자의 경우 육안 검사를 통해 용접결합을 70~80%까지 검출이 가능하나, 기술 숙련에 많은 어려움이 있으며, 기술자에 따라 편차를 가진다.

이러한 문제를 해결하기위해 비전기반의 용접부 검사장비를 많이 사용하지만 이는 용접생산성의 향상에 직접적인 영향을 주지는 않기 때문에 실제로 수요의 증가세는 상당히 점진적이다. 용접부 검사장비와 관련하여 시장을 주도하는 국가는 독일, 캐나다, 미국, 일본 등이며 특히 측정의 정밀도뿐만 아니라 현장 적용성을 최대화한 제품을 개발하고 있으며, 용접부 품질 검사장비 시장은 카메라 시스템 및 전류 전압 센서, 가압센서를 비롯한 모든 센서 시스템, 품질평가 알고리즘, GUI 프로그램 등을 비롯한 다양한 소프트웨어 기술, 모터와 감속기, 리니어 가이드, 매뉴플레이터와 같은 자동화 장치의 요소 장치, 제어를 위한 마이크로프로세서, 로봇 및 모션 컨트롤러와 서보 드라이버 등 컨트롤러 부품으로 구분할 수 있다.

따라서 최근 유수의 자동차 업체들은 다양한 비전시스템을 이용한 외관 검사 장비를 도입하여 검사하고 있으며, 2D 또는 3D 비전시스템기반의 검사 시스템을 적용하고 있다[1,2]. 이러한 비전 검사시스템에서는 주로 2D 기반의 검사장비가 많이 이용되고 있으며, 검사 이미지를 통한 제품 검사의 이력 관리가 가능하며, 빠른 검사 수행을 통해 전수 검사에 많이 이용되지만, 2D 기반의 검사 방법은 조명 조건에 따라 검사 성능이 좌우되며, 2차원 평면 형태의 외형 측정을 함으로 제품의 정확한 형태를 검사하기에 어려운 단점이 있다.

또한 3D 카메라를 이용한 검사 방법은 제품의 3차원 형상을 스캔하고 이를 기반으로 검사하는 방법으로 최근 형상 측정을 위하여 많이 이용되지만, 형상만으로 제품의 검사를 함으로 인하여 제품과 용접부의 경계구분이 어렵고, 많은 양의 데이터를 처리함으로 인하여 제품 검사에 많은 시간이 소요되어 생산라인에 전수 검사용으로 사용하기에는 문제가 있다[3].

본 논문에서는 주변 조명이나 외부 간섭 등의 외부 요인으로 인해 인식 오류가 발생할 수 있으며 이를 최소화하고 인식 성능을 향상시키며, 용접 시 용접 팁과 모재 사이에 높은 열로 인해 발생하는 그을음을 제거하여 조명 및 그을음에 강인한 용접부 전수검사시스템을 개발하였다. 용접부 검사시스템의 조명 시스템에 내장된 2D 비전 카메라를 사용하여 용접된 차체부품 영상을 획득한 후, 모재 영역에 대한 ROI (region of interest)를 설정하고, 용접부 비드 검출 알고리즘의 정확도 향상을 위해 배경노이즈(Gaussian blur)와 그을음(Soot) 제거 알고리즘을 수행한다. 이러한 전처리 작업을 수행한 후 정확한 비드를 검출하기위해 적응적 이진화를 적용한 후 모재의 용접부 비드를 검출하고, 사전에 정의된 용접 비드의 길이, 너비, 각도 및 결함 크기와 같은 기하학적 매개변수 대비하여 현재 검출된 용접 비드가 허용수준인지 여부를 최종적으로 결정한다. 본 논문에서 연구실 및 실 현장 라인에서 실험한 결과 자동차 OEM에서 정의한 차체부품 용접부 허용오차 5% 내에서 성능이 달성됨을 확인하였다.

2. 용접부 검사 시스템

현재까지 용접 공정에 있어서 비전 센서의 응용은 점점 더 그 범위를 확대하고 있으며, 초기 단순 로봇의 이동 경로와 용접부 모니터링에서부터 현재는 용접선 추적과 용접부 형상 측정에 따른 비드 결함 판단에도 사용되고 있다. 그 중 전수 검사를 위한 외관 검사에는 비전을 이용한 검사방법이 가장 많이 사용되고 있으며, 이미지를 통한 이력을 남길 수 있는 장점이 있어 많은 자동차 부품공장에서 도입하고 있다.

본 논문은 용접 비드 검사를 위한 전체적인 시스템의 구조, 센서 시스템 구조 설계, 통신, 데모환경, 비드 판단 알고리즘 개발을 포함한다. Fig. 1은 본 논문에서 구축한 2D 비전센서기반 CO2 용접 비드 검사 시스템을 나타내었으며, 용접 비드 검사용 로봇을 기반으로 용접 모재를 검사하는 지그를 이용해 모재를 고정한 후, 비드 검사로봇의 움직임에 따라 본 논문에서 개발한 용접 비드 비전시스템에서 측정한 비드 데이터를 기반으로 양·불량 상태를 판단한다.

Fig. 1.

The vision system for CO2 welding inspection system.

로봇을 이용한 검사 시스템은 로봇의 움직임에 맞춰 PLC와 Vision PC 간 신호 흐름을 제어할 수 있어야 하며, 이때의 통신시퀀스는 아래 Table 1과 같은 통신 프로토콜에 의거 비전검사가 이루어진다. 비드 검사 시스템의 최종 단계에서는 검사할 자동차 부품의 정보(좌측, 우측 부품)를 판별할 수 있으며, 자동차 부품에 대한 허용오차에 대해 측정값을 대비하여 OK와 NG로 표현된다.

Table 1.

PLC communication protocol for bead inspection system.

2.1 용접 비드 검사용 비전 센서 개발

CO₂용접부 모재의 비드를 측정하기 위한 측정 범위는 반경 25 mm, 높이 20 mm의 원통형으로, FOV (field of view)는 50 mm 이상, DOF(degree of freedom)는 ±20 mm 이상을 만족하는 2D 카메라를 선정해야 해야 하며, 또한 측정 과정에서 측정 장비와 대상체와의 간섭이 없는 WD (working distance)는 130 mm 이상이어야 한다.

이렇게 선정된 비전센서를 기반으로 단위 센싱 모듈의 설치 위치 및 자세에 따라 획득 영상의 품질이 상이하다. 따라서 최적의 영상 품질을 확보하기 위하여 카메라의 설치 위치 및 자세를 가변적으로 조절 가능하게 설계하였으며, FEM 해석을 통하여 개념 설계안의 타당성을 분석하였다.

Fig. 2 (a)는 개념 설계 모델이고, 2 (b)는 FEM 해석 결과와 가공의 용이성을 고려하여 복합 센싱 모듈의 형상을 수정하고, 완성품을 제작하였다.

Fig. 2.

Our developed vision system (a) FEM analysis and (b) the real product.

이때 FEM 해석을 위한 메쉬 모델 및 경계 조건이며, 경계조건으로 설정한 회전축 속도는 18.573 RPM이며, 회전축 관성모멘트 및 질량은 각각 10.745 kg 및 0.044 kgm²으로 구성하였다.

3. 비드 검출 알고리즘

구축된 시스템은 Robot, PLC, Vision PC, 자동차부품 모재와 자체 개발한 비전 센서 시스템으로 구성되며, 시스템에서 획득한 데이터를 이용하여 비드 양불량 검사 알고리즘을 구현하게 된다. 비드 검사 알고리즘에 대한 전체 개략적 구조도는 Fig. 3에서 확인할 수 있다.

Fig. 3.

Schematic diagram of bead inspection algorithm.

Fig. 4.

The results images for algorithm flow diagram of bead inspection system; (a)~(i) result image of (1)~(9)

첫째, 이 검사알고리즘은 용접된 샘플을 포함한 전체 사진을 촬영하고 계산 절차를 단순화하기 위해 시스템은 이미지를 용접된 샘플이 포함된 ROI으로 설정 후 용접부 영역의 정확한 검출을 향상시키기 위해 가이드 프로그램 시편 및 2D 카메라 수평화를 수행한다. 연산 속도 향상을 위해 ROI 영상에 대해 RGB 색좌표에서 Gray 색좌표로 변환하고 현장적용 비드 인식 및 불량 인식 알고리즘의 정확도 향상을 위한 알고리즘 전처리를 수행한다. 전처리로는 잡음 영역제거를 위한 가우시안blur 크기 최소화를 통한 계산 영역 최적화 진행한다.

자동차 부품 모재에 용접을 하면 용접 팁의 높은 온도로 인해 용접 비드 주변에 그을음이 발생하여 비전센서를 통해 비드 검출에 정확도가 떨어지는 단점이 있다. 본 논문에서는 영상 내의contrast와 brightness 등의 파라미터 값을 활용하여 비드 주변의 그을음 잡음을 제거하는 알고리즘을 적용하였다. 1차 제거된 그을음과 비드 간 경계 향상을 위해 sharpening 필터 적용하였으며, adaptive threshold를 통해 영역별 그을음, 조명 정도의 차이 극복 및 최적의 비드 경계 검출한다. 이렇게 검출된 비드에서 비드 정보(예: 호 길이, 각도, 너비 등)를 계산하고, 이 계산값을 통해 용접 비드의 양·불량을 판정하였다.

용접 비드 검사 비전 시스템의 알고리즘은 PLC와 Robot 간, Robot과 Vision PC 간, PLC와 Vision PC 간, 비전 시스템과 Vision PC간, 모두 통신의 제어가 가능 하도록 구현하게 되며, Ethernet 통신을 기반으로 데이터를 송수신 할 수 있도록 적용하였다.

3.1 2D카메라 및 용접 시료의 위치 수평화 알고리즘

용접 모재를 촬영하여 비드의 양불량을 검출할 때 오퍼레이터의 수작업으로 용접 모재를 촬영 지그에 거치하므로 촬영 위치가 달라져 비드 검출에 어려움이 있다. 이를 해결하기위해 Fig. 5에서는 보는 바와 같이 2D카메라 및 용접 시료의 위치 수평화 알고리즘을 적용한 가이드 프로그램을 통해 카메라와 시료의 x, y, z을 고려한 수평화를 진행한다. 이 알고리즘을 적용하면 영상의 각 영역별 픽셀 당 거리 값이 안정화되고, 용접부 영역 검출의 정확도가 향상된다.

Fig. 5.

Center alignment of image for bead inspection system.

3.2 그을음 제거 알고리즘

자동차 부품에 CO₂ 용접을 하면 용접 팁의 높은 온도로 인해 용접 비드 주변에 그을음이 발생하고 이를 비전센서를 통해 비드 검출할 시 검출 정확도가 떨어지는 단점이 있다. 이를 해결하기 위해 본 논문에서는 ALGC (adaptive local gamma correction)[4]를 이용한 그을음 제거 알고리즘을 이용하였으며 이 알고리즘은 용접 제작 과정에서 외부 환경 요인(주변광 등)을 제거하고 용접 비드만 강조하는 역할을 한다. ALGC는 다음과 같이 정의한다.

$\[ O_{ALCG}\left(x,y\right)=\left(N_G-1\right)\times {\left(\frac{D\left(x,y\right)}{N_G-1}\right)}^{1/\sigma \left(x,y\right)} \]$

(1)

여기서 O_ALCG(x,y)는 적응형 감마 보정 이미지이고, 는 N_G 출력 이미지의 최대 강도 값(예: 8비트 = 256)이다. D(x,y)는 원본 이미지이고 σ(x,y)는 원본 이미지의 로컬 영역에 대한 분산값이다. 국소 영역이 배경 영역에 위치하는 경우 계산된 표준편차는 매우 작고 국소 감마 보정값은 0에 가깝고 또한 인식하려는 비드의 영역에 국소 영역이 포함되어 있는 경우 국소 감마 보정은 배경 영역에 비해 값이 증가한다. 이는 배경 영역이 아닌 사물의 인식을 높여주는 장점이 있다.

Fig. 6 (a)는 용접 팁에 의한 용접 비드 주위의 그을음 영상과 Fig. 6 (b)는 제안한 알고리즘을 이용한 그을음 제거 영상을 보여준다.

Fig. 6.

The example of image for the soot remove algorithm : (a) a soot image (b) the removed image of a soot.

4. 실험 환경 및 결과

자동차 부품의 CO₂용접 비드 검사를 위한 비전시스템을 개발하였으며, 이를 활용한 검사 성능을 검증하기 위해 실험실 수준에서의 검사환경과 실제 자동차 부품 생산 및 검사 라인과 동일한 환경을 구축하였으며, 이를 통해 성능을 검증하였다.

Fig. 7 (a)에서 보는 바와 같이 본 논문에서 개발한 비드 검사 비전시스템의 측정 정밀도를 검증하기 위하여 Table 2와 같이 다양한 비드 폭, 높이, 길이로 설계하고 Fig. 7 (b)와 같이 기준 시편을 가공 제작하여 비드 검사의 정확도를 측정하였다.

Fig. 7.

Experimental environment for performance verification; (a) A lab. test scene, (b) the 3D design and standard sample.

Table 2.

The design data of standard samples

실험방법은 표준 시편의 2D 영상 기반으로 용접 비드의 길이, 폭, 높이를 확인하기 위해 표준 시편의 설계 수치를 기준으로 Table 4에서 보는 바와 같이 2D 데이터로부터 측정한 용접 비드의 길이, 높이, 폭 측정값의 오차를 산출하고 10개의 비드를 각 5회씩 반복 실험하여 평균 오차를 2D 기반 측정 오차로 산출하였다.

Table 3.

The real standard value of CO2 welding parts.

Table 4.

The results of bead measurement error using standard samples.

Fig. 8은 에서 실제 자동차 부품 생산라인 및 검사라인에서 실제 제품을 활용한 개발한 비드 검사 비전시스템의 측정 정밀도를 검증하는 그림이며, 이때 개발 시스템을 검증한기 위한 실제 제품의 표준치는 Table 3와 같다. Fig. 9는 실제 제품에서 비드의 길이와 폭을 계산하는 방법을 나타내었다. 실제 제품을 실험 방법은 실험실에서 테스트하는 방법과 동일하다. Table 5에서 보는 바와 같이 실험결과 좌, 우측 실제 제품 샘플 총20개에 대해 측정오차는 2.44%로 실제 자동차 생산에 적용되는 5% 오차 이내를 만족하므로 실제 자동차 부품 생산라인 적용이 가능함을 알 수 있다.

Fig. 8.

Experimental environment for performance verification; (a) A real product test scene, (b) the real sample of automotive parts.

Fig. 9.

Measurement of bead width and height in real parts.

Table 5.

The results of bead measurement error using the real samples.

5. 결 론

기존의 자동차 부품의 용접부의 품질 검사는 샘플 검사 및 전수 검사가 이루어지고 있으며, 대부분의 전수 검사는 숙련된 기술자의 육안을 통한 외관 검사로 수행되며, 숙련된 기술자의 경우 육안 검사를 통해 용접결합을 출이 가능하나, 기술 숙련에 많은 어려움이 있으며, 기술자에 따라 편차를 가진다.

이를 해결하기 위해 본 논문에서는 용접된 차체부품 영상을 획득한 후, 모재 영역에 대한 ROI를 설정하고, 용접부 비드 검출 알고리즘의 정확도 향상을 위해 배경 노이즈(Gaussian Blur)와 그을음(Soot) 제거 알고리즘을 수행한다. 이러한 전처리 작업을 수행한 후 정확한 비드를 검출하기위해 적응적 이진화를 적용한 후 모재의 용접부 비드를 검출하고, 사전에 정의된 용접 비드의 길이, 너비, 각도 및 결함 크기와 같은 기하학적 매개변수 대비하여 현재 검출된 용접 비드가 허용 수준인지 여부를 최종적으로 결정하였다. 개발된 용접 비드 검사 시스템의 성능은 실제 자동차 부품 생산라인과 동일한 실험 환경을 구축하여 검증하였으며, 실험 결과, 자동차 부품에서 요구되어지는 측정오차 5% 이내의 표준 요구사항을 만족하는 수준의 비드 검사 성능을 확인하였다.

실제 자동차 부품 검사 시스템의 경우 세계 유수의 센서회사에서 2D, 2.5D, 3D 등 다양한 센서와 이를 활용한 검사 시스템 등이 출시되고 있으며, 국내에서도 활발하게 개발하고 있는 추세이다.

또한 기존의 검사시스템에 딥러닝 및 AI 기술을 많이 적용하고 있다. 이에 본 논문에서도 추후 비드 검사용 딥러닝 알고리즘과 자동차 부품 생산 현장 라인에서 요구하는 3D 비전 시스템을 적용하여 개발할 예정이다.

References

• Y. Li, Y. F. Li, Q. L. Wang, D. Xu, and M. Tan, “Measurement and Defect Detection of the Weld Bead Based on Online Vision Inspection”, IEEE Trans. Instrum. Meas., Vol. 59, No. 7, pp. 1841-1849, 2010. [https://doi.org/10.1109/TIM.2009.2028222]
• D. S. Hwang and M. Gho, “Development and application of realtime weld quality monitoring system”, J. Weld. Join, Vol. 30, No.1, pp 44-50, 2012. [https://doi.org/10.5781/KWJS.2012.30.1.44]
• U. T. Jeong and I.-S. Lee, “Simplified 3D camera calibration algorithm for 3D vision inspection system”, J. KIIT, Vol. 16, No. 7, pp. 43-50, 2018. [https://doi.org/10.14801/jkiit.2018.16.7.43]
• J. Kim, “Target detection algorithm based on temporal profiles using pixels of difference image in infrared imagery”, Ph.D. thesis, Kyungpook National University, Daegu, KR, 2009.