자동차 글라스 조립 자동화설비를 위한 프라이머 도포검사 비전시스템 개발

1. 서 론

최근 제조산업은 ICT 융합을 가속화하여 공장의 다품종 복합생산이 가능한 유연 생산시스템 (FMS, flexible manufacturing system)으로 제조업의 패러다임이 급격히 변화 중이다. 특히 국내외 자동차 제조산업에 있어서도 유연 생산시스템 적용에 따라 자동화 및 성력화에 대한 수요가 증가하고 있으며, 국내외 유수의 자동차 OEM의 경우 유연 생산시스템 적용으로 다품종 소량 모델의 생산제조 방식으로 변화하는 중이다[1,2].

자동차 의장부품 장착에서도 사람 중심의 부품조립에서 무인화, 자동화, 성력화 조립공정 위주로 기술개발이 진행되고 있으며, 다수의 로봇과 3D 비전센서, 장착 위치 및 보정 SW 등이 복합적 구성되어 조립 공정의 난이도가 높은 자동화 기술이 요구되고 있다. 하지만 기존의 자동화 공정을 구성하는 시스템 및 SW가 고가의 해외 제품으로 구성되어 있어 자동화 기술로 생산율을 높여가는 자동차 OEM의 요구에 적극적인 대응과 다양한 부품조립 공정의 확장에 어려움이 있다.

자동차 의장부품 중 자동차 글라스의 경우, 프라이머 (primer) 도포 공정, 실러(sealer) 도포 공정, 글라스 정렬(무보정 인식) 공정, 글라스 장착 공정 등 일반적으로 4단계의 공정으로 이루어진 난이도 높은 자동화 기술이다.

이때 자동차 전면 또는 후면 글라스를 차체에 장착할 때 도포액들이 사용되며, 이 도포액은 프라이머와 실러이다. 프라이머 도포 공정은 글라스와 차체 사이의 접착성을 향상시키고, 방수를 위한 소재로, 차체와 글라스의 장착공정에서 상호 접착위치에 대하여 차체에 원활한 접착이 이루어 질 수 있도록 글라스의 가장자리를 따라 상기 프라이머를 도포하는 direct glazing 공법이 널리 사용되고 있으며, 글라스에 실러를 도포하기 직전 일정한 시간내에 글라스에 프라이머를 먼저 도포하여야 한다. 이러한 프라이머의 도포에서 프라이머가 글라스에 도포되지 않은 미 도포구간이 생기면, 차체와 글라스 간의 접촉강도를 저하시키게 되고 글라스의 접촉성을 나쁘게 되어 충돌 시 글라스가 쉽게 이탈되거나, 프라이머가 도포되지 않은 구간이 생길 경우 이후 공정에서 도포된 실러의 접착강도를 보증할 수 없어, 물이 새어 들어오거나 윈드 노이즈(wind noise) 발생 등의 품질문제를 야기시키게 된다[3].

따라서 차량용 글라스 자동화 시스템에서 프라이머 도포는 중요한 작업이며, 프라이머가 글라스의 전 둘레에 걸쳐 제대로 도포되었는지를 보증하는 것이 중요하다. 현재 자동차 조립 생산라인에서는 글라스 상에 프라이머 또는 실러 도포 이후 도포상태를 확인하고 있으며, 현재까지 글라스 프라이머 또는 실러검사에 다양한 방법이 강구되고 적용되어 왔다[4-8].

본 논문에서는 고출력 ‘ㄷ’자형 LED 경사 조명과 2D카메라를 이용한 실제 자동차 의장부품 조립 환경에 강인한 프라이머 도포 조명 및 도포 검사 알고리즘을 개발하였다. 고출력 ‘ㄷ’자형 LED 경사 조명은 짧은 직선구간과 긴 직선구간 2개로 이루어져 있으며 각 구간에 배열된 한 개 이상의 고출력 LED 발광소자들의 조사각도가 동일하고 경사 조명부의 높이를 조절할 수 있는 구조이기 때문에 인젝터의 노즐 위에 설치되는 플랜지의 장애물 간섭을 피해서 노즐 중심과 도포된 프라이머를 향해 조명 빛을 집중 조사할 수 있도록 제작하였다.

그리고 고출력의 집중 조사된 프라이머에 대해 도포 양불량을 검사하기 위해 2D 카메라로부터 획득된 영상에서2단계의 관심 영역(ROI, region of interest)을 추출하고, 마지막 단계의 ROI영역에 대해 이진화를 통해 최종 프라이머 도포 영역을 검출하고 이 영역에 대해 폭과 면적을 계산한 후 미리 정의된 글라스 각 구간별 폭과 면적과 비교하여 양불량을 판정하는 프라이머 도포 검사 알고리즘을 제안하였다. 또한 개발한 고출력 조명과 알고리즘을 이용하여 실제 자동차 생산라인에 적용가능한 프라이머 도포 데모 라인을 구축하였으며, 이 데모시스템을 활용하여 도포 검사 성능을 검증하였다. 실험결과 자동차 요구사항에 만족하는 수준 이상의 우수한 성능을 확인하였다.

2. 프라이머 도포 검사 시스템

자동차 글라스 장착 시스템 중 프라이머 도포 시스템은 프라이머가 담긴 장치에서 일정한 공기 압력으로 토출양을 제어하여 프라이머 전용 붓을 통해 자동차 글라스 상에 프라이머를 도포하고, 이 도포된 상태를 검사하기 위한 시스템이다. Fig. 1은 프라이머 도포 검사 시스템의 구조 설계안과 실제 데모 시스템을 보여준다. Fig. 2에서 보는 바와 같이 본 논문에서 사용된 시스템은 자동차 생산조립현장에서 많이 사용하는 현대로봇, Mitsubishi 社MELSEC PLC, PC Rack에 설치된 비전 컨트롤러, 그리고 블랙 프라이머를 검출하기 위한 150W급의 465 nm의 고출력 LED 조명, VGA급 해상도를 가진 Color 2D 카메라로 구성되어 있다. 또한, 프라이머 도포검사를 위해서 비전 컨트롤러와 로봇, PLC간은 CC-Link 전기선로가 포설 및 연결되어 있다. 현대로봇 내 CC-Link 전용 통신 보드와 MELSEC PLC에도 CC-Link 전용 통신 모듈이 장착되어 있고, 각각의 통신 보드와 통신 모듈은 전용 케이블로 직접 연결하였다. Fig. 3은 본 논문에서 사용한 프라이머 도포 검사 시스템의 신호 흐름도를 나타낸다.

Fig. 1.

Cell structure of primer application inspection system; (a) blueprint of system, (b) real system.

Fig. 2.

Composition and communication system of primer application inspection system.

Fig. 3.

Signal flow chart of primer application inspection system.

Fig. 4.

Developed high-power LED light; (a) blueprint, (b) 3D design, and (c) real light system.

2.1 고출력 프라이머 조명 개발

자동차 글라스 장착용 프라이머 도포 시스템에서 글라스에 도포된 프라이머의 양불량 판정 정확도를 높이기 위해서 도포되는 프라이머 경화에 사용되는 LED 파장대와 조도, 플랜지의 간섭 등이 매우 중요하다.

기존의 자동차 글라스 장착라인에 설치된 프라이머 도포 조명은 도포 인젝터의 일정 높이에 설치되어 인젝터의 하부측 노즐과 노즐에 조립된 붓의 중심 및 도포된 프라이머 등을 향해 조명 빛을 조사하도록 조명부의 하부에 한 개 이상의 발광소자가 길이 방향을 따라 일정 간격을 두고 분산 배열되는 구성으로 이루어져 있다. 이런 조명의 한 개 이상의 발광소자들의 조명 빛이 조사될 때 인젝터의 노즐 위에 설치되는 플랜지의 장애물 간섭으로 인하여 노즐 중심과 도포된 프라이머 등을 향해 집중 조사되지 못하고 분산됨으로써 구조가 복잡하고 단일 구조가 아닌 여러 구조를 조립함으로써 조립 및 조정, 세팅에 많은 시간을 필요로 한다. 또한 인젝터의 노즐 도포 중심 조도가 현저히 저하되었고, 이러한 조도 저하 현상은 도포된 프라이머 촬영부의 촬영 해상도를 낮추거나 도포상태 판정 정확도를 떨어지는 단점이 있다.

본 논문에서는 이러한 단점을 해결하고 실제 프라이머 도포검사공정에 적합한 조명을 Table 1과 같은 사양에 대해 Fig. 5와 같이 설계하고 제작하였다. Fig. 5에서는 기존에 프라이머 검사에 많이 사용하는 사각 조명, 동축 조명과 본 논문에서 개발된 조명을 실제 라인에 설치되는 조건과 광량으로 Black 프라이머에 조사했을 때 카메라로부터 획득된 영상을 보여준다.

Table 1.

Developed high-power LED light specifications.

Fig. 5.

Comparison of conventional lights and the developed light; (a) the square light, (b) the coaxial light, (c) our developed light, (d) a photo of the experiment with the square light, (e) a photo of the experiment with the coaxial light, (f) a photo of the experiment with our developed light, (g) the result image with the square light, (h) the result image with the coaxial light, and (i) the result image with our developed light.

이때 사각조명의 경우 광량의 각도의 문제로 프라이머 유무검사가 어려움이 있으며, 동축 조명의 경우 영상으로 프라이머 유무검사가 가능하나 조명 셋팅과 검출 알고리즘이 복잡해지는 단점이 있다. 본 논문에서 개발된 조명의 경우 프라이머 유무검사와 조명 셋팅이 간편하고, 알고리즘이 단순하여 실 라인 적용에 강점이 있으나 조명 제작 비용이 높아 가격경쟁력이 떨어진다.

3. 프라이머 검출 알고리즘

기 개발된 고출력 LED 조명과 검사 시스템을 이용하여 실제 자동차에 사용하는 글라스에 프라이머를 도포하고 이를 검사하는 알고리즘을 구현하였으며, Fig. 6 구현된 프라이머 검출 알고리즘 개략적 구조도를 나타낸다. 본 논문에서 제안한 프라이머 도포 검사 알고리즘은 Intel i7 10700, 32GB RAM, Nvidia RTX 3080을 가진 산업용 PC 환경에서 Visual studio 2019와 MVTEC 社 Halcon 라이브러리 기반으로 검출 및 판단 소프트웨어를 구현하여 성능을 검증하였다.

Fig. 6.

Schematic diagram of primer inspection algorithm.

프라이머 비전 검사 시스템의 경우 PLC와 로봇, 로봇과 비전시스템(PC), PLC와 비전 시스템 간의 이더넷 혹은 시리얼 통신 프로토콜으로 통신하여 데이터를 송수신하며, Fig. 7에서 보는 바와 같이 통신 프로토콜을 이용하여 비전시스템과 PLC 사이의 프로토콜, 카메라의 영상 데이터, 로봇의 외부 신호 입력의 유효성을 체크하여 검사 시스템의 초기화 및 시작을 수행한다. 이때, PLC 및 비전 Sequence Event는 1Byte로 구성되어 있으며, PLC Sequence Event의 경우 MSB는 구간정보, LSB는 차종정보와 프라이머 검사에 대한 정보를 정의하였고, 비전 Sequence Event의 경우 MSB는 공백, LSB는 프라이머 검사에 대한 Acknowledges에 대한 정보와 검사 판정(OK/NG)을 정의하였다. 상기 프로토콜기반으로 프라이머 검사를 위해 로봇 및 PLC, 비전 컨트롤러 통신 프로그램을 구현하였으며, 검사를 수행하였다.

Fig. 7.

PLC communication protocol for primer inspection system.

Fig. 8은 본 논문에서 제안한 프라이머 도포 검사 알고리즘의 상세 흐름도이며 프라이머 검출 속도와 높은 양불량의 정확성을 위해 설계하였다. 우선 2D 카메라로부터 획득된 영상에서 반지름 200으로 원형(circle)로 초기 ROI 영역을 설정한다. 이는 글라스 도포 시 직선구간 및 곡선 구간의 도포구간을 모두 포함하기 위해 설정하였다. 초기 ROI 영역에 대해 배경 노이즈 제거를 위해 3x3 평균필터 처리하고 필터링된 초기 ROI 영역에 대해 문턱치를 적용해 이진화 수행하였으며, 이진화된 영상에서 최외곽 화소를 기반으로 한 사각형으로 모델링하고, 장축과 단축의 기울기를 계산한 후 계산된 장축 및 단축 기울기 기반 최종 ROI 영역을 설정한다.

Fig. 8.

Algorithm flow chart of primer inspection system.

Fig. 9.

The photographs (a) to (l) is the results for each algorithm (1) ~ (12) in Fig. 8.

이렇게 선정된 최종ROI 영역에 대해 배경과 도포영역, 글라스 영역을 구분하기 위해 문턱치 적용해 다시 한번 이진화 수행하고, 이진화된 영상 내 끊어진 부분을 연결하기위해 모폴로지 연산(9x1 dilation과 9x1 erosion)을 수행한다. 여기서 영역 내 조명 및 프라이머 붓에 의해 끊어진 부분을 연결시키기 위하여 모폴로지 연산을 수행한다.

모폴로지 연산 후 추출된 영역들의 연결성을 조사하고 연결된 영역 중 가장 큰 영역만 선택한 후 최종적인 프라이머 도포영역으로 선정한다. 이렇게 검출된 최종 프라이머 도포 영역에 대해 폭과 면적을 구하기 위해 최외곽 화소기반 사각형으로 모델링 하고, 최종 검출된 사각형에 대해 폭과 면적을 계산하여 미리 정의(차종별 글라스 정의된 규격)된 폭과 면적과 비교하여 양/불량을 판정한다

4. 프라이머 검출 실험 환경 및 결과

기 개발된 자동차 글라스 장착용 프라이머 검출 알고리즘 검증을 위하여 실제 자동차 의장부품 생산 라인과 동일한 환경을 당사의 연구동에 구축하고, 이를 통해 성능을 검증하였으며, 실험 환경은 Fig. 10과 같다. 실험은 K社의 SUV 모델 전면 이중접합된 글라스를 이용하여 프라이머 불량 검출률과 프라이머 폭 측정 오차에 대하여 성능 평가를 수행하였다.

Fig. 10.

Experimental environment for performance verification; (a) A real primer inspection test scene, (b) scene of measuring the width of the coating primer, and (c) a vision software of primer inspection test scene.

이때 이중접합 글라스는 두 장의 글라스 사이에 접착성이 강한 합성수지 필름을 넣어 눌러 붙인 글라스로 라이네이트 글라스 또는 접합글라스라고도 한다. 이 이중접합 글라스는 내관 통성이 일반 글라스의 3.5배 정도로서, 충돌 사고로 인한 파손 시에도 날아 흩어지는 글라스 파편에 의한 피해를 막아 주고, 내부의 탑승자가 차량 밖으로 튕겨나가는 것도 방지해주므로 차량용 전면 글라스로 많이 사용한다[9].

프라이머 불량 검출률 성능 평가 시나리오는 이중 접합 글라스에 10개의 불량 도포 구간을 만들고 실제 제조라인에서의 동작방식으로 동일하게 실시간 측정을 진행한 후 불량 구간에서의 불량 판단 횟수와 실제 불량구간과의 비율로 측정하며, 프라이머 측정 오차 성능 평가는 이중 접합 글라스 도포 구간 중 10개의 서로 다른 너비(폭)를 가지도록 프라이머를 도포 후 실제 도포 된 프라이머의 폭 측정값과 비전에서 측정된 값과의 오차의 평균으로 계산한다. Fig. 11은 프라이머 불량 검출률 성능에 대한 결과를 나타내며, 제안한 알고리즘으로 프라이머를 검출했을 시10개 불량 구간에 대해 100% 검출하는 성능을 보여주고, 이는 실제 H社의 자동차 양산 조립 공정의 정량적인 목표인 100%에 만족하는 성능을 보여준다.

Fig. 11.

The results images of the primer defect detection algorithm; (a) the primer coating defect images and (b) the detected defect images by our detection algorithm.

또한 Table 2는 프라이머 측정 오차 성능에 대한 결과를 나타내며, 제안한 도포 검사 알고리즘으로 10개의 서로 다른 폭을 가진 프라이머를 검출했을 때 오차의 평균값은 -0.22626 mm로 상기 자동차 OEM의 목표를 달성하였으며, 제안한 알고리즘 및 검사 시스템은 실제 자동차 글라스 조립 공정 설비에 납품할 수 있는 성능을 가짐을 알 수 있다

Table 2.

The results of primer width measurement.

5. 결 론

본 논문에서는 기 개발된 자동차 글라스 장착용 프라이머 도포 검사 시스템에 대한 조명 개발과 더불어 프라이머 도포 부분을 검출하고 이에 대한 양불량 검사를 수행하였다. 기존 시스템에 사용되는 LED조명의 단점을 개선한 고출력 ‘ㄷ’자형 LED 경사 조명은 짧은 직선구간과 긴 직선구간 2개로 이루어져 있으며 각 구간에 배열된 한 개 이상의 고출력 LED 발광소자들의 조사각도가 동일하고 경사 조명부의 높이를 조절할 수 있는 구조이기 때문에 인젝터의 노즐 위에 설치되는 플랜지의 장애물 간섭을 피해서 노즐 중심과 도포된 프라이머를 향해 조명 빛을 집중 조사할 수 있도록 제작하였으며, 이를 이용하여 도포된 프라이머의 양불량을 검사하기 위해 2D 카메라로부터 획득된 영상에서2단계의 ROI영역을 추출하였다. 최종 ROI 영역에 대해 이진화를 통해 최종 프라이머 도포 영역을 검출하고 이 영역의 폭과 면적을 계산한 후 미리 정의된 글라스 각 구간별 폭과 면적과 비교하여 양불량을 판정하였다. 개발된 시스템의 성능평가를 위해K社의 SUV 모델 전면 이중 접합된 글라스를 이용하여 프라이머 불량 검출률과 프라이머 폭 측정 오차에 대하여 성능 평가를 수행하였으며, 제안한 알고리즘으로 10개의 임의의 불량 구간에 대해 100% 검출하는 성능을 보여주었으며, 글라스에 10개의 서로 다른 폭을 가진 프라이머의 폭을 검사했을 때 오차의 평균값은 -0.22626 mm로 자동차 OEM의 기준을 만족하는 성능이 가짐을 확인하였다.

최근 테슬라 Giga factory로 인해 자동차 의장부품 조립공정의 자동화 시장이 급격하게 성장함에 따라 유수의 세계 유명회사들이 관련 다양한 센서와 제품 등이 출시되고 있으며, 국내에서도 개발하는 업체들이 늘어가고 추세이다. 또한 기존의 설비에 딥러닝 및 AI 기술을 많이 적용하고 있다. 이에 본 논문에서도 추후 딥러닝 알고리즘을 적용하여 개발할 예정이다.

Acknowledgments

본 연구는 2020년도 중소벤처기업부의 기술개발사업 (과제번호: S2961626, 과제명: 자동차 의장 조립 스마트 팩토리 구현을 위한 유연한 글라스 장착 시스템 개발) 지원에 의한 연구임.

References

• D. Choi, S. Kim, and S. Chung, “Flexible manufacturing system for mass production of a few auto parts”, Proc. of Int. Conf. Manuf. Technol. Eng. (ICMTE), p. 97, 2016.
• https://www.hyundai.co.kr/story/CONT0000000000005515, (retrieved on Jan. 06, 2022).
• K. Um, Research using image processing applied to the automotive glass sealer on the uniformity of inspection, M. S. thesis, University of Ulsan, Ulsan, 2012.
• B. Kim, “Inspection method of primer application condition for automobile body”, Korea Patent, 10-2003-0036375, 1 Sep., 2005.
• H. Ryu, “System for primer application and application state inspection”, PCT Patent, WO 2016/195234A1, 8 Dec., 2016.
• S. Yang, “Inspection System of Spread with U typed Constant Height Lighting”, Korea Patent, 10-2021-0151653, 5 Nov., 2021.
• S. Yang, “Inspection System of Spread with U typed Slope Height Lighting”, Korea Patent, 10-2021-0151654, 5 Nov., 2021.
• S. Yang and J. Kim “Primer vision system for automotive glass mounting”, Korea Patent, 10-2022-0150181, 11 Nov., 2022.
• S. Chen, M. Zang, D. Wang, S. Yoshimura, and T. Yamada, “Numerical analysis of impact failure of automotive laminated glass: A review”, Compos. Part B: Eng., Vol. 122, pp 47-60, 2017. [https://doi.org/10.1016/j.compositesb.2017.04.007]