자동차 글라스 조립 자동화설비를 위한 FPGA기반 실러 도포검사 비전시스템 개발

1. 서 론

1950년대에 GM은 단일 제품의 생산이 아닌 여러 제품을 공급하도록 제품의 진화를 가져왔고, 1970년대 Toyota는 간판 방식을 통해서 적재적소에 필요한 만큼의 부품을 공급하여 효율성을 극대화한 제조 방식을 도입하여 자동차 조립라인을 구성하였다. 또한 2000년대에는 Volkswagen의 시작으로 대부분의 자동차 OEM들이 모듈러 아키텍처의 개념을 도입하여 자동차 개발과 원가 측면에서의 혁신을 이루었다. 이전의 고정 모델만 생산했던 조립 라인과 달리, 현재 자동차 조립 라인은 차량의 다양성과 유연성을 갖춘 공장으로 바뀌고 있으며, 특히 자동차 의장 부품 조립 라인의 경우 많은 수의 로봇과 AI기술을 조합하여 스마트 팩토리 조립라인으로 획기적으로 변화하고 있다[1].

특히 자동차 의장부품 중 가장 난이도 높은 자동차 글라스의 경우, 프라이머 (primer)도포, 실러(sealer) 도포, 글라스 정렬(글라스 인식(옵션)), 글라스 장착 등 기본적으로4~5단계의 작업으로 이루어진다[2]. 여기서 자동차 전면 또는 후면 글라스를 차체에 장착하기 위해 도포액들이 사용되며, 이 도포액의 종류는 프라이머와 실러이다. 이때 사용되는 실러 도포의 역할은 접합부의 접합, 누수 및 외부와의 공기 차단과 같은 기밀성 유지를 위해 사용되며, 자동차 글라스의 뒷면(차체와 접착되는 부분)에 접합부를 따라 실러가 도포 되고 이를 로봇을 이용해 차량에 장착된다. 자동분사 장치를 통해 일정한 압력으로 분사되지만 도포되는 실러는 점성을 가지고 있어 도포되는 실러는 모양과 도포양이 일정하지 않다[3,4]. 도포된 양이 많거나 한쪽으로 치우친 상태에서 글라스를 장착을 하면 실러가 글라스에서 빠져나오고, 이때 자동차 실내 내장재에 묻거나 글라스 밖으로 나와 자동차 외관상 문제가 발생할 수 있으며, 반대로 도포된 양이 적으면 수밀성 저하로 많은 비가 오거나 세차 시 차량에 누수가 발생할 수 있다. 따라서 이를 해결하기 위해 기존의 글라스 장착 자동화 설비는 비전 시스템을 활용한 실시간 실러 도포의 검사를 수행하지만 실러 도포 시 글라스의 회전 구간에서 실러를 감지하지 못하고, 처리 시간이 오래 걸리는 단점이 있었다[5-7].

본 논문에서는 차체에 글라스를 장착하기 위해 적용되는 실러를 검사하기 위해 FPGA 비전 신호처리 모듈기반의 실러 검사 시스템을 개발하였다. 본 논문에서는 상기 문제를 해결하기 위해 라인 레이저 비전 센서와 FPGA 비전 신호 처리 모듈을 개발하였으며, 개발된 라인 레이저 비전 센서는 레이저 조사 각도에 따라 데이터 수집용 카메라의 해상도와 속도가 변경될 수 있도록 개발하였다. 또한, 실러 토출에 대한 간섭을 방지하기 위해 전체 시스템의 장착성을 고려하여 설계 및 제작하였고, 2D 카메라에서 획득한 실러 형상 이미지로 3D 프로파일로 변환하고 변환된 실러 프로파일 형상을 이용하여 실러의 폭과 높이를 계산하는 알고리즘을 구현하였다. 변환된 3D 프로파일 데이터는 계산 신호처리의 속도를 향상시키기 위해 Zynq-7020 FPGA Chip을 이용하여 폭, 높이, 기울기를 계산한 후 미리 정의된 실러의 각 구간별 폭, 높이와 비교하여 불량유무를 판정하게 된다. 개발된 실러 도포 검사 시스템의 성능은 실제 자동차 생산라인과 동일한 실험 환경을 구축하여 검증하였으며, 실험 결과를 통해 자동차 분야 표준의 요구사항을 만족하는 수준의 실러 도포 검사 성능을 확인하였다.

2. 실러 도포 검사 시스템

자동차 의장 부품인 글라스를 차체에 장착하는 시스템에서 가장 중요한 공정 중 하나인 실러 도포 공정의 경우 차체에 글라스를 장착하기 위해 밀봉, 방수 등의 접착을 촉진시키는 특징을 갖는 액상 및 페이스트상의 물질을 실러라 하고 전용 노즐을 통해 자동차 글라스 상에 도포되며, 도포된 상태의 폭, 높이를 측정하여 양, 불량을 실시간으로 검사하기 위한 시스템을 실러 도포 검사 시스템이라 한다. 이때 글라스에 도포되는 상태에 따라 전체 차량의 조립 품질이 결정되는 경우가 많으며, 이러한 라인레이저 비전센서기반의 실러 도포 검사 시스템은 조립에 대한 신뢰성을 높이게 된다.

본 논문은 실러 도포 검사를 위한 전체적인 시스템의 구조, 설계, 통신, 데모환경, 신호의 흐름, 센서, 판단 알고리즘 개발을 포함한다. Fig. 1은 본 논문에서 구축한 라인 레이저 비전센서 기반 실러 도포 검사 시스템을 나타내었으며, 실러 검사용 로봇을 기반으로 글라스 그리퍼를 이용해 차량용 글라스를 고정한 후, 실러 ejection machine을 통하여 로봇의 움직임에 따라 실러를 도포하게 된다. 실러 노즐을 통해 도포된 실러는 본 논문에서 개발한 라인 레이저 비전센서에서 측정한 프로파일데이터를 기반으로 양∙불량 상태를 판단한다.

Fig. 1.

Cell structure of sealer application inspection system (a) blue-print of system, (b) real system.

Fig. 2에서는 실제 자동차 생산 조립현장에서 많이 사용되는 Kawasaki robot, Mitsubishi 社 MELSEC PLC, 비전 컨트롤러, 도포된 실러의 검사를 위해 자체 제작된 라인 레이저 비전 센서, 실러의 3D 프로파일 변환 및 실러 형상 을 계산하기 위한 FPGA기반 비전 신호처리 모듈(FPGA vision module)로 구성된다. 본 논문에서는 실러 도포 검사의 자동화를 위해 비전 컨트롤러와 로봇, PLC간 CC-Link 선로를 직접 포설하여 상호간 Ethernet 통신을 통해 데이터를 주고받을 수 있게 전용 케이블로 구성하였다. 로봇을 이용한 검사 시스템은 로봇의 움직임에 맞춰 PLC와 Vision PC간 신호 흐름을 제어할 수 있어야 하며, 이때의 통신 시퀀스는 아래 Fig. 3과 같은 통신 흐름의 순서로 구성된다. 실러 도포 검사 시스템의 최종 단계에서는 실러 도포에 대한 양∙불량 유무를 판별할 수 있으며, 불량 구간에 대한 검사는 OK와 NG로 표현된다.

Fig. 2.

Composition and communication system of sealer application inspection system.

Fig. 3.

Signal flow chart of sealer application inspection system.

2.1 라인 레이저 카메라 비전 센서 개발

본 논문에서 사용한 실러 도포 검사 시스템은 도포된 실러의 양∙불량 유무를 판정하기 위해 자체적으로 제작된 라인 레이저 비전 센서를 사용하였으며, 센서가 획득한 실러 데이터 비전 시스템의 알고리즘 신뢰성에 중요한 요소로 작용하게 된다.

기존 시스템은 실러 도포 노즐에 실러 잔유물이 있거나 도포가 미흡하여도 도포가 된 것으로 간주하는 경우를 배제하기 위해 노즐과 일정한 거리로 레이저 빛을 투사하게 된다. 하지만 일정 거리에서 투사된 레이저는 모서리 곡선 구간을 회전할 때 검사 구간을 벗어나게 되어 불확실한 검사가 이루어지게 된다. 이러한 문제는 회전 구간 축과 레이저간 거리 및 레이저의 FOV 수정을 통해 일부 보완이 가능하며, 보완 사항이 적용된 라인 레이저 비전 센서를 직접 개발하여 실러 비전 시스템에 적용하였다.

Table 1에서는 본 논문에서 개발한 라인 레이저 비전 센서에 대한 주요 사양을 나타내었으며, Fig. 4는 라인 레이저비전 센서의 구조와 3D 디자인 설계 및 제작된 실제 센서를 보여준다.

Table 1.

Our developed line laser camera sensor specifications.

Fig. 4.

Our developed line laser vision sensor (a) blueprint, (b) 3D design, and (c) real system.

2.2 FPGA 비전 신호처리 모듈 개발

자동차 글라스 장착 시스템은 각 조립 시스템에 따라 공정 시 간이 존재하며, 실러 도포 검사 시스템도 일정 공정 시간내에 실러의 도포 및 검사가 진행되어야 한다. 실제 실러 도포 검사 시스템은 차량 글라스에 실러가 도포되는 순간 실시간으로 검사가 이루어지며 도포된 실러의 불량 유무를 판단하기 위한 실러 형상 계산 및 판단 알고리즘의 속도는 양산 시스템의 주요 사양이라 할 수 있다. 기존 시스템에서는 라인 레이저 비전 센서에서 획득한 데이터가 Vision PC의 알고리즘을 통해 실러의 검출, 프로파일 변환, 판단 등으로 이루어진다.

상기 자동차 라인에서의 공정 시간을 단축하기 위해 본 논문에서는 자체 제작한 라인 레이저 비전 센서에서 획득한 실러 프로파일 데이터를 보다 빠르게 처리하기 위해 프로파일 변환 및 실러 형상 계산을 위해 FPGA 비전 신호처리 모듈을 개발하여 적용하였다.

개발된 FPGA 비전 신호처리 모듈은 Fig. 5에서 보는 바와 같이 Xilinx ZYNQ-7020 Chip을 사용하였으며, 다양한 인터페이스 확장을 위해 RJ-45 Ethernet port 2개와 SD 카드를 삽입할 수 있는 SD 슬롯 1개, 디버깅을 위한 디버그 port 1개로 구성된다. 또한 DC 12V의 파워 소켓과 전원 ON/OFF를 위한 스위치가 장착되어 있으며, ZYNQ 신호처리 디버깅을 위한 14핀은 JTAG핀 소켓을 장착하여 제작되었다. 라인레이저 비전 센서에서 획득한 실러 데이터는 Ethernet 통신을 통해 FPGA 비전 신호처리 모듈로 전송이 되며 전송된 데이터는 FPGA Chip에서 로직으로 계산 후, 다시 Ethernet통신을 통해 Vision PC로 전달되어 검출 결과를 모니터로 확인한다.

Fig. 5.

FPGA vision hardware module (a)board design (b) hardware signal black diagram (c) real system.

3. 실러 검출 알고리즘

구축된 시스템은 Robot, PLC, Vision PC, 실러 ejection, 차량용 글라스 등과 자체 개발한 라인레이저 비전 센서, FPGA 비전 신호처리 모듈로 구성되며, 시스템에서 획득한 데이터를 이용하여 실러 도포 검사 알고리즘을 구현하게 된다. 실러의 검출 알고리즘에 대한 전체 개략적 구조도는 Fig. 6에서 확인할 수 있다. 실러 검출 알고리즘은 Vision PC에서 구현하였으며, 하드웨어는 Intel i7 10700, 32GB RAM, Nvidia RTX 3080을 가진 산업용 PC 사양을 따른다. 소프트웨어는 Visual studio 2019와 MVTEC社 Halcon 라이브러리 기반으로 검출 및 판단 소프트웨어를 구현하여 성능을 검증하였다. 실러 도포 비전 시스템의 알고리즘은 PLC와 Robot 간, Robot과 Vision PC 간, PLC와 Vision PC 간, 라인 레이저 비전 센서와 FPGA 비전 신호처리 모듈 간, 라인 레이저 비전 센서와 Vision PC, FPGA 비전 신호처리 모듈과 Vision PC간 모두 통신의 제어가 가능 하도록 구현하게 되며, Ethernet 통신을 기반으로 데이터를 송수신 할 수 있도록 적용하였다.

Fig. 6.

Schematic diagram of sealer inspection algorithm.

모든 통신은 Fig. 7의 프로토콜을 기반으로 구현하였으며, 구현된 통신 프로토콜은 자동화 공정 시스템의 요구사항을 만족하며 현장 적용이 가능하도록 개발하였다.

Fig. 7.

PLC communication protocol for sealer inspection system.

3.1 프로파일 변환 및 실러 형상 계산 알고리즘 개발

실러 형상 데이터는 FPGA 비전 신호처리 모듈을 통해 데이터의 프로파일 변환 및 폭, 높이, 기울기에 대한 실러 형상에 대한 계산 기능을 수행하게 된다. Fig. 8은 좌표 추출 정의에 따라 라인 레이저 비전 센서에서 획득한2D 영상을 실 좌표계(world coordinates)에서 투영되는 각 좌표계와 정합하여 2D영상 내 실러 ROI 좌표 영역에 대한 특징점 추출한다. 2D 영상 데이터로부터 추출된 특징점 좌표는 Fig. 9 와 같이 실러형상 계산 알고리즘을 통해 실러 검출에 필요한 데이터를 획득하게 된다. 라인 레이저 비전 센서에서 획득한 x축 좌표값은 FPGA비전 신호처리 모듈의 DMA를 통해 최대값 꼭지점(peak값)으로부터 기울기를 계산하면서 최외곽으로 이동하면서 기울기의 최대값을 계산한다. 이전의 기울기가 최대값의 절반이 되면 그 중심을 꼭지점으로 지정하고, 지정된 꼭지점은 인덱스 값을 통해 좌, 우측 꼭지점 값을 찾아 꼭지점의 좌표 차이를 계산하여 실러 형상의 폭과 높이값을 산출하여 검출할 실러의 형상값으로 정의한다.

Fig. 8.

Profile extraction concept of sealer inspection system.

Fig. 9.

Sealer profile conversion : (a) algorithm diagram and (b) calculation algorithm.

4. 실험 환경 및 결과

자동차 글라스 장착용 실러 검사를 위한 라인레이저와 FPGA 기반 지능형 센서를 개발하였으며, 이를 활용한 검사 성능을 검증하기 위해 실제 자동차 의장부품 생산 라인과 동일한 환경을 당사의 연구동에 구축하고, 이를 통해 성능을 검증하였고, 실험 환경은 Fig. 10과 같다.

Fig. 10.

Experimental environment for performance verification; (a) A real sealer inspection test scene, (b) the automotive front glass for measuring the width and the height of the coating sealer, and (c) our developed sensor for sealer inspection test.

실험은 K社의 실제 의장라인에 적용되는 사양의 실러의 폭(8 mm)과 높이(12 mm)를 정밀하게 모사한 테스트 지그에서 개발된 센서의 성능을 평가한 후 실제 이중 접합된 글라스를 이용하여 실러 폭과 이에 대하여 성능 평가를 수행하였다.

실러 검사 성능 평가 시나리오는 실제 실러 사양으로 정밀하게 제작한 테스트 지그에 5개의 구간을 설정하고 개발한 센서의 측정값을 평가하였으며, 또한 실제 실러 도포 측정을 위해 이중 접합 글라스에 5개의 서로 다른 높이와 폭을 가지도록 실러를 도포 후 실제 도포 된 실러의 폭과 높이 측정값과 비전에서 측정된 값과의 오차의 평균으로 계산한다.

Fig. 11은 실제 실러 사양으로 정밀하게 제작한 테스트 지그의 5개 구간에 대한 테스트하는 영상을 보여준다. Table 2은 Fig. 11에서와 같이 테스트 지그를 활용한 측정결과를 보여주며, 개발된 센서의 측정 오차 성능에 대한 결과를 나타내며, 실러 폭과 높이의 평균 오차 값은 폭은 -0.4634 mm, 높이는 0.4862 m로 측정되었으며, 실제 환경에서 도포된 실러에서 측정된 오차 값은 Table 3에서와 같이 폭은 0.8646 mm, 높이는 -0.4594 mm로 상기 자동차 OEM의 목표를 달성하였으며, 제안한 알고리즘 및 검사 시스템은 실제 자동차 글라스 조립 자동화 설비에 납품할 수 있는 성능을 가짐을 알 수 있다

Table 2.

The results of height and width measurement for test jig (width: 8mm, height: 12mm).(unit : mm)

Table 3.

The results of height and width measurement for real sealing of automotive glass.(unit : mm)

5. 결 론

기존의 자동차 조립라인에 설치된 글라스 장착 자동화 설비에는 2D, 라인 레이저, 적외선 센서를 이용한 비전 시스템으로 실러 도포의 검사를 수행하였지만, 여전히 실러 도포 시 글라스의 회전 구간에서 실러를 감지하지 못하고, 처리 시간이 오래 걸리는 단점이 있었다.

이를 해결하기 위해 본 논문에서는 FPGA 비전 신호처리기반의 실러 도포 검사 시스템을 개발하였으며, 이를 위해 라인 레이저 비전 센서와 FPGA 비전 신호 처리 모듈을 또한 개발하였다. 실러 도포 검사 시스템은 장착성을 고려하여 설계 및 제작하였고, 2D 카메라에서 획득한 실러 형상 이미지로 3D 프로파일로 변환하고 변환된 실러 프로파일 형상을 이용하여 실러의 폭과 높이를 계산하는 알고리즘을 구현하였다. 개발된 실러 도포 검사 시스템의 성능은 실제 자동차 생산라인과 동일한 실험환경을 구축하여 검증하였으며, 실험 결과, 실러 폭과 높이의 평균 오차 값은 폭은 -0.4634 mm, 높이는 0.4862 m로 측정되었으며, 실제 환경에서 도포된 실러에서 측정된 오차 값은 폭은 0.8646 mm, 높이는 -0.4594 mm로 본 논문에서 제안한 알고리즘 및 검사 시스템은 실제 자동차 글라스 조립 라인의 표준 요구사항을 만족하는 수준의 실러 도포 검사 성능을 확인하였다.

실제 자동차 의장부품 조립 자동화 설비의 경우 세계 유수의 자동화 설비관련 다양한 센서와 제품 등이 출시되고 있으며, 국내에서도 개발하는 업체들이 늘어가고 추세이다.

또한 기존의 설비에 딥러닝 및 AI 기술을 많이 적용하고 있다. 이에 본 논문에서도 추후 실러 도포 검사용 딥러닝 알고리즘과 자동차 현장 라인에서 요구하는 3D 디스플레이를 적용하여 개발할 예정이다.

Acknowledgments

본 연구는 2020년도 중소벤처기업부의 기술개발사업 (과제번호: S2961626, 과제명: 자동차 의장 조립 스마트 팩토리 구현을 위한 유연한 글라스 장착 시스템 개발) 지원에 의한 연구임.

REFERENCES

• https://www.hyundai.co.kr/story/CONT0000000000005515, (retrieved on Jan. 06, 2022).
• J. Kim, S. Yang, and M. Kim, “Primer coating inspection system development for automotive windshield assembly automation facilities”, J. Sens. Sci. Technol., Vol. 32, No. 2, pp 124-130, 2023. [https://doi.org/10.46670/JSST.2023.32.2.124]
• H. Gwak and J. Kim, “Device and method for inspecting sealer application condition using vision system”, Korea Patent 10-1188352, 27 Sep., 2012.
• H. Gwak, “System and method for inspecting sealer application condition”, Korea Patent 10-1640425, 12 Jul., 2016.
• K. Um, “Research using image processing applied to the automotive glass sealer on the uniformity of inspection”, M. S. thesis, University of Ulsan, Ulsan, KR, 2012.
• H. Y. Kim, J. S. Park, Y. H. Park, and J. S. Cho, “Car sealer monitoring system using ICT technology”, J. Inf. Technol. Services, Vol. 17, No. 3, pp 53-61, 2018.
• Y. Yin, K. Wu, L. Lu, L. Song, Z. Zhong, J. Xi, and Z. Yang, “High dynamic range 3D laser scanning with the single-shot raw image of a color camera”, Opt. Express, Vol. 29, No. 26, pp. 43626-43641, 2021. [https://doi.org/10.1364/OE.444806]