엘리베이터를 통한 층간 이동이 가능한 실내 자율주행 로봇용 센서 시스템

2.1 로봇 플랫폼 구성

본 연구에서 로봇의 하드웨어 및 통신 시스템은 Fig. 1과 같이 구성하였다. 로봇은 Robotis 사의 Turtlebot3 모델을 일부 변경하였으며 전원은 11.9V LiPo(lithium ion polymer) 배터리를 사용한다. 배터리는 OpenCR 1.0 보드에 전원을 인가하여 모터 및 Raspberry Pi 4를 구동한다. LDS-01(Laser Distance Sensor)로 로봇 주위 물체 정보를 수집하여 SLAM (simultaneous localization and mapping) 기술에 사용한다. 로봇은 2개의 Dynamixel XL430-W250 모터로 이동하는데, 모터에는 자기식 엔코더(magnetic encoder)와 PID(proportional-integral-differential) 제어기가 포함된다. 각 모터에 연결된 바퀴는 지름 9.4cm이며, 자유로운 방향 전환을 위해 로봇 후방에 2개의 볼 캐스터를 장착하였다. OpenCR 보드는 3축 가속도계와 자이로스코프 센서가 포함된 IMU(inertial measurement unit)가 내장되어 있다[6].

Fig. 1.

Autonomous driving robot hardware block diagram.

Fig. 2는 로봇의 소프트웨어 블록도 이다. OpenCR 보드는 모터의 엔코더 정보로부터 계산한 모터의 회전속도를 bring_up 패키지를 통해 주 제어기인 Raspberry Pi로 전달함과 동시에 모터에 PWM(pulse width modulation) 신호를 입력한다. 주 제어기인 Raspberry Pi는 각속도와 IMU로부터 얻은 자세 정보를 이용하여 로봇의 위치(odometry)를 추정하고 이를 Navigation 2 패키지 노드(node)에 전송한다. 최종적으로 Navigation 2는 사용자가 입력한 목표 위치와 odometry 정보, 지도 데이터, LDS-01의 Scan 데이터를 이용하여 목적지에 도달하기 위한 선속도와 각속도를 계산한다. 이를 다시 OpenCR 보드에 전달하여 모터에 제어 명령을 입력하게 된다[7].

Fig. 2.

ROS 2 based robot software block diagram.

전술한 구성에 따라 제작된 로봇은 Fig. 3과 같다.

Fig. 3.

Robot and Camera module sensor configuration

2.2 ROS 2 데이터 통신

ROS 2에는 연산을 수행하는 노드와 노드 사이의 데이터 전송에 사용하는 메시지(message)가 존재하며 이러한 메시지는 주행 플랫폼, 센서, 서버에서 자유롭게 데이터 통신을 가능하게 한다[8,9]. 핵심 개념의 하나인 메시지 통신에는 목적과 방식에 따라 토픽(topic), 서비스(service), 액션(action)을 사용한다. Table 1은 연구에서 자율주행 로봇에 적용한 주요 토픽과 서비스의 일부를 나타냈다[8].

Table 1.

Topics and Services used in development.

ROS 2 기반의 로봇 개발을 위해 Ubuntu 운영체제와 ROS 2 Foxy 버전을 사용하였으며 자율주행에 사용되는 지도 제작을 위해 SLAM 라이브러리인 Cartographer와 장애물 회피 및 실시간 위치추정 알고리즘인 AMCL(adaptive monte carlo localization), DWA(dynamic window approach)를 적용한 Navigation 2 패키지를 사용하였다. Fig. 4은 패키지 간의 데이터 흐름을 나타낸다.

Fig. 4.

Topic data flow between packages.

2.3 지도 제작(mapping) 및 자율주행

Cartographer 라이브러리로 매핑(mapping)을 통해 얻은 지도상의 검정 영역은 로봇이 이동 불가능한 점유 영역(occupied area) 이며 흰 영역은 로봇이 자유롭게 이동할 수 있는 자유 영역(free area)이다. 그 외의 영역은 이동이 가능하지만 충돌 가능성에 따라 명도가 달라진다.

LDS-01이 근처 장애물이나 벽을 인식하게 되면 RGB 색상의 파티클(particle)이 나타난다. 파티클 데이터를 실시간으로 취합하여 각각의 파티클이 장애물일 확률을 계산하며 그 확률이 임계치를 넘으면 해당 영역은 점유 영역이 되고 그 외의 영역은 자유 영역이 된다[7]. SLAM으로 얻은 지도를 바탕으로 Navigation 2 패키지를 이용해 Fig. 5와 같은 순서로 자율주행을 구현한다.

Fig. 5.

Movement process of robot’s goal position. (a) elevator map to board, (b) robot waits for move signal, (c) robot moves in front of elevator door, (d) robot waits in front of elevator door.

지도(global map)에서 사용자가 목적지를 지정하면 현재 위치와 지도를 통해 로봇의 이동 경로(global path)를 결정한다. 현재 위치에서 LDS-01의 스캔 데이터와 경로를 이용해 한정된 작은 구역 내에서 지역 경로(local path)를 DWA 알고리즘으로 결정하여 지역 경로를 주행할 수 있도록 로봇의 속도를 조절한다. 그 과정에서 AMCL을 이용하여 로봇의 현재 위치를 보정하며, 위의 과정을 반복함으로써 목적지에 도착할 수 있게 된다[7,10,11].

매핑과 자율주행은 로봇의 파라미터(parameter) 수치가 중요하게 작용한다. 대표적으로 로봇의 전체 규격이나 바퀴의 지름, 바퀴 간의 거리가 있다. 그 외에도 정밀한 측정을 위해 파티클의 개수나, 로봇이 장애물에 충돌하지 않는 안정적인 범위를 조절하기도 한다. 본 연구에서 사용한 파라미터의 일부와 그 내용은 Table 2와 같다.

Table 2.

Robot parameters for optimal driving.

특정 위치까지 이동하기 위해 지도상의 좌표값을 추출하여 지정하는 방식으로 목표 위치를 설정하였으며, 이를 통해 엘리베이터에 탑승하거나 탑승 전 문 앞까지 이동하는 등 원하는 위치까지 자율주행을 가능하게 하였다.

3.1 목적지 지정

로봇에게 이동할 목적지를 지정해주기 위해 모바일 어플리케이션과 통신한다. 모바일 어플리케이션은 Android 기반으로 제작하였으며 로봇과 TCP/IP 소켓 통신한다. 이러한 과정은 Fig. 6의 단계 1에 해당한다.

로봇에는 건물의 각 층 호실에 대한 좌표 데이터가 저장되어 있으며 모바일 어플리케이션은 목적지에 해당하는 호실 데이터를 전송한다. 수신받은 좌표로 이동하기 전에 로봇은 엘리베이터 탑승이 필요한지 판단한다. 엘리베이터 탑승이 필요하다면 엘리베이터 앞으로 이동하고 그렇지 않으면 로봇이 위치한 층의 목적지로 이동할 수 있다. 이 과정이 Fig. 6의 단계 2에 해당한다.

3.2 엘리베이터 탑승

로봇이 엘리베이터에 탑승해야 한다면 Fig. 7(a)와 같이 엘리베이터 문 앞을 향해 이동한 후 대기한다. 엘리베이터 호출과 층 버튼을 클릭하는 과정은 사람이 대신한다.

Fig. 7.

Robot’s elevator boarding progress. (a) wait in front of elevator door, (b) completed elevator boarding.

로봇은 대기 중 정면을 향해 초음파 센서로 로봇과 엘리베이터 문까지의 거리를 측정한다. 엘리베이터의 문의 개폐 여부를 알기 위해 거리를 측정하는 방법은 3.3에서 소개한다. 엘리베이터 문이 열리면 로봇은 Fig. 7(b)와 같이 엘리베이터의 문을 바라보고 중앙에 위치한다. 여기까지 과정은 Fig. 6의 단계 3, 5에 해당한다.

3.3 엘리베이터 문 열림 판별

3.2에서 로봇이 엘리베이터에 탑승하기 위해서는 문의 개폐 여부를 판단해야 한다. 로봇의 정지 위치로부터 닫혀있는 엘리베이터 문까지 거리는 초음파의 속도 34,000 cm/s에 왕복 시간의 절반을 곱하는 수식 1을 통해 측정하였다. 거리 측정에는 초음파 센서 HC-SR04 모델을 사용하였다.

Fig. 8은 로봇의 정지 위치로부터 엘리베이터 문 그리고 엘리베이터 내부의 벽면까지의 거리를 0.1초 간격으로 30초간 초음파 센서로부터 측정한 300개의 거리 데이터이다.

Fig. 8.

Measure distance from stop position for 30 seconds.

Table 3은 실제 거리와 측정값의 차이를 통해 오차를 계산하여 센서 데이터의 유효성을 나타내고 있다. 실제 거리 데이터는 줄자로 측정했으며 정지 위치로부터 문까지는 2.01 m, 내부 벽면까지는 3.93 m이다. 최종적으로 얻어낸 초음파 센서의 시간 간격을 통해 산출한 약 300개의 측정 데이터 평균값은 각각 2.02 m, 3.95 m이며, 상대오차는 각각 0.76%, 0.69%이고 거리 측정이 정상적으로 이루어지고 있음을 알 수 있다. 따라서 문이 열렸음을 판단하기 위한 임계 거리 범위를 250~400 cm 이하로, 문이 닫힌 경우는 0~200 cm로 설정하여 문 열림 판별을 구현하였다. 엘리베이터를 하차할 때는 로봇과 엘리베이터 문까지 실제 거리보다 측정값이 클 경우 문 열림을 판별하였다. 이와 같은 문 열림 판별은 Fig. 6의 단계 4, 7에 해당한다.

Table 3.

Errors through actual and measured distances.

3.4 현재 층 판별

층간 이동 중 로봇은 현재 위치한 층 정보를 알 수 없다. 목적지에 해당하는 층에 맞게 하차하기 위해 엘리베이터의 LCD/LED 디스플레이를 촬영하는 카메라로부터 정보를 수신받을 수 있도록 한다. Fig. 9과 같은 흐름으로 영상을 처리한다. 연구가 진행된 건물은 총 6층으로 이루어져 있으나 5층의 층 판별을 예시로 소개한다.

Fig. 9.

Image processing flow chart.

Raspberry Pi 4에 연결된 카메라 모듈로 엘리베이터의 LCD/LED 디스플레이를 Fig. 10(a)와 같이 촬영한다. 카메라 모듈을 엘리베이터의 LCD/LED 디스플레이를 향해 천장에 배치하여 획득한 영상으로부터 숫자만 ROI(Region of interest)로 지정하여 얻은 영상은 Fig. 10(b)와 같다.

Fig. 10.

Image processing process (a) numeric area set as ROI, (b) preprocessing and binarization result.

Fig. 11.

Process of sending numerical data to robot.

Fig. 10(b)의 숫자를 인식하기 위한 몇 가지 전처리 과정을 거친다. Fig. 10(b)를 grayscale로 변환 후 명암비를 증가시키기 위해 수식 2를 적용한다. 수식 2에서 avg는 입력 영상의 평균 밝기이며 α는 기울기를 결정한다. α가 0보다 크면 기울기가 1보다 큰 직선의 방정식이며, 이는 명암비를 증가시킬 수 있다. 따라서 avg를 기준으로 밝은 픽셀은 더 밝게, 어두운 픽셀은 더 어둡게 하여 명암비를 증가시킨다. 명암비가 증가한 영상에 픽셀의 임계치를 70으로 하여 70 이상인 픽셀은 255, 70 이하인 픽셀은 0으로 한 이진화 결과는 Fig. 10 (c)와 같다[12,13].

Fig. 10(c)에서 숫자를 인식하기 위해 k-NN(k-Nearest Neighbors) 알고리즘을 사용한다. k-NN 알고리즘은 가장 직관적인 머신러닝 분류 알고리즘이다. 새로운 데이터를 예측할 때, dataset에서 가장 가까운 최근접 이웃을 찾는 방식이다. OpenCV에서 제공하는 MNIST(Modified National Institude of Standards and Technology) dataset을 사용한다. 엘리베이터의 LCD/LED는 세븐 세그먼트, 도트 매트릭스 디스플레이 등 엘리베이터 제조사마다 다르다. 디스플레이의 숫자를 인식하기 위해 전처리 과정을 거친 후 숫자의 형태를 dataset을 토대로 학습하여 숫자를 분류하고 인식률을 높이는 방법을 제안한다. 이와 같은 과정은 Fig. 6의 단계 6에 해당한다[13].

3.5 층수 데이터 통신

카메라 모듈을 통해 인식된 엘리베이터 층 데이터를 로봇에게 전송하기 위해 LoRa통신을 사용한다. LoRa 통신은 사물인터넷 통신을 위해 만들어진 통신규격으로 저전력으로 초장거리 연결이 가능하다. 좋은 환경에서 최대 10마일 (16 km) 정도의 통신이 가능하다. 한국의 LoRa 주파수 대역은 920 MHz~923.3MHz이며, 비면허 주파수 대역으로 허가 없이 사용 가능하다.

로봇과 카메라 모듈 사이를 연결하는 통신 모듈은 PLNetworks 사의 PLM100모델로서, Semtech 사의 LoRa기술을 적용하여 저전력 동작 및 장거리 송수신이 가능하다[14,15].

로봇은 층수 데이터를 수신받아 엘리베이터의 현재 위치를 알 수 있다. 따라서 목적지에 해당하는 층에 도착하면 엘리베이터 문 열림 판별 과정을 거쳐 엘리베이터서 하차할 수 있다. 이후 목적지에 해당하는 층의 지도 데이터를 불러와 최종 목적지에 도달한다. 이는 Fig. 6의 단계 8, 9에 해당하며 이러한 과정을 통해 로봇의 주행은 완료된다.