안드로이드 환경에서의 적외선 영상 기반 불법 촬영 카메라 탐지 센서 모듈 개발
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(https://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Abstract
Crimes related to illegal cameras are steadily increasing and causing social problems. Owing to the development of camera technology, the miniaturization and high performance of illegal cameras have caused anxiety among many people. This study is for detecting hidden cameras effectively such that they could not be easily detected by human eyes. An image sensor-based module with 940 nm wavelength infrared detection technology was developed, and an image processing algorithm was developed to selectively detect illegal cameras. Based on the Android smartphone environment, image processing technology was applied to an image acquired from an infrared camera, and a detection sensor module that is less sensitive to ambient brightness noise was studied. Experiments and optimization studies were conducted according to the Gaussian blur size, adaptive threshold size, and detection distance. The performance of the infrared image-based illegal camera detection sensor module was excellent. This is expected to contribute to the prevention of crimes related to illegal cameras.
Keywords:
Infrared sensors, Camera Sensor, Image Processing, Illegal Camera, Android1. 서 론
최근 들어 사회적으로 범죄를 막기 위한 많은 방법이 나타나고 있다. 하지만 요즘 사회적 이슈인 불법 촬영 관련 범죄들을 예방하기 위한 적절한 방법은 부족하다. 불법 촬영 범죄는 ‘성폭력범죄의 처벌 등에 관한 특례법’이나 ‘정보통신망 이용촉진 및 정보 보호 등에 관한 법률’에 의거하여 처벌을 받을 수 있음에도 불구하고 근절되지 않고 지속적으로 증가하고 있는 현실이다. 불법 촬영 범죄를 예방하기 위해서는 탐지기 기술 개발이 더욱 발전하고 다양해질 필요가 있으며 이러한 기술의 발전을 통해 불법 촬영 범죄의 근절 및 예방 효과가 클 것으로 기대된다.
경찰청 범죄통계에 따르면 카메라 등 이용 촬영범죄의 발생건수는 2011년 1,535건에서 2020년 4,881건으로 약 3배 이상 증가하였고, 2020. 5. 19. 신설된 촬영물 등을 이용한 협박/강요 범죄 발생건수는 120건으로 나타났다. 불법 촬영영상은 컴퓨터 등의 전자기기를 통해 유포되어 온라인 상으로 빠르게 배포되며, 온라인상으로 배포된 불법 촬영물은 완전히 삭제하기 어려워 불법 촬영 피해자들은 광범위하고 영구적인 피해를 입게 된다. 2019년 서울 여성 3,892명을 대상으로 실시한 범죄 별 불안도 설문조사 결과에서도 불법 촬영 범죄에 느끼는 불안감이 성폭행/추행 범죄보다 높게 나타났다. 이렇듯 불법 촬영 범죄의 특성으로 인해 불법 촬영에 대한 불안감은 갈수록 증대되고 있다[1].
불법 촬영 카메라 탐지 센서 기술은 적외선 방식, 전파 탐지 방식, 반도체 방식 등이 있다. 최근 일반인 사용자를 대상으로 한 적외선 방식의 탐지기가 개발되어 사용되고 있으나 기술적인 개선 연구가 많이 필요한 상황이다. 일반인이 사용하기 쉽고 불법 촬영 카메라 탐지가 용이한 센서 기술 개발이 절실히 요구된다. 적외선 방식의 탐지 센서 기술은 불법 촬영 은닉 카메라에서 반사되는 빛을 측정하여 검출하는 방식으로 카메라의 소형화 기술로 인해 검출이 더욱 어려워지고 있다. 전파 기반의 탐지 기술은 불법 촬영 카메라가 특정 주파수에서 작동한다는 것을 활용해 특정 주파수를 분석해 불법 촬영 카메라를 탐지한다[2]. 또 다른 전파 기반의 탐지 기술로는 불법 촬영 카메라가 비디오를 전송할 시 발생되는 주파수를 분석해 불법 촬영 카메라를 탐지한다[3]. 하지만 이러한 전파 탐지 기반의 기술들은 전파를 탐지하기 위한 별도의 고가의 장비가 필요하다는 단점이 있다. 최근에는 불법 촬영 카메라를 검출하기 위해 조명을 주기적으로 조절하여 입력 영상의 패킷의 정보를 통해 불법 촬영 카메라를 검출하는 연구가 진행되었다[4].
본 논문에서는 기존에 육안으로 검출하던 방식이 아닌 안드로이드 앱 기반의 이미지 분석 기술을 적용하여 자동 검출하는 방식을 적용한 불법 촬영 카메라 검출 센서 모듈에 대한 연구를 수행하였다. 본 논문에서는 적외선 카메라로부터 입력 받는 영상을 토대로 한 영상처리 알고리즘 개발[5-8]에 초점을 두었으며 개발한 알고리즘을 안드로이드 애플리케이션 환경에 적용함으로써 상황에 따라 설정 값을 유동적으로 조절할 수 있게 하여 불법 촬영 카메라 검출에 용이하도록 구현하였다. 안드로이드 앱 기반 스마트폰에서 실시간 동영상 기반 검출이 가능한 영상처리 알고리즘의 최적화 연구를 수행하였다. 최적화 연구를 통해 개발된 영상처리 알고리즘과 센서 모듈이 불법 촬영 카메라 검출에 유용하게 적용될 수 있음을 확인하였다. 불법 촬영 카메라 탐지 센서 기술은 산업 안전, 생활 안전, 기업의 기술유출 방지를 위한 보안 분야 및 스마트 팩토리 분야에서 기기의 성능 모니터링 등의 응용 센서 기술로 지속적으로 확대될 것으로 기대된다.
2. 연구 방법
2.1 불법 촬영 카메라 탐지 센서 모듈 구성과 영상처리 알고리즘 최적화 실험 방법
불법 촬영 카메라 탐지 센서 모듈은 적외선 LED 모듈과 영상처리 알고리즘 분석을 위한 카메라 모듈로 구성된다. LED 모듈과 카메라 모듈을 3D 프린팅 구조물에 장착하여 영상처리 기반 탐지기 센서 모듈을 구성하였다. 탐지기 센서 모듈에 적용된 각 구성품의 상세 사양은 다음의 Table 1과 같다.
The specification of image processing sensor module.
불법 촬영 카메라 탐지 센서 모듈의 영상처리 알고리즘 분석 및 최적화를 위한 실험 방법과 환경 구성은 다음의 Table 2와 같다.
The experimental configuration of default settings and variable parameters.
본 논문에서 측정을 위해 제작된 탐지기 센서 모듈 샘플과 안드로이드 스마트폰에서 영상을 획득한 결과 및 영상처리 알고리즘을 적용한 분석 결과 예시는 하기의 Fig. 1과 같다.
Examples of (a) an illegal camera detection sensor module, (b) an image obtained from android smartphone, (c) and (d) analysis results.
2.2 불법 촬영 카메라 탐지를 위한 영상처리 알고리즘: 재현율 최대화 방법
본 논문에서는 적외선 카메라로 촬영한 이미지에서 불법 촬영 카메라의 렌즈 부분을 검출하는 두 가지 알고리즘을 제안한다. 첫 번째로 제안하는 검출 알고리즘은 먼저 전처리 과정인 가우시안 필터링(Gaussian filtering)을 통해 이미지의 노이즈를 제거한다. 그 후 이미지에 Threshold를 적용한다. 불법 촬영 카메라의 렌즈 부분의 크기는 영상에서 매우 작은 크기를 가진다. 이에 전체 영상을 하나의 임계 값을 통해 이진화 하는 전역 임계화(global threshold)를 적용하면 불법 촬영 카메라의 렌즈 부분의 검출이 잘되지 않는다. 불법 촬영 카메라의 렌즈 부분을 검출하기 위해 임계 값을 이미지 구역마다 적용하는 adaptive threshold를 적용한다.
첫 번째 제안 알고리즘은 adaptive threshold를 적용 시 파라미터들을 조절해 불법 촬영 카메라 렌즈 부분을 최대한 검출한다. 즉 카메라 렌즈가 아닌 주변의 빛에 의해 반사된 물체들을 걸러내지 못하더라도 검출해야 할 불법 촬영 카메라 렌즈 부분의 영역을 최대한 검출할 수 있도록 한다. 첫 번째 제안 알고리즘은 생성된 많은 후보군 들 중 카메라 렌즈가 아닌 주변의 빛에 의해 반사된 물체들을 하나씩 후처리 과정을 통해 카메라 렌즈 후보군에서 제거한다. Gaussian filtering과 adaptive threshold를 통해 생성된 이미지의 예시는 하기의 Fig. 2와 같다.
Image preprocessing using Gaussian blur and adaptive threshold, (a) Gaussian filtering on first sample, (b) adaptive thresholding on the Fig. 2(a), (c) Gaussian filtering on second sample, (d) adaptive thresholding on the Fig. 2(c)
생성된 이미지에 카메라 렌즈가 아닌 주변 빛에 의해 생성된 주변 노이즈들을 카메라 렌즈로 방지하기 위해 미세한 노이즈들을 제거하기 위해 모폴로지 연산을 적용한다. opening 연산을 적용하여 erosion 연산을 먼저 적용해 미세한 노이즈들을 제거한 후 dilation 연산을 통해 카메라 렌즈 부분의 크기를 보존한다. opening 연산을 통해 생성된 이미지의 예시는 하기의 Fig. 3과 같다.
Morphology operation for noise removal, (a) Result of morphological opening operation on the Fig. 2(b), (b) Result of morphological opening operation on the Fig. 2(d)
카메라 렌즈 부분을 검출하기 위해 모폴로지 연산을 통해 노이즈와 작은 크기의 영역을 제거하여 단순화시킨 이미지에서 윤곽선을 검출하고 이들 사이의 계층 구조를 추출한다. 검출된 윤곽선을 통해 검출된 후보군들의 bounding box를 검출한다. 후 처리 과정으로 bounding box의 크기와 종횡비를 통해 카메라 렌즈 부분이 아닌 후보군을 제거한다. 후처리 과정으로 제거가 될 후보군의 예시는 하기의 Fig. 4와 같다.
Results of post image processing, (a) Examples of candidates to be removed from background image, (b) Examples of candidates to be removed from background image
아직 제거되지 않은 후보군들을 제거하기 위해 검출했던 계층 구조를 활용한다. 계층 구조란 이미지에 존재하는 여러 가지 윤곽선들의 상관관계를 의미한다. 윤곽선들의 상관관계를 활용해 parent, child 등의 정보를 파악한다. 이미지에서 윤곽선들은 독립적으로 존재할 수 있고 윤곽선 내부에 윤곽선이 존재할 수도 있다. 동일한 수준에 윤곽선이 존재할 경우 두 윤곽선은 같은 계층에 존재한다. 윤곽선 내부에 윤곽선이 존재하는 경우 외부 윤곽선을 부모 계층, 내부 윤곽선을 자식 계층이라 한다. 계층 구조의 예시는 하기의 Fig. 5와 같다.
Example of the hierarchical structure
실험을 통해 계층 구조를 활용해야 했던 경우도 있고 계층 구조를 활용하지 않아도 되는 경우도 존재했다. 계층 구조를 활용하지 않아도 되는 경우는 위의 방식들로 제거했을 때 남아있는 후보군을 통해 검출이 가능했다. 반면, 계층 구조를 갖고 있는 배경 이미지를 포함한 불법 촬영 카메라를 영상 처리할 경우 계층 구조 활용 영상 처리 기법을 통해 검출이 가능하였다. 계층 구조가 존재하는 경우에는 검출했던 윤곽선 영역의 원본 이미지의 픽셀 값들을 활용한다. 원본 이미지의 픽셀 값들의 평균을 활용해 특정한 값의 범위 안에 들어올 경우 최종 불법 촬영 카메라 렌즈로 분류한다. 계층 구조가 필요할 경우의 카메라 렌즈 검출 방식과 계층 구조가 필요하지 않는 경우의 카메라 렌즈 검출 방식을 통해 검출된 불법 촬영 카메라 렌즈를 화면상에 다른 방식으로 표현한다. 표현된 방식의 예시는 하기의 Fig. 6과 같다.
Detection results in hierarchical and non-hierarchical structures, (a) Detection result of illegal camera in hierarchical structure (b) Result of detecting illegal camera in non-hierarchical structure
불법 촬영 카메라 검출을 위한 첫 번째 제안 알고리즘의 플로우 차트는 하기의 Fig. 7과 같다.
Flow chart of the first proposed algorithm
2.3 불법 촬영 카메라 탐지를 위한 영상처리 알고리즘: 정확도 최대화 방법
두 번째로 제안하는 불법 촬영 카메라 검출 알고리즘은 전 처리 과정의 adaptive threshold 연산에서 첫 번째 제안 알고리즘과 반대의 방식이다. 첫 번째 제안 알고리즘의 많은 후보군 생성 및 제거와 반대로 카메라 렌즈가 아닌 후보군을 최대한 적게 생성한다. 즉 전 처리 과정에서 adaptive threshold를 통해 불법 촬영 카메라 렌즈 후보군이 되기 위한 기준을 높여 실제 카메라 렌즈 부분일 경우에만 후보군에 포함된다. 두 번째 제안 알고리즘도 전 처리 과정에서 Gaussian filtering를 통해 이미지의 노이즈를 제거하고 adaptive threshold를 적용한다. 첫 번째 알고리즘과 다른 파라미터로 위 연산을 적용한 이미지 예시는 하기의 Fig. 8과 같다.
Image preprocessing using Gaussian blur and adaptive threshold, (a) Gaussian filtering on sample 1, (b) adaptive thresholding on the Fig. 8(a), (c) gaussian filtering on sample 3, (d) adaptive thresholding on the Fig. 8(c)
위의 연산을 통해 얻어진 이미지에 카메라 렌즈 영역의 크기를 확장하기 위해 모폴로지 연산을 적용한다. 첫 번째 알고리즘과 동일하게 opening 연산을 수행한다. Opening 연산을 통해 생성된 이미지의 예시는 하기의 Fig. 9와 같다.
Morphology operation for noise removal, (a) Result of morphological opening operation on the Fig.8(b), (b) Result of morphological opening operation on the Fig.8(d)
opening 연산 처리된 이미지에 렌즈 부분을 검출하기 위해 첫 번째 제안 알고리즘과 마찬가지로 윤곽선과 계층 구조를 검출한다. 검출된 윤곽선을 통해 검출된 후보군들의 bounding box를 검출한다. bounding box 정보를 활용해 크기와 종횡비를 통해 최종 불법 촬영 카메라 렌즈를 검출한다. 검출된 렌즈의 예시는 하기의 Fig. 10과 같다.
Detection results, (a) Result of detecting illegal camera on sample #1 (b) Result of detecting illegal camera on sample #3
불법 촬영 카메라 검출을 위한 두 번째 제안 알고리즘의 플로우 차트는 하기의 Fig. 11과 같다.
Flow chart of the second proposed algorithm
3. 결과 및 고찰
3.1 최적화를 위한 실험데이터 분석
불법 촬영 카메라 탐지 센서 모듈의 영상처리 최적화를 위해 입력으로 들어온 적외선 영상에 이미지 전처리를 적용하는 실험을 진행하였다. 실험을 위한 실험 장치는 한쪽에는 불법 촬영 탐지기를 설치한 후 장치 밑에 눈금으로 표시된 거리를 기준으로 이동하며 반대쪽에 설치된 카메라 렌즈를 검출한다. 실험 장치의 예시는 하기의 Fig. 12와 같다.
device for hidden camera experiment
불법 촬영 카메라와의 촬영 거리에 따라 LED 모듈에 의해 반사되어 들어온 카메라 렌즈 부분의 영역이 이미지 전처리 시에 어느 정도의 크기인지를 분석하였다. 분석된 내용을 이해하기 위한 예시는 하기의 Fig. 13과 같다. Fig. 13에는 측정 거리와 adaptive threshold연산을 수행할 때의 파라미터(block size, C)에 따라 측정된 카메라 렌즈의 크기가 표현 되어있다. 또한 측정 거리에서의 실제 카메라 렌즈 영역의 크기도 포함되어 있다.
An example of hidden camera detection result at specific distance
이미지 전처리 시에 adaptive thresholding 방법을 사용하였다. adaptive thresholding 방법은 하나의 임계 값을 이미지 전반에 걸쳐 적용하는 전역 임계화(global threshold)와 달리 이미지의 서로 다른 작은 영역에 적용되는 임계 값을 계산하고 이미지에 적용한다. 본 실험에서는 이미지의 작은 영역에서의 임계 값을 계산하기 위해 이미지의 작은 영역의 면적(block size)과 보정 상수(C)를 조절하여 불법 촬영 카메라의 렌즈 부분의 영역 크기 변화를 분석하였다. 분석 결과는 하기의 Fig. 14와 같다.
hidden camera detection area according to block size and C value
0.3 m와 0.4 m에서는 adaptive threshold 과정의 파라미터에 크게 영향을 받지 않고 불법 촬영 카메라 영역의 크기를 실제 렌즈 영역과 비슷하게 검출한다. 0.5 m 거리에서는 파라미터에 따라 카메라 렌즈 영역을 검출하지만 영역의 크기는 실제보다 작게 검출하는 경우도 발생한다. 0.6 m에서는 block size에 따라 불법 촬영 카메라 렌즈를 검출하지 못하는 경우도 발생한다. 실험 결과 block size가 클수록 불법 촬영 카메라 렌즈의 영역을 크게 인식한다. 실험을 통해 첫 번째 제안 알고리즘은 block size를 27~35 사이, C 값을 -20에서 -25 로 지정하는 것이 가장 좋은 성능을 보였다. 두 번째 제안 알고리즘은 block size를 11~15, C 값을 -20에서 -25로 지정하는 것이 가장 좋은 성능을 보였다.
3.2 제안된 두 알고리즘 비교
첫 번째 제안된 알고리즘은 adaptive threshold 연산 시 block size를 크게 설정하여 진행한다. block size를 크게 하여 진행하면 불법 촬영 카메라 렌즈 부분의 영역이 크게 나올 수 있는 대신 주변의 불법 촬영 카메라가 아닌 다른 후보군들도 여러 개 생성될 수 있다. 이러한 경우 후보군을 하나씩 제거하는 알고리즘을 통해 불법 촬영 카메라를 검출한다. 첫 번째 제안된 알고리즘은 비록 불법 촬영 카메라 렌즈가 아닌 다른 주변 물체를 카메라 렌즈로 검출할 수도 있지만 실험 결과 더 먼 거리에서 측정할 경우에도 카메라 렌즈를 검출할 수 있다. 두 번째 제안된 알고리즘은 adaptive threshold 연산 시 block size를 작게 설정하여 진행한다. block size를 작게 설정하면 카메라 렌즈처럼 높은 강도의 빛을 반사 하여야만 검출된다. 두 번째 제안된 알고리즘의 장점은 카메라 렌즈가 검출되었을 경우 정확도가 높다. 하지만 거리가 멀어질 경우 카메라 렌즈를 검출 성능이 낮아진다. 두 알고리즘의 특징은 하기 Fig. 15와 같다.
(a), (b) candidates of hidden camera lens detected by the first algorithm, (c) detection result by the second algorithm, (d) detection result (no detection) by the second algorithm
4. 결 론
본 논문에서는 적외선 카메라 촬영 이미지에서 두 가지 방법의 불법 촬영 카메라 검출 알고리즘을 제시하였다. 제안된 알고리즘들은 적외선 카메라를 활용하기 때문에 불법 촬영 카메라 검출 시 조명의 제약으로부터 자유롭다. 또한 스마트폰 애플리케이션에서 딜레이 없이 활용 가능한 연산들을 활용하여 불법 촬영 카메라 검출을 제안하였다. 제안된 알고리즘들을 더 발전시켜 애플리케이션에 탑재해 배포한다면 불법 촬영 카메라 범죄를 사전에 예방하여 불법 촬영 카메라 관련 범죄율을 낮출 수 있을 것으로 기대된다.
Acknowledgments
This research was supported by a grant (2019-MOIS41-001) of Citizen-customized Life Safety Technology Development Program funded byMinistry of Interior and Safety (MOIS, Korea).
REFERENCES
-
W. Kang and J. Park, "A study on the eradication of voyeurism crimes in the era of autonomous police", Korean Police Studies Review, Vol. 20, No. 4, pp. 3-22, 2021.
[https://doi.org/10.38084/2021.20.4.1]
-
S. K, R. Subhashini, S. Gowri, and J. S. Vimali, "A Women Safety Portable Hidden camera detector and jammer", Int. Conf. Commun. Electron. Syst. (ICCES), pp. 1187-1189, 2018.
[https://doi.org/10.1109/cesys.2018.8724066]
- G. N, T. Sivasakthi, "Presence of active mobile phones and Hidden camera detection", Int. J. Comput. Commun. Inf. Syst., Vol. 8, No. 1, pp. 1-7, 2016.
-
T. Liu, Z. Liu, J. Juang, R. Tan and Z. Tan, "Detecting Wireless Spy Cameras Via Stimulating and Probing", Proc. 16th Annual Int Conf Mobile Syst., Appl. Serv., pp. 243-255, 2018.
[https://doi.org/10.1145/3210240.3210332]
- Yongtae Do, "Human Detection in Images Using Optical Flow and Learning", J. Sens. Sci. Technol., Vol. 29, No. 3, pp. 194-200, 2020.
-
J. Lee, S. H. Kim, H. Kwen, S. Chang, J. H. Park, S. J. Lee, and J. K. Shin, "Estimation of Disparity for Depth Extraction in Monochrome CMOS Image Sensors with Offset Pixel Apertures", J. Sens. Sci. Technol., Vol. 29, No. 2, pp. 123-127, 2020.
[https://doi.org/10.5369/JSST.2020.29.2.123]
- M. Kim, G. Kim, and S. Kim, "Hidden Camera Detection Based on Infrared Images in Android Environment", Proc. KIIT Conf., pp. 92-94, 2021.
- M. Kim, G. Kim, S. Hong, H. Lee, and S.Kim, "Hidden Camera Detection Based on Infrared Camera", Proc. KIIT Conf., 2021.