Editorial Board

불법 촬영 카메라 탐지 센서 모듈은 적외선 LED 모듈과 영상처리 알고리즘 분석을 위한 카메라 모듈로 구성된다. LED 모듈과 카메라 모듈을 3D 프린팅 구조물에 장착하여 영상처리 기반 탐지기 센서 모듈을 구성하였다. 탐지기 센서 모듈에 적용된 각 구성품의 상세 사양은 다음의 Table 1과 같다.

불법 촬영 카메라 탐지 센서 모듈의 영상처리 알고리즘 분석 및 최적화를 위한 실험 방법과 환경 구성은 다음의 Table 2와 같다.

본 논문에서 측정을 위해 제작된 탐지기 센서 모듈 샘플과 안드로이드 스마트폰에서 영상을 획득한 결과 및 영상처리 알고리즘을 적용한 분석 결과 예시는 하기의 Fig. 1과 같다.

Fig. 1. 
Examples of (a) an illegal camera detection sensor module, (b) an image obtained from android smartphone, (c) and (d) analysis results.

본 논문에서는 적외선 카메라로 촬영한 이미지에서 불법 촬영 카메라의 렌즈 부분을 검출하는 두 가지 알고리즘을 제안한다. 첫 번째로 제안하는 검출 알고리즘은 먼저 전처리 과정인 가우시안 필터링(Gaussian filtering)을 통해 이미지의 노이즈를 제거한다. 그 후 이미지에 Threshold를 적용한다. 불법 촬영 카메라의 렌즈 부분의 크기는 영상에서 매우 작은 크기를 가진다. 이에 전체 영상을 하나의 임계 값을 통해 이진화 하는 전역 임계화(global threshold)를 적용하면 불법 촬영 카메라의 렌즈 부분의 검출이 잘되지 않는다. 불법 촬영 카메라의 렌즈 부분을 검출하기 위해 임계 값을 이미지 구역마다 적용하는 adaptive threshold를 적용한다.

첫 번째 제안 알고리즘은 adaptive threshold를 적용 시 파라미터들을 조절해 불법 촬영 카메라 렌즈 부분을 최대한 검출한다. 즉 카메라 렌즈가 아닌 주변의 빛에 의해 반사된 물체들을 걸러내지 못하더라도 검출해야 할 불법 촬영 카메라 렌즈 부분의 영역을 최대한 검출할 수 있도록 한다. 첫 번째 제안 알고리즘은 생성된 많은 후보군 들 중 카메라 렌즈가 아닌 주변의 빛에 의해 반사된 물체들을 하나씩 후처리 과정을 통해 카메라 렌즈 후보군에서 제거한다. Gaussian filtering과 adaptive threshold를 통해 생성된 이미지의 예시는 하기의 Fig. 2와 같다.

Fig. 2. 
Image preprocessing using Gaussian blur and adaptive threshold, (a) Gaussian filtering on first sample, (b) adaptive thresholding on the Fig. 2(a), (c) Gaussian filtering on second sample, (d) adaptive thresholding on the Fig. 2(c)

생성된 이미지에 카메라 렌즈가 아닌 주변 빛에 의해 생성된 주변 노이즈들을 카메라 렌즈로 방지하기 위해 미세한 노이즈들을 제거하기 위해 모폴로지 연산을 적용한다. opening 연산을 적용하여 erosion 연산을 먼저 적용해 미세한 노이즈들을 제거한 후 dilation 연산을 통해 카메라 렌즈 부분의 크기를 보존한다. opening 연산을 통해 생성된 이미지의 예시는 하기의 Fig. 3과 같다.

Fig. 3. 
Morphology operation for noise removal, (a) Result of morphological opening operation on the Fig. 2(b), (b) Result of morphological opening operation on the Fig. 2(d)

카메라 렌즈 부분을 검출하기 위해 모폴로지 연산을 통해 노이즈와 작은 크기의 영역을 제거하여 단순화시킨 이미지에서 윤곽선을 검출하고 이들 사이의 계층 구조를 추출한다. 검출된 윤곽선을 통해 검출된 후보군들의 bounding box를 검출한다. 후 처리 과정으로 bounding box의 크기와 종횡비를 통해 카메라 렌즈 부분이 아닌 후보군을 제거한다. 후처리 과정으로 제거가 될 후보군의 예시는 하기의 Fig. 4와 같다.

Fig. 4. 
Results of post image processing, (a) Examples of candidates to be removed from background image, (b) Examples of candidates to be removed from background image

아직 제거되지 않은 후보군들을 제거하기 위해 검출했던 계층 구조를 활용한다. 계층 구조란 이미지에 존재하는 여러 가지 윤곽선들의 상관관계를 의미한다. 윤곽선들의 상관관계를 활용해 parent, child 등의 정보를 파악한다. 이미지에서 윤곽선들은 독립적으로 존재할 수 있고 윤곽선 내부에 윤곽선이 존재할 수도 있다. 동일한 수준에 윤곽선이 존재할 경우 두 윤곽선은 같은 계층에 존재한다. 윤곽선 내부에 윤곽선이 존재하는 경우 외부 윤곽선을 부모 계층, 내부 윤곽선을 자식 계층이라 한다. 계층 구조의 예시는 하기의 Fig. 5와 같다.

Fig. 5. 
Example of the hierarchical structure

실험을 통해 계층 구조를 활용해야 했던 경우도 있고 계층 구조를 활용하지 않아도 되는 경우도 존재했다. 계층 구조를 활용하지 않아도 되는 경우는 위의 방식들로 제거했을 때 남아있는 후보군을 통해 검출이 가능했다. 반면, 계층 구조를 갖고 있는 배경 이미지를 포함한 불법 촬영 카메라를 영상 처리할 경우 계층 구조 활용 영상 처리 기법을 통해 검출이 가능하였다. 계층 구조가 존재하는 경우에는 검출했던 윤곽선 영역의 원본 이미지의 픽셀 값들을 활용한다. 원본 이미지의 픽셀 값들의 평균을 활용해 특정한 값의 범위 안에 들어올 경우 최종 불법 촬영 카메라 렌즈로 분류한다. 계층 구조가 필요할 경우의 카메라 렌즈 검출 방식과 계층 구조가 필요하지 않는 경우의 카메라 렌즈 검출 방식을 통해 검출된 불법 촬영 카메라 렌즈를 화면상에 다른 방식으로 표현한다. 표현된 방식의 예시는 하기의 Fig. 6과 같다.

Fig. 6. 
Detection results in hierarchical and non-hierarchical structures, (a) Detection result of illegal camera in hierarchical structure (b) Result of detecting illegal camera in non-hierarchical structure

불법 촬영 카메라 검출을 위한 첫 번째 제안 알고리즘의 플로우 차트는 하기의 Fig. 7과 같다.

Fig. 7. 
Flow chart of the first proposed algorithm

두 번째로 제안하는 불법 촬영 카메라 검출 알고리즘은 전 처리 과정의 adaptive threshold 연산에서 첫 번째 제안 알고리즘과 반대의 방식이다. 첫 번째 제안 알고리즘의 많은 후보군 생성 및 제거와 반대로 카메라 렌즈가 아닌 후보군을 최대한 적게 생성한다. 즉 전 처리 과정에서 adaptive threshold를 통해 불법 촬영 카메라 렌즈 후보군이 되기 위한 기준을 높여 실제 카메라 렌즈 부분일 경우에만 후보군에 포함된다. 두 번째 제안 알고리즘도 전 처리 과정에서 Gaussian filtering를 통해 이미지의 노이즈를 제거하고 adaptive threshold를 적용한다. 첫 번째 알고리즘과 다른 파라미터로 위 연산을 적용한 이미지 예시는 하기의 Fig. 8과 같다.

Fig. 8. 
Image preprocessing using Gaussian blur and adaptive threshold, (a) Gaussian filtering on sample 1, (b) adaptive thresholding on the Fig. 8(a), (c) gaussian filtering on sample 3, (d) adaptive thresholding on the Fig. 8(c)

위의 연산을 통해 얻어진 이미지에 카메라 렌즈 영역의 크기를 확장하기 위해 모폴로지 연산을 적용한다. 첫 번째 알고리즘과 동일하게 opening 연산을 수행한다. Opening 연산을 통해 생성된 이미지의 예시는 하기의 Fig. 9와 같다.

Fig. 9. 
Morphology operation for noise removal, (a) Result of morphological opening operation on the Fig.8(b), (b) Result of morphological opening operation on the Fig.8(d)

opening 연산 처리된 이미지에 렌즈 부분을 검출하기 위해 첫 번째 제안 알고리즘과 마찬가지로 윤곽선과 계층 구조를 검출한다. 검출된 윤곽선을 통해 검출된 후보군들의 bounding box를 검출한다. bounding box 정보를 활용해 크기와 종횡비를 통해 최종 불법 촬영 카메라 렌즈를 검출한다. 검출된 렌즈의 예시는 하기의 Fig. 10과 같다.

Fig. 10. 
Detection results, (a) Result of detecting illegal camera on sample #1 (b) Result of detecting illegal camera on sample #3

불법 촬영 카메라 검출을 위한 두 번째 제안 알고리즘의 플로우 차트는 하기의 Fig. 11과 같다.

Fig. 11. 
Flow chart of the second proposed algorithm

불법 촬영 카메라 탐지 센서 모듈의 영상처리 최적화를 위해 입력으로 들어온 적외선 영상에 이미지 전처리를 적용하는 실험을 진행하였다. 실험을 위한 실험 장치는 한쪽에는 불법 촬영 탐지기를 설치한 후 장치 밑에 눈금으로 표시된 거리를 기준으로 이동하며 반대쪽에 설치된 카메라 렌즈를 검출한다. 실험 장치의 예시는 하기의 Fig. 12와 같다.

Fig. 12. 
device for hidden camera experiment

불법 촬영 카메라와의 촬영 거리에 따라 LED 모듈에 의해 반사되어 들어온 카메라 렌즈 부분의 영역이 이미지 전처리 시에 어느 정도의 크기인지를 분석하였다. 분석된 내용을 이해하기 위한 예시는 하기의 Fig. 13과 같다. Fig. 13에는 측정 거리와 adaptive threshold연산을 수행할 때의 파라미터(block size, C)에 따라 측정된 카메라 렌즈의 크기가 표현 되어있다. 또한 측정 거리에서의 실제 카메라 렌즈 영역의 크기도 포함되어 있다.

Fig. 13. 
An example of hidden camera detection result at specific distance

이미지 전처리 시에 adaptive thresholding 방법을 사용하였다. adaptive thresholding 방법은 하나의 임계 값을 이미지 전반에 걸쳐 적용하는 전역 임계화(global threshold)와 달리 이미지의 서로 다른 작은 영역에 적용되는 임계 값을 계산하고 이미지에 적용한다. 본 실험에서는 이미지의 작은 영역에서의 임계 값을 계산하기 위해 이미지의 작은 영역의 면적(block size)과 보정 상수(C)를 조절하여 불법 촬영 카메라의 렌즈 부분의 영역 크기 변화를 분석하였다. 분석 결과는 하기의 Fig. 14와 같다.

Fig. 14. 
hidden camera detection area according to block size and C value

0.3 m와 0.4 m에서는 adaptive threshold 과정의 파라미터에 크게 영향을 받지 않고 불법 촬영 카메라 영역의 크기를 실제 렌즈 영역과 비슷하게 검출한다. 0.5 m 거리에서는 파라미터에 따라 카메라 렌즈 영역을 검출하지만 영역의 크기는 실제보다 작게 검출하는 경우도 발생한다. 0.6 m에서는 block size에 따라 불법 촬영 카메라 렌즈를 검출하지 못하는 경우도 발생한다. 실험 결과 block size가 클수록 불법 촬영 카메라 렌즈의 영역을 크게 인식한다. 실험을 통해 첫 번째 제안 알고리즘은 block size를 27~35 사이, C 값을 -20에서 -25 로 지정하는 것이 가장 좋은 성능을 보였다. 두 번째 제안 알고리즘은 block size를 11~15, C 값을 -20에서 -25로 지정하는 것이 가장 좋은 성능을 보였다.

첫 번째 제안된 알고리즘은 adaptive threshold 연산 시 block size를 크게 설정하여 진행한다. block size를 크게 하여 진행하면 불법 촬영 카메라 렌즈 부분의 영역이 크게 나올 수 있는 대신 주변의 불법 촬영 카메라가 아닌 다른 후보군들도 여러 개 생성될 수 있다. 이러한 경우 후보군을 하나씩 제거하는 알고리즘을 통해 불법 촬영 카메라를 검출한다. 첫 번째 제안된 알고리즘은 비록 불법 촬영 카메라 렌즈가 아닌 다른 주변 물체를 카메라 렌즈로 검출할 수도 있지만 실험 결과 더 먼 거리에서 측정할 경우에도 카메라 렌즈를 검출할 수 있다. 두 번째 제안된 알고리즘은 adaptive threshold 연산 시 block size를 작게 설정하여 진행한다. block size를 작게 설정하면 카메라 렌즈처럼 높은 강도의 빛을 반사 하여야만 검출된다. 두 번째 제안된 알고리즘의 장점은 카메라 렌즈가 검출되었을 경우 정확도가 높다. 하지만 거리가 멀어질 경우 카메라 렌즈를 검출 성능이 낮아진다. 두 알고리즘의 특징은 하기 Fig. 15와 같다.

Fig. 15. 
(a), (b) candidates of hidden camera lens detected by the first algorithm, (c) detection result by the second algorithm, (d) detection result (no detection) by the second algorithm