한국센서학회 학술지영문홈페이지
[ Article ]
JOURNAL OF SENSOR SCIENCE AND TECHNOLOGY - Vol. 29, No. 4, pp.237-242
ISSN: 1225-5475 (Print) 2093-7563 (Online)
Print publication date 31 Jul 2020
Received 15 Jul 2020 Accepted 17 Jul 2020
DOI: https://doi.org/10.46670/JSST.2020.29.4.237

신체 분절의 연조직 변형을 고려한 관성센서신호 기반의 상대위치 추정 칼만필터

이창준1 ; 이정근2, +
1한경대학교 기계공학과
2한경대학교 ICT로봇기계공학부
Relative Position Estimation using Kalman Filter Based on Inertial Sensor Signals Considering Soft Tissue Artifacts of Human Body Segments
Chang June Lee1 ; Jung Keun Lee2, +
1Mechanical Engineering, Hankyong National Unversity, 327 Jungang-ro, Anseong, Gyeonggi 456-749, Korea
2School of ICT, Robotics & Mechanical Engineering, Hankyong National Unversity, 327 Jungang-ro, Anseong, Gyeonggi 456-749, Korea

Correspondence to: + jklee@hknu.ac.kr

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(https://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

This paper deals with relative position estimation using a Kalman filter (KF) based on inertial sensors that have been widely used in various biomechanics-related outdoor applications. In previous studies, the relative position is determined using relative orientation and predetermined segment-to-joint (S2J) vectors, which are assumed to be constant. However, because body segments are influenced by soft tissue artifacts (STAs), including the deformation and sliding of the skin over the underlying bone structures, they are not constant, resulting in significant errors during relative position estimation. In this study, relative position estimation was performed using a KF, where the S2J vectors were adopted as time-varying states. The joint constraint and the variations of the S2J vectors were used to develop a measurement model of the proposed KF. Accordingly, the covariance matrix corresponding to the variations of the S2J vectors continuously changed within the ranges of the STA-causing flexion angles. The experimental results of the knee flexion tests showed that the proposed KF decreased the estimation errors in the longitudinal and lateral directions by 8.86 and 17.89 mm, respectively, compared with a conventional approach based on the application of constant S2J vectors.

Keywords:

Relative position estimation, Kalman filter, Inertial sensor, Soft tissue artifacts, Human body segments

1. 서 론

스포츠나 생체역학 등의 분야에서 인체의 동작을 공간의 제약없이 측정하기 위해 관성센서(inertial measurement unit, 이하 IMU)를 통한 모션캡처가 활발히 연구되고 있다 [1-3]. 예로 보행 특성에 대해 분석하기 위해, 하지의 분절에 IMU를 부착하여 무릎 또는 발목에 대한 관절각이나 신체 분절간 상대위치를 실시간으로 측정 가능하다 [4-7]. IMU는 공간의 제약을 받지 않으면서 인체의 움직임을 감지할 수 있다는 점에서 활용도가 높다. 다만, IMU는 자세나 위치 정보를 직접적으로 제공하지 않으므로, 칼만필터(Kalman filter) 등의 센서 신호 융합 알고리즘을 통해 센서 신호를 자세나 위치 정보로 추정하는 과정이 필요하다 [8-13].

본 논문의 주제인 신체 분절간 상대위치 추정의 경우, 다음의 두 가지 정보를 통해 손쉽게 계산될 수 있다: (i) 신체 분절간 상대자세와 (ii) 신체 분절에서 관절중심까지의 위치벡터 (segment-to-joint center vector, 이하 S2J벡터). 여기서, 신체 분절간 상대간 상대자세는 각각의 분절에 부착된 IMU가 제공하는 분절자체의 자세를 통해 실시간으로 계산 가능하며, S2J벡터의 경우 일반적으로 최소 자승법 등의 캘리브레이션 과정을 통해 상수 벡터의 형태로 결정된다 [14-17]. 따라서, 고정된 상수의 S2J벡터를 이용하는 기존의 상대위치 추정기법에서 상대위치 추정은 상대자세 추정의 부산물 정도로 여겨져 왔다.

하지만, 신체 분절에서 관절중심까지의 위치 벡터인 S2J벡터는 상수가 될 수 없다. 기존 방법에서의 상수 S2J벡터는, 신체분절을 강체로, 관절 역시 기계식 관절로 가정하기 때문이다. 그러나, 신체 분절은 완벽한 강체가 아니며, 피부나 근육에 의해 변형이 발생한다. 즉, 피부에 대한 해부학적 신체 분절의 위치는 고정되어 있지 않고 변하게 된다. 또한, 분절에 대한 관절중심의 위치는 동작에 따라서 정도의 차이를 두고 약간씩 이동하는 특성을 갖는다. 이러한 신체 변형을 포괄적으로 연조직 변형 (soft tissue artifact)이라 일컫는다. 따라서 연조직 변형에 따른 S2J벡터의 변동성은 상대 위치 추정의 정확성을 저해하는 중요한 요인이 되고 있다.

연조직 변형은 주로 피부에 부착된 마커를 통해 측정이 이뤄지는 광학식 모션캡처 분야에서 고려되어 왔다. 특히 해부학적 분절에 대한 자세추정을 위해, 연조직 변형을 보상하는 방법이 연구되었다 [18-21]. 반면 IMU를 통한 모션캡쳐 분야의 경우, 연조직 변형이 구체적으로 고려된 연구는 현재까지 거의 없는 것으로 조사된다. 참고문헌 [22]에서는 신체의 S2J 벡터에서 연조직 변형에 의한 부정확성을 감소시키기 위해 시변(time-varying) 벡터로서 추정하는 방법을 제안하였다. 이를 위해 분절로부터 전파된 관절중심 가속도가 0인 구속조건식을 최적화 기법의 목적함수로 사용하였다. [22]의 방법은 관절중심이 정적상태인 시스템에 대해서만 이용 가능한 한계점을 갖지만, 연조직 변형에 의한 S2J 벡터의 변동성을 정량적으로 고려했다는 점에서 의미를 갖는다.

본 논문은 IMU기반 상대위치 추정에 있어, 기존에 상수로 취급하던 S2J 벡터를 상태벡터로 설정하여 시변 벡터로 추정하는 칼만필터를 제안한다. 이를 통해 연조직 변형에 의한 영향을 보상하여 상대위치 추정의 정확도를 향상시키고자 한다. 캘리브레이션을 통해 결정된 상수 벡터를 측정값으로 참조하는 동시에, 인접한 두 분절로부터 전파된 관절중심 가속도의 구속조건식을 활용하였다. 이를 통해 연조직 변형에 의한 변형량을 포함한 S2J 벡터의 추정이 가능하다. 동시에 동작에 따른 변형을 고려하기 위해 공분산의 전환 기법을 적용하였다. 제안방법의 성능을 검증하기 위해, 허벅지와 정강이에 IMU를 부착하여 연조직 변형이 크게 발생하는 무릎의 자세에 대한 실험을 진행하였다. 이와 함께 연조직 변형이 고려되지 않는 상대위치 추정법과의 비교 분석을 하였다.


2. 연조직 변형을 고려한 상대위치 추정

본 논문에서 제안하는 상대위치 추정법은 상대자세 추정을 통해 위치를 결정하는 순차적 추정 방식을 이용한다. 신체 분절간 상대위치의 추정 시 연조직 변형에 의한 추정오차를 감소시키는 것이 본 연구의 목표이기 때문에, 상대자세 추정을 제외한 상대위치 추정에 초점을 둔다.

한 분절 좌표계 i에 대한 다른 한 분절 좌표계 j의 상대위치 piji는 다음의 식에 의해 결정 가능하다.

piji=si-Rijsjji(1) 

여기서 siisjj는 각 분절의 중심에서 관절중심까지의 벡터이며, 벡터의 좌측 윗첨자는 해당 벡터가 관찰된 시점의 좌표계를 의미한다. 또한, Rij는 분절 좌표계 i에 대한 분절 좌표계 j의 상대 자세를 나타내는 회전행렬이다.

흔히 식 (1)에 사용되는 S2J 벡터는 캘리브레이션을 통해 미리 선정된 최적의 상수 벡터를 사용한다. 하지만 신체 분절에서 근육이나 피부 등에 의한 연조직 변형이 발생하므로, 분절에 대한 관절중심의 실제 위치는 약간씩 변하게 된다. 따라서 S2J 벡터는 상수가 아닌 시변 벡터로 고려되어야 한다.

제안방법은 상대위치 추정에 필요한 S2J 벡터를 칼만필터를 통하여 시변 벡터로서 추정한다. 그러므로 칼만필터의 상태벡터를 xt=si,tTisj,tTjT로 설정한다. 여기서 si,tisj,tj는 이산 시간 t에 대한 각 S2J 벡터이다.

연조직 변형은 매우 다양한 형태로 이루어지기 때문에, 시간의 진행에 대한 S2J 벡터의 예측은 불가능하다. 대신, S2J 벡터는 연조직 변형에 의해 급격하게 변하지 않고 시간의 진행에 따라서 조금씩 변화한다는 점을 이용하여, 이전의 추정치를 참조 할 수 있도록 si,tisj,tj에 대한 다음의 식을 이용한다.

si,ji=si,j-1i(2) 
sj,tj=sj,t-1j(3) 

현재와 이전의 추정치는 동일하지 않지만, 이산시간 t-1에서 t로 진행하는 동안의 변화량은 크지 않다는 가정하에 연속적인 추정이 이뤄지도록 위의 식을 진행모델로 활용한다.

제안방법은 연조직 변형에 의한 영향을 고려하는 것을 목표로 하며, 이를 위한 방안이 요구된다. S2J 벡터를 시변 벡터로 추정하기 위해서 다음의 두 가지가 충족되어야 한다. 우선, 표류오차의 발생 없이 추정되어야 하며, 연조직 변형에 의한 벡터의 변화량이 포함되어야 한다.

고정 벡터 scal는 연조직 변형이 고려되지는 않지만, 캘리브레이션 과정에서 최적화 기법을 통해 결정되었다. 따라서 scal를 측정값으로 참조하며, 연조직 변형의 영향을 고려하기 위해 다음과 같이 모델링한다.

si,ti=si,cal-iδi(4) 
sj,tj=sj,cal-jδj(5) 

여기서 δ는 연조직 변형에 의해 발생한 S2J 벡터의 변형량이다.

scal를 참조하는 동시에 연조직 변형을 포함한 S2J 벡터를 추정하기 위해, 관절 구속조건식을 활용하였다. 구형 관절로 연결된 두 분절로부터 관절중심의 가속도는 동일하며, 이에 대한 식을 구성하기 위해 S2J 벡터가 요구된다. 각 분절에 부착된 센서의 좌표계가 분절 좌표계와 동일하다고 가정하였을 때, 관절중심 가속도에 대한 구속조건식은 다음과 같이 나타난다.

aii+ω˙~ii+ω~iiω~iisii=Rijajj+ω˙~jj+ω~jjω~jjsjj(6) 

여기서 a는 외부가속도, ω˙는 각가속도, ω는 각속도 벡터이며, ω~는 벡터 ω=ωxωyωzT의 외적 행렬로 다음과 같이 정의된다.

ω~=0-ωzωyωz0-ωx-ωyωx0(7) 

식 (6)에 사용되는 분절의 가속도와 각속도 벡터는 가속도계와 자이로스코프에서 측정된 신호가 사용되었다. 두 신호는 각각 다음과 같이 모델링 된다.

yA=gS+aS+nA(8) 
yG=ωS+nG(9) 

여기서 Sg는 중력가속도 벡터, nA는 공분산 행렬 ΣA를 갖는 가속도계 신호의 잡음 성분이며, nG는 공분산 행렬 ΣG를 갖는 자이로스코프 신호의 잡음 성분이다. 가속도계 신호는 중력가속도 벡터를 포함하지만, 식 (6)에서 좌표계 jjgRij에 의해 ig로 변환되어 좌표계 i의 중력가속도와 서로 상쇄되므로 사용 가능하다.

식 (6)의 구속조건식에 추정된 상대자세와 식 (8)(9)의 센서 신호를 대입하였을 때 다음과 같이 전개 가능하다.

yA,i+Φisii-εi=RijyA,j+Φjsjj-εj(10) 

여기서 Φ=y˙~G+y~Gy~G이며, εiεj는 각 분절의 센서 잡음성분에 의한 오차항으로 다음과 같다.

ε=nA-s~n˙G-2y~Gs~-s~y~GnG(11) 

위에서 모델링 된 ε를 이용하여 이에 대한 공분산 행렬 ε=EεεT를 다음과 같이 나타낼 수 있다 (이 때 다른 잡음 성분끼리 곱해지는 경우 서로 연관이 없다고 가정하여 0으로 처리한다).

ε=A+s~Gdots~T+2y~Gs~-s~y~GG2y~Gs~-s~y~GT(12) 

여기서 ΣGdot는 자이로스코프 신호로부터 구한 각가속도의 잡음 성분에 대한 공분산 행렬이다.

이를 통해 연조직 변형을 고려하여 isi,tjsj,t를 추정하기 위한 칼만필터를 구성 가능하다. 식 (2)식 (3)으로부터 도출된 칼만필터의 진행모델은 다음과 같다.

xt=Fxt-1+wt-1(13) 

여기서 상태 전이행렬 F는 6×6 단위행렬 I6이며, Wt-1는 공분산 행렬 Qt-1=Ewt-1wt-1T를 갖는 진행 잡음이다.

식 (4)식 (5), 식 (10)으로부터 도출된 칼만필터의 측정모델은 다음과 같다.

zt=Htxt+vt(14) 

여기서 zt는 측정벡터를, Ht는 관측행렬을, vt는 공분산 행렬 Mt=EvtvtT를 갖는 측정 잡음을 의미하며 각각, 다음과 같다.

zt=si,calTisi,calTjyA,i,t-Rij,tyA,j,tTT(15) 
Ht=I3O3O3I3-Φi,tRij,tΦj,t(16) 
vt=δiTδjTεi-Rij,tεjTT(17) 

식 (13)의 진행잡음 wt-1식 (17)에서의 S2J 벡터의 변형량 δ는 모델링이 어렵기 때문에 공분산 행렬에 대한 선정이 요구된다. 여기서 S2J 벡터는 신체의 동작에 따라서 변형 수준이 달라지므로, 동작의 변화에 대해서도 고려되어야 한다. 흔히 무릎이나 팔꿈치 등의 신체관절은 굽힘이 커질수록 연조직 변형의 수준도 증가하게 된다. 이를 이용하여 제안방법은 δ에 대한 공분산 행렬 Σδ을 굴절각 α에 따라서 변화할 수 있도록 가변 가중치를 설정한다. 다만, 관절의 굽힘 정도가 크지 않은 경우에 상수 벡터에서의 불확실성 또한 작게 나타나므로 α에 대한 문턱값(threshold value)을 적용한다. 이를 통해 문턱값을 넘는 동작에 대해서만 가중치가 적용된다. 문턱값에 따른 공분산행렬의 전환은 다음과 같이 수행된다.

δ=σδ2βx000βy000βzif α>thασδ2I3else(18) 

여기서 σδ2δ에 대한 분산값, β는 가중치, thαα에 대한 문턱값이다. 연조직 변형에 의한 변동성은 각 성분에 따라서 상이하기 때문에, 각각의 가중치 또한 다르게 적용되어야 한다. S2J 벡터는 길이벡터 방향으로 가장 큰 값을 나타내며, 이에 대한 변동성은 비교적 작게 나타난다. 따라서 본 방법에서는 길이방향을 제외한 각각 두 성분의 공분산에 가중치를 적용하였다.


3. 검증실험

본 논문에서 제안하는 상대위치 추정법의 성능을 검증하기 위해 허벅지와 정강이를 연결하는 무릎 관절에 대해 실험을 진행하였다. 검증 실험을 위해 3축 가속도계와 3축 자이로스코프를 포함하는 IMU인 MTw(Xsens Technologies B. V., Netherlands)가 사용되었으며, IMU를 벨크로 밴드를 통해 허벅지와 정강이의 측면에 부착하였다 (Fig. 1 참조). 여기서IMU는 X축과 Y축이 분절의 시상면(sagittal plane)을 이루도록 부착하였으며, X축은 분절의 길이방향, Y축은 진행방향, Z축은 시상면에 수직하는 횡방향이다. 제안방법의 성능을 검증하기 위한 참조(Reference) 값은 광학식 모션캡쳐 시스템인 OptiTrack Flex13 (Natural Point, USA)을 통해 측정되었다. 제안 방법에서도, 식 (1)의 상대자세 Rij는 Flex13을 통해 공급하였다. 신체 분절의 중심은 센서의 중심과 동일하다고 가정하였으며, 두 시스템의 샘플링률은 100 Hz로 설정하였다.

Fig. 1.

Experimental setup

검증실험은 연조직 변형이 현저하게 드러날 수 있는 동작으로 무릎을 최대로 굽혔다가 펴는 동작을 반복하였다. 운동상태에 따른 변형 정도를 비교하기 위해, 무릎이 굽혀질 때 1~2초가량 정적상태를 유지하는 경우(Test 1, 2)와 즉각적으로 반복하는 경우(Test 3)로 총 3번의 실험을 진행하였다. 제안방법의 연조직 변형을 고려한 추정성능의 검증을 위해 총 세가지 방법을 비교 분석하였다. 첫번째 M1은 식 (1)에 캘리브레이션을 통해 결정된 상수 벡터를 사용한 방법으로, 연조직 변형에 대해 고려되지 않는 경우이다. 두번째 M2와 세번째 M3은 제안 칼만필터에서 δ에 대한 가중치를 각각, βy=1+α-thα3βz=1+α-thα3로 설정한 경우에 해당한다. 이 때 나머지 성분의 가중치는 1이다. 이는 S2J 벡터에서 변동성이 큰 두 성분에 대해 제안방법의 영향을 비교하기 위함이다.

상대위치 추정을 위한 상대자세는 참조 상대자세를 이용하였으며, 상수의 S2J 벡터는 광학식 모션캡쳐 기반의 캘리브레이션을 통해 추정되었다 [14]. 허벅지와 정강이의 좌표계를 각각 ij라고 할 때 허벅지와 정강이로부터 무릎 관절중심까지의 상수 벡터는 각각,si,cali=-20.62-2.64-3.3cm,    sj,calj=22.86-3.34-6.28cm이다. 칼만필터의 진행잡음에 대한 공분산 행렬은 Qt-1=10-9I3으로, δ에 대한 분산값은 σδ2=10-9로 설정하였다. 공분산의 전환을 위한 굴절각의 문턱값 thα은 변형이 본격적으로 발생한다고 판단되는 60°로 적용하였다. 세 방법의 추정성능은 참조 상대위치에 대한 오차와 RMSE(root mean squared error)를 통해 비교되었다.


4. 결과 및 고찰

Table 1은 상대위치 추정 RMSE를 나타낸다. 상수의 S2J 벡터를 통해 상대위치를 결정하는 M1의 경우, Test 1과 Test 2에서 평균 RMSE가 각각 19.10 mm와 18.54 mm로, 약 2 cm가량의 오차를 보였다. 상대위치는 상대자세와 S2J 벡터를 통해 결정되며, 이 때 참조 상대자세가 사용된다는 점을 고려할 때, M1의 오차는 S2J 벡터의 변형에 기인한 것으로 볼 수 있다. 제안 방법의 목적은 S2J 벡터를 추정함으로써 연조직 변형에 의해 발생하는 M1의 상대위치 오차를 감소시키는 것이다. 연조직 변형을 고려한 M2와 M3은 M1의 오차를 감소시켰으며, 두 방법에 대한 오차감소의 경향은 상이하였다. M2는 X축과 Z축에 대한 개선효과가 크게 나타난 반면에 Y축에 대해서는 오히려 오차가 증가하는 모습을 보였다. M3의 경우 Y축과 Z축에 대해 개선효과를 보였으나, 매우 큰 수준의 감소효과로 볼 수 없다. 다리를 굽힐 때 정적상태를 유지하는 앞의 두 실험과 달리 동작이 즉각적으로 반복되는 Test 3의 경우 M1의 RMSE는 13.77 mm로, Test 1과 Test 2에 비해 작은 오차를 보였다. 이를 통해 연속적인 움직임에서는 연조직 변형에 의한 변동성이 비교적 작다는 것을 유추할 수 있다. Test 3에서 M2와 M3은 개선효과를 얻지 못하였고 M1에 비해 큰 오차를 보였다. 따라서 제안방법은 Test 1과 Test 2와 같이 연조직 변형이 현저하게 나타나는 동작에 대해서 오차 감소효과를 갖는다.

RMSE results of relative positions (mm)

Fig. 2는 Test 1에 대한 결과 그래프이다. 그래프에서 확인할 수 있듯이 상수 벡터를 사용하는 M1은 다리가 최대로 굽혀질 때 상대위치 오차의 폭이 증가하는 경향을 보였다. 오차폭은 X축에 대해서 약 3 cm, Y축은 약 1 cm, Z축은 약 4~5 cm로, 각 성분에 대해 상이한 오차를 나타냈다. 굴절/신전이 지배적으로 나타나는 무릎 관절의 운동에서는, 하지의 시상면에 대한 운동범위가 넓게 나타난다. 이를 고려하면서 추정결과를 보았을 때, 시상면을 이루는 X축과 Y축은 운동범위 대비 오차가 적은 반면, 시상면에 수직하는 Z축의 오차는 크게 나타남을 알 수 있다.

Fig. 2.

Estimation results of Test 1 from (a) M2 (red) and (b) M3 (green) in comparison to the results from M1 (blue dotted) and the reference (black dashed)

S2J 벡터를 추정하는 제안방법 M2와 M3의 결과 그래프에서 다리를 굽힐 때에 발생하는 M1의 상대위치 오차폭이 감소되는 모습을 확인할 수 있다. Fig. 2의 (a)에서 볼 수 있듯이 M2는 기존의 M1에 발생하였던 오차를 전체적으로 감소시켰으며, 특히 Z축에 대해 가장 현저한 개선효과를 보였다. 다리가 최대로 굽혀진 2초가량의 정적구간에 대해 확인하였을 때, 여전히 오차는 존재하지만 참조 상대위치에 비교적 근접한 추정이 이루어졌다. M2는 S2J 벡터의 Y축 성분 변형량에 대한 공분산을 증가한 경우로, 다리가 굽혀질수록 상수 벡터의 Y축 성분에 대한 신뢰도가 낮아진다. 그로 인하여 측정모델에서의 관절 구속조건식에 대한 신뢰도가 상대적으로 높아지므로, 구속조건에 의한 보정효과가 증가하게 된다. 따라서 S2J 벡터의 Y축 성분에 대한 보정 과정이 상대위치의 오차 감소에 기여한 것으로 판단된다.

제안방법에서 Z축 성분의 번형량에 대해 공분산을 변화시킨 M3의 경우 M2에 비해 저하된 오차 감소효과를 보였다. X축의 경우 RMSE로 확인할 수 있듯 개선효과를 전혀 보이지 않았으며, Z축은 M1의 오차폭을 어느정도 감소시켰지만 M2 대비 성능 열세를 나타냈다. Y축에서는 매우 높은 수준은 아니지만 M1과 M2에 비해 향상된 추정결과를 보였다. 이를 통해 Z축 성분의 보정 역시 상대위치의 오차 감소에 기여하지만, 상대위치의 Y을 제외한 모든 성분에서 M2에 비해 낮은 개선효과를 나타냈다.

위의 결과를 통해, 연조직 변형에 의한 오차는 S2J 벡터의 Y축 성분에 대한 불확실성과 크게 연관되어 있음을 추측할 수 있다. 즉, 연조직 변형으로 인한 불확실성이 Y축 성분에서 가장 크게 나타나는 것으로 판단된다. 하지만 신체 관절은 3자유도 회전이 발생하는 구형 관절이란 점을 고려할 때, 상대위치의 오차는 모든 축 성분의 변형에 의해 복합적으로 나타난 결과로 볼 수 있다. 따라서 S2J 벡터의 각 성분에 따른 변동성을 정밀하게 분석하기란 쉽지 않다. 다만 각각 두 성분에 가중치를 적용하였을 때 두가지 모두 개선효과를 보였다는 점에서, 두 성분에 대한 적합한 가중치의 선정방법에 대해 연구될 필요가 있을 것으로 보인다.


5. 결 론

본 논문에서는 IMU 기반의 신체 분절간 상대위치 추정에서, 연조직 변형에 의한 영향을 고려하기 위한 방법을 제안하였다. 제안방법은 상대자세를 통해 위치를 결정하는 순차적 추정법을 이용하였으며, 이에 사용되는 관절-분절 벡터를 칼만필터를 시변 벡터로서 추정하였다. 이를 위해 캘리브레이션을 통해 결정된 상수 벡터와 함께 관절중심의 가속도에 대한 구속조건식을 측정모델로 활용하였다. 동작에 따라서 연조직 변형 정도가 변하는 것을 고려하기 위해, 굴절각에 따른 S2J 벡터 변형량의 공분산 전환을 적용하였다.

제안방법의 성능 검증을 위해 허벅지와 정강이에 IMU를 이용하였으며, 연조직 변형이 최대로 발생할 수 있는 무릎의 굽힘 실험을 진행하였다. 연조직 변형의 영향을 확인하기 위해서, 기존 방법과 함께 제안방법에서 S2J 벡터의 공분산 전환을 다르게 적용한 두 가지 경우를 비교 분석하였다.

연조직 변형의 수준이 크게 나타나는 Test 1과 Test 2에서는 기존방법인 M1이 평균 18.82 mm의 오차를 나타냈으며, 제안방법의 M2와 M3은 각각 11.95 mm와 13.89 mm로 전체적으로 오차 감소효과를 보였다. S2J 벡터의 Y축 성분에 대해 공분산 전환을 적용한 M2의 경우, 상대위치의 X축과 Z축에 대해 각각 8.86 mm와 17.89 mm의 오차를 감소하였다. Z축 성분에 공분산 전환을 적용한 M3의 경우, 상대위치의 Y축과 Z축 성분에 대해 1.10 mm와 12.86 mm의 오차 감소효과를 보였다. 전체적인 결과에 대해서 M2의 성능이 M3에 비해 우세하였으며, 이를 통해 Y축 성분의 불확실성을 고려함으로써 더욱 뛰어난 개선효과를 얻을 수 있음을 확인하였다. 반면, 굽힘 동작이 연속적으로 이

루어지는 Test 3에서는 M1의 평균 오차가 13.77 mm로, Test 1과 Test 2에 비해 적은 오차가 발생하였다. 또한 제안방법의 M2와 M3은 각각 평균 14.64 mm와 16.16 mm로, 오차 감소효과를 크게 얻지 못하였다. 따라서 연속적인 동작에 대해서는 연조직 변형이 비교적 적게 나타남을 알 수 있다.

제안방법은 비록 매우 높은 추정 정확도를 보장하지 못하지만, S2J 벡터를 추정함으로써 연조직 변형에 대한 고려가 가능하다는 것을 검증하였다. 다만, 상대위치에서 연조직 변형은 S2J 벡터의 모든 성분에 대한 불확실성이 복합적으로 나타나는 결과이기 때문에, 각 성분에 대한 정밀한 분석은 어렵다. 하지만 M2와 M3의 결과를 통해 확인하였듯이, 각 성분의 보정에 대한 결과는 상이하더라도 전체적으로 성능의 개선효과를 나타냈다. 추후에는 모든 성분에 대한 불확실성을 고려함으로써, 연조직 변형을 정밀하게 고려할 수 있는 연구를 진행하고자 한다.

Acknowledgments

본 연구는 2018년도 정부(교육부)의 재원으로 한국연구재단 기초연구사업(No. 2018R1D1A1B07042791)의 지원을 받아 수행됨.

References

  • G. Pons-Moll, A. Baak, T. Helten, M. Müller, H. Seidel, and B. Rosenhahn, “Multisensor-fusion for 3D full-body human motion capture”, Proc. of IEEE Conf. on Comput. Vis. Pattern Recognit., pp. 663-670, San Francisco, CA, USA, 2010. [https://doi.org/10.1109/CVPR.2010.5540153]
  • M. Kok, J. D. Hol, and T. B. Schön, “An optimization-based approach to human body motion capture using inertial sensors”, Proc. of 19th World Congr. Int. Fed. Autom. Control, pp. 79-85, Cape Town, South Africa, 2014. [https://doi.org/10.3182/20140824-6-ZA-1003.02252]
  • A. Atrsaei, H. Salarieh, A. Alasty, and M. Abediny, “Human arm motion tracking by inertial/magnetic sensors using unscented Kalman filter and relative motion constraint”, J. Intell. Robot. Syst., Vol. 90, pp. 161–170, 2018. [https://doi.org/10.1007/s10846-017-0645-z]
  • G. Cooper, I. Sheret, L. McMillian, K. Siliverdis, N. Sha, D. Hodgins, L. Kenny, and D. Howard “Inertial sensor-based knee flexion/extension angle estimation”, J. Biomech., Vol. 42, No. 16, pp. 2678-2685, 2009. [https://doi.org/10.1016/j.jbiomech.2009.08.004]
  • B. Fasel, J. Spörri, J. Chardonnens, J. Kröll, E. Müller, and K. Aminian, “Joint inertial sensor orientation drift reduction for highly dynamic movements”, IEEE J. Biomed. Health Inform., Vol. 22, No. 1, pp. 77-86, 2018. [https://doi.org/10.1109/JBHI.2017.2659758]
  • T. H. Jeon and J. K. Lee, “IMU-based joint angle estimation under various walking and running conditions”, J. Korean Soc. Precis. Eng., Vol. 35, No. 12, pp. 1199-1204, 2018. [https://doi.org/10.7736/KSPE.2018.35.12.1199]
  • J. Favre, B. M. Jolles, R. Aissaoui, and K. Aminian, “Ambulatory measurement of 3D knee joint angle”, J. Biomech., Vol. 41, No. 5, pp. 1029-1035, 2008. [https://doi.org/10.1016/j.jbiomech.2007.12.003]
  • J. K. Lee and T. H. Jeon, “Magnetic condition-independent 3D joint angle estimation using inertial sensors and kinematic constraints”, Sensors, Vol. 19, No. 24, pp. 5522(1)-5522(14), 2019. [https://doi.org/10.3390/s19245522]
  • A. Szczęsna and P. Pruszowski, “Model-based extended quaternion Kalman filter to inertial orientation tracking of arbitrary kinematic chains”, SpringerPlus, Vol. 5, pp. 1965(1)-1965(13), 2016. [https://doi.org/10.1186/s40064-016-3653-8]
  • D. S. Yun and H. S. Yu, “Extended kalman filter design for autonomous navigation with GPS and INS sensor system fusion”, J. Sens. Sci. Technol., Vol. 16, No. 4, pp. 294-300, 2007. [https://doi.org/10.5369/JSST.2007.16.4.294]
  • H. J. Luinge and P. H. Veltink, “Measuring orientation of human body segments using miniature gyroscopes and accelerometers”, Med. Biol. Eng. Comput., Vol. 43, pp. 273-282, 2005. [https://doi.org/10.1007/BF02345966]
  • W. C. Jung and J. K. Lee, “Constraint-combined adaptive complementary filter for accurate yaw estimation in magnetically disturbed environments”, J. Sens. Sci. Technol., Vol. 28, No. 2, pp. 81-87, 2019.
  • J. K. Lee and M. J. Choi, “Robust inertial measurement unitbased attitude determination Kalman filter for kinematically constrained links”, Sensors, Vol. 19, No. 4, pp. 768(1)-768(11), 2019. [https://doi.org/10.3390/s19040768]
  • J. Cameron and J. Lasenby, “A real-time sequential algorithm for human joint localization”, Proc. of ACM SIGGRAPH 2005, pp. 107, New York, USA, 2005. [https://doi.org/10.1145/1186954.1187076]
  • T. Seel, T. Schauer, and J. Raisch, “Joint axis and position estimation from inertial measurement data by exploiting kinematic constraints”, Proc. of IEEE Int. Conf. on Control Appl., pp. 45-49, Dubrovnik, Croatia, 2012. [https://doi.org/10.1109/CCA.2012.6402423]
  • J. K. Lee, “Verification of two least-squares methods for estimating center of rotation using optical marker trajectory”, J. Sens. Sci. Technol., Vol. 26, No. 6, pp. 371-378, 2017.
  • R. S. McGinnis and N. C. Perkins, “Inertial sensor based method for identifying spherical joint center of rotation”, J. Biomech., Vol. 46, No. 14, pp. 2546-2549, 2013. [https://doi.org/10.1016/j.jbiomech.2013.07.017]
  • M. Gabiccini, G. Stillfried, H. Marino, and M. Bianchi, “A data-driven kinematic model of the human hand with soft-tissue artifact compensation mechanism for grasp synergy analysis”, Proc. of IEEE/RSJ Int. Conf. on Intell. Robot. Syst., pp. 3738-3745, Tokyo, Japan, 2013. [https://doi.org/10.1109/IROS.2013.6696890]
  • R. Dumas and L. Cheze, “Soft tissue artifact compensation by linear 3D interpolation and approximation methods”, J. Biomech., Vol. 42, No. 13, pp. 2214-2217, 2009. [https://doi.org/10.1016/j.jbiomech.2009.06.006]
  • V. Camomilla, T. Bonci, R. Dumas, L. Chèze, and A. Cappozzo, “A model of the soft tissue artefact rigid component”, J. Biomech., Vol. 48, No. 10, pp. 1752-1759, 2015. [https://doi.org/10.1016/j.jbiomech.2015.05.007]
  • V. Richard, A. Cappozzo, and R. Dumas, “Comparative assessment of knee joint models used in multi-body kinematics optimisation for soft tissue artefact compensation”, J. Biomech., Vol. 62, pp. 95-101, 2017. [https://doi.org/10.1016/j.jbiomech.2017.01.030]
  • E. Frick and S. Rahmatalla, “Joint center estimation using single-frame optimization: Part 1: Numerical simulation”, Sensors, Vol. 18, No. 4, pp. 1089(1)-1089(17), 2018. [https://doi.org/10.3390/s18041089]

Fig. 1.

Fig. 1.
Experimental setup

Fig. 2.

Fig. 2.
Estimation results of Test 1 from (a) M2 (red) and (b) M3 (green) in comparison to the results from M1 (blue dotted) and the reference (black dashed)

Table 1.

RMSE results of relative positions (mm)

X Y Z Avg
Test1 M1 21.91 8.46 26.95 19.10
M2 11.87 14.06 8.15 11.36
M3 20.69 7.04 13.42 13.72
Test2 M1 21.14 8.23 26.24 18.54
M2 13.45 14.87 9.27 12.53
M3 20.68 7.45 14.06 14.06
Test3 M1 8.27 25.86 7.18 13.77
M2 15.75 20.92 7.24 14.64
M3 8.11 22.63 17.75 16.16