유한요소 해석을 이용한 초탄성체 햅틱 피드백 연구

1. 서 론

햅틱은 수술용 시뮬레이션 환경이나 가상의 기계작업교육 등에서 쓰이며, 햅틱 장치를 통해 가상환경이나 정의된 공간에서 물체의 형태를 느끼고 사실적인 피드백을 느낄 수 있다[1]. 사용자가 실제환경 및 가상환경의 물체를 장치로 느끼기 위해서는 햅틱 피드백을 통해 촉각, 진동, 힘 등 인간이 느낄 수 있는 다양한 감각을 구현해야 하고, 감각을 구현하기 위해 필요한 데이터를 얻는 센싱이 필요하다.

센싱 과정은 원격 제어 환경과 가상환경으로 나뉘게 되는데, 원격 제어 환경에서는 매니퓰레이터나 그리퍼가 모델에 접촉 및 침투하는 힘을 FT 센서로 측정하여 장치의 피드백 표현이 가능하지만[2,3], 가상 환경의 경우 이를 활용할 수 없기에 일반적으로 스프링 댐퍼 시스템으로 가상 모델을 생성하고 사용자는 설정된 계수에 따라 모델을 느끼게 된다[4].

일반적으로 사용자가 피드백을 느끼는 모델은 강체와 탄성체 그리고 초탄성체가 있다. 앞선 설명과 같이, 원격 제어 환경에서는 한 예로 신체의 장기 및 피부와 같은 초탄성체를 수술환경에서 매니퓰레이션하는 경우가 많아 FT 센서를 활용하여 힘을 측정하고 이를 피드백 받아 초탄성체를 나타낼 수 있지만, 가상 환경에서는 주로 스프링 댐퍼 시스템으로 모델을 구현하게 되며 강체 및 탄성체의 경우 기존 시스템으로도 실제와 유사한 모사가 가능하다. 탄성체와 초탄성체를 비교하자면, 탄성체는 모델의 변형률이 응력과 비례하여 5% 내외로 변화하는 선형성을 보여 Hooke's law로 정의가 가능하나, 초탄성체는 100~700%까지 탄성 변형이 큰 비선형 모델이기 때문에 변형률 에너지 밀도 함수 등으로 응력과 변형률의 관계를 정의해야 하여 Stiffness나 Damping 계수를 통해 구현되는 단순 임피던스 모델로는 실제와 같은 피드백에 한계가 있다.

원격 제어에서의 햅틱 구현은 FT센서를 사용하지 않고 구현하는 방법들에 대한 연구들이 수행되고 있다. 모델링을 통해 모터의 외란 토크를 추정하거나[5], 준정적 모델을 시뮬레이션 하여 접촉 토크를 계산하는 연구[6]들이 있으나, 모터의 전류 딜레이로 인한 피드백 시간 지연 문제 및 대상 모델을 정확하게 모델링하기 어렵다는 문제가 있다.

따라서 시간 지연없이 초탄성체 피드백을 표현하기 위해, 정확하면서도 빠르게 데이터를 구하는 방법이 원격 제어와 가상환경에서 모두 필요하다고 판단되어 본 연구에서는 유한요소 해석기법의 데이터를 통해 초탄성체의 햅틱 피드백을 구현하는 방법을 제안하고자 한다.

유한요소 해석은 구조물의 설계, 제작단계에서 기술적 결함 검출이나 재료 응력해석에 쓰인다. 이를 통해 구조물의 상태 및 힘을 예상할 수 있으며, 여기서 얻어지는 해석 힘 데이터를 햅틱 장치의 피드백에 사용하는 방법을 고안하게 되었다. 기존 유한요소 해석기법의 경우, 사용자가 해석 데이터를 얻기 위한 과정과 많은 계산량으로 시간이 소요되어 피드백을 위한 실시간 활용이 어렵다. 따라서 본 연구에서는 사전 해석을 통해 모델 DB를 구축하고 새로운 압입이 발생하였을 때, 빠른 해석이 가능한 POD-RBF 방식의 실시간 유한요소 해석기법[7]을 활용하여 데이터를 획득한다.

POD-RBF 해석 기법은 가상 환경내에서 적용이 가능하나, 원격 제어 환경에서 적용하기에는 사전해석 및 위치측정의 한계가 존재하기 때문에 본 논문에서는 한계점 극복을 위해 FT 센싱을 활용하여 보완하는 방법론을 제안한다. 또한 초탄성체의 압입 상황에서, 제안된 POD-RBF 햅틱 피드백을 가상 환경에서의 스프링 댐퍼 피드백과 원격 제어 환경의 FT 센서 햅틱 피드백과 비교하여 검증하고, 이를 피시험자로 하여금 각 환경의 피드백 유사도 비교하여 제안된 햅틱 피드백 시스템을 평가 및 검증한다.

2. 실시간 fem 햅틱 피드백

2.2 POD-RBF 햅틱 피드백 구현

2.2.1 POD-RBF 유한요소 해석 기법

일반적인 비선형 모델의 유한요소 해석은 지배방정식을 연립 방정식의 형태로 구성하고 이를 풀어서 해를 정확하게 얻어내는 방법이다. 하지만 비선형인 초탄성체 모델의 형태에 따라서 Mesh 개수와 절점 수가 많은 상황이나, 해석 방법을 내연적 유한요소법으로 사용할 시에 구조해석에서 풀게 되는 구성, 평형, 적합 방정식을 연립하여 만족하는 해를 구하기 때문에 해석하고자 하는 모델이 복잡한 조건에서는 반복계산에 따라 사용자가 해석 데이터를 얻어내는데 상당히 어려우면서도 오랜 계산 시간을 필요로 하게 된다. 햅틱 피드백은 빠른 속도의 입력 값이 중요하지만, 기존의 해석기법을 활용하기엔 상당한 시간이 소요되기 때문에, 본 논문은 피드백을 위한 해석기법으로 POD-RBF(Proper Orthogonal Decomposition-Radial Basis Function) 기법[7]을 사용한다. POD-RBF 기법은 오프라인 단계에서 Full order 모델의 해석을 통해 모델의 변위와 응력결과를 축소모델형식으로 구축하고 온라인 단계에서 다른 압입자 접촉 문제를 해석할 때, 기존에 구축된 축소모델 데이터를 바탕으로 근사과정을 통해 기존의 유한요소 해석 보다 빠르게 결과를 얻을 수 있다. 위 기법은 Fig. 1와 같이 새로운 하중 위치와 압입 변위를 설정하여 나타나는 변형을 ABAQUS 해석 데이터와 비교하였으며, ABAQUS에 비해 2norm의 오류와 30배 빠른 속도로 좋은 성능을 보여주었다. 탄성체 피드백을 위해선 해석 데이터의 신뢰성 및 빠른 해석 값이 필요하기 때문에 위 기법을 본 연구에서 활용한다.

Fig. 1.

Hyper-elastic solution; (a) Abaqus, (b) POD-RBF

2.2.2 해석 전제 조건 및 구현

앞선 설명과 같이 POD-RBF해석 기법은 모델의 사전해석을 통해서 해석 DB를 구축하기 때문에 온라인 단계에서 빠른 해석이 가능하다. 따라서 피드백 구현이전에 해석 대상인 초탄성체 모델을 선정하여 모델의 해석 DB를 사전 구축한다. 초탄성체는 경도가 낮은 재료로 선정하고 변화 양상이 뚜렷하게 관찰 되도록 반구형 돔으로 제작한다. 본 연구에서는 Sil-950(Smooth-on, USA)으로 모델을 제작하였으며, 제작된 초탄성체의 오프라인 사전 해석으로 해석 Raw 데이터를 구축하였다.

초탄성체의 사전 해석 DB를 통해 가상 환경에 모델을 생성한 상태에서 압입자로 가상 모델을 압입하는 새로운 문제를 해결할 때, 해석 데이터를 얻기 위해서는 초탄성체 모델의 원점을 기준으로 압입자가 모델에 접촉하는 최초 위치, 그리고 모델 압입 깊이 입력 변수가 필요하다.

가상 환경에서 초탄성체와 접촉하는 압입자는 사용자가 조작하는 햅틱 커서로, 커서와 모델의 접촉을 확인하기 위해서는 장치 커서 (H)와 가상 모델(O)사이의 거리(V)를 모델의 반지름(R₁)과 커서의 반지름(R₂)합과 비교한다.

$\[ V=\sqrt{{\left(O_x-H_x\right)}^2+{\left(O_y-H_y\right)}^2+{\left(O_z-H_z\right)}^2} \]$

(2)

이때 반지름의 합 크기보다 두 모델의 거리가 작거나 같을 경우, 접촉으로 판단하게 된다.

초탄성체의 사전 해석 DB의 경우, 모든 위치에서 같은 해석 데이터가 출력되는 것이 아니기 때문에 햅틱 커서가 모델에 접촉하여 압입할 때의 최초 접촉 위치가 중요한 입력 변수이다. Fig. 2처럼 햅틱 커서와 모델의 접촉 및 그 위치가 확인되었을때, 커서 압입 깊이에 따라 그에 상응하는 해석 출력 변수인 반력 힘 데이터(RF_x ,RF_y , RF_z)를 얻을 수 있다. 최종적으로 POD-RBF 해석을 통해 얻어진 힘 데이터를 장치의 피드백으로 주어 사용자에게 힘을 전달하게 된다.

Fig. 2.

Prerequisites for POD-RBF analysis techniques

2.3 원격 제어 환경의 센싱 활용법

2.3.1 원격 제어 환경 적용의 한계점

POD-RBF 해석을 원격 제어 환경의 초탄성체 압입 상황에 적용하기 위해서 제한되는 사항은 모델의 사전 해석 및 정확한 위치 측정이다. 실제 모델을 압입할 때 압입하고자 하는 모델마다 해석 및 물성치 정보를 사전에 획득해야 하기 때문에 실시간으로 적용하기란 어렵다. 또한 실제 모델과 사전 해석 모델의 정확한 좌표계 설정이나 모델에 압입이 발생할 때 압입자의 위치측정이 정확하게 이뤄지지 않으면, 실제 해석 데이터가 아닌 위치의 데이터가 출력되거나 접촉이 발생하지 않아도 사용자에게 힘이 전달될 수 있는 등의 한계가 존재한다.

2.3.2 FT 센싱의 햅틱 피드백 보완방법

원격 제어 환경에서도 POD-RBF 해석 햅틱 피드백을 구현하기 위해 FT 센싱과 융합해서 활용하는 방법론을 제안한다. FT 센서는 압입 시 힘을 측정할 수 있기에 원격 제어 환경에서 FT 센서 단일로도 피드백 구현이 가능하지만, 고가의 센서가 필요하며 센서 노이즈로 필터 사용이 요구되고 결국 신호지연으로 인해 피드백의 투명성이 저하되는 문제가 있다. 따라서 Fig. 3과 같이 저가의 FT 센서를 원격 조작이 가능한 매니퓰레이터에 장착하고, 압입자가 실제 모델에 접촉하였을 때 FT 센서에 모델 접촉 힘이 측정되면 접촉으로 간주하고, 매니퓰레이터의 실시간 위치 측정을 통해 압입자의 정확한 접촉 위치 및 압입 깊이를 획득하게 된다. 이를 통해 POD-RBF 해석을 통해서 햅틱 피드백 구현이 가능하다.

Fig. 3.

Remote control haptic feedback methodology

3. 실험 및 평가

3.1 실험 환경 구성

제안된 POD-RBF 해석 햅틱 피드백을 검증하고자 원격 제어 환경의 FT 센서 피드백 및 가상 환경의 스프링 댐퍼 피드백과 비교한다. 각 환경은 Fig. 4와 같이 동일한 압입 방법으로, 최초 접촉 위치를 모델의 원점 좌표를 기준으로 (0,0,55)(mm)위치에서 z축 방향으로 11.5(mm) 압입한다.

Fig. 4.

Defining the press-in experimental environment

본 연구에선 피드백을 위한 햅틱 장치로 Touch X(3D SYSTEMS, USA)를 활용하였다. Touch X는 x, y, z, roll, pitch, yaw 6자유도 움직임으로 위치 분해능 0.023(mm)로 정밀 위치 입력이 가능하며, 사용자에게 최대 7.9N의 힘 피드백이 가능하다.

원격 제어 환경에서는 FT센서가 장착된 매니퓰레이터와 햅틱장치를 연동하고 초탄성체와 매니퓰레이터의 접촉이 발생하면 FT 센서로 반력 데이터를 측정함과 동시에 햅틱 장치에 피드백이 발생한다. 가상 환경에서의 스프링 댐퍼 피드백은 초탄성체와 유사한 성질인 고무의 stiffness계수 0.99와 damping계수 0.94[8]로 사전 정의하여 접촉위치와 속도에 따라 피드백을 받게 된다. 각 피드백에서 출력되는 데이터를 비교할 시, 스프링 댐퍼 시스템의 압입 시 출력되는 힘 데이터는 본 연구에 활용한 햅틱 장치의 최대 출력 힘인 7.9 N에 비례하여 계산되기 때문에, FT센서 데이터와 POD-RBF해석 데이터는 다음 식으로 정규화하여 비교하였다.

$\[ F_n=\frac{F^{\mathrm{*}}{h}_{max}}{F_{max}} \]$

(3)

여기서, h_max는 장치의 최대 출력 힘이며, F는 FT센서와 POD-RBF해석 힘이다. 이때 F_max는 모델 최대 반발력으로 이는 가상환경에서 POD-RBF해석 결과에 따라 압입 깊이 25 mm에서 탄성체 변형의 한계가 존재하는데, 본 연구에서는 이 시점의 힘 43.9748 N을 최대 반발력으로 정의하여 정규화하였다.

3.2 데이터 비교 결과

각 환경의 피드백 데이터는 Fig. 5와 같다. 각 환경의 x, y축 힘 데이터의 경우, 접촉위치를 (0,0,55)(mm)로 사전 정의한 상태에서 z축 방향으로 압입하였기 때문에 FT센서의 경우, 0N에서 ±0.03N, 스프링 댐퍼는 ±0.07N의 오차를 보였으며 POD-RBF해석은 ±5.95251e^-6 N으로 계산 및 측정결과 데이터가 0N으로 수렴하였다. 또한, 스프링 댐퍼 피드백의 z축 방향 최대 힘은 7.8241N으로 출력되었고, 이에 비해 정규화된 FT센서 힘은 4.2577N, POD-RBF해석 힘은 4.5069N 으로 해석 데이터와 FT 센서 데이터가 0.2492N의 오차로 유사 값을 나타내어 해석 피드백의 신뢰도를 확인하였다. 스프링 댐퍼 피드백은 실제 sil-950모델과 고무의 물성치 차이를 고려하더라도 해석 데이터 및 FT센서 측정 데이터와 큰 차이를 보여 위 방법만으로는 초탄성체의 햅틱 피드백을 구현하기 어려울 것으로 예상된다. POD-RBF해석 데이터는 FT센서 및 스프링 댐퍼 시스템에 비해 피드백의 선형성을 보여 다른 햅틱 피드백에 비해 장치의 불안정성이 최소화되었다는 것을 확인하였다.

Fig. 5.

Comparison of Force data by environment

3.3 피드백 유사성 비교평가

원격 제어 환경에서의 FT센서 데이터 피드백과 가상 환경의 스프링 댐퍼 피드백을 각각 제안된 POD-RBF해석 햅틱 피드백과 비교하여, 구현된 해석 피드백을 피시험자가 평가한다. 비교방법의 경우, 실제모델과 가상모델의 재질 및 압입 피드백을 비교한 연구[9]를 참고하여 구성하였다.

햅틱에 대한 경험이 있는 5명과 경험이 없는 5명, 총 10명의 피시험자를 선정하였으며, 피시험자들은 두 피드백 시스템의 탄성체를 압입하여 피드백의 유사성을 평가하도록 한다. 각 실험전, 피시험자들에게 실험 절차에 대해 설명하여 숙지하도록 하였다.

평가 방법은 다음과 같다. Fig, 6와 같이 피시험자들은 안대와 백색소음 헤드폰을 착용하여 시각적 청각적 정보를 차단한 상태에서 두 비교군의 피드백을 경험하게 되며, 이때 피시험자는 각 비교군 피드백 대상을 알 수 없도록 한다. 피시험자는 두 비교군을 압입한 후 유사성을 0에서 10까지로, 피드백의 불일치를 느끼면 0, 피드백의 유사함을 느끼면 10으로 평가한다. 비교 실험은 피시험자마다, 피드백이 같은 비교군 3번, 피드백이 다른 비교군 각 3번, 총 9번의 평가를 진행하였다.

Fig. 6.

Environment for comparison of feedback

비교결과는 다음과 같다. Fig. 7은 같은 피드백 모델끼리 비교한 결과로 동일한 피드백을 느낌에도 불구하고 피시험자들의 평가점수 평균이 7.93점을 나타냈다. 피시험자들은 동일 피드백을 항상 같다고 느끼는 것이 아닌 유사하다고 판단하여 이를 통해 피시험자의 피드백에 심리적인 요인이 작용한다는 것을 확인할 수 있다.

Fig. 7.

Comparison of same feedback of the tester

Fig. 8의 (A-B)는 원격 제어 환경의 FT 센서 측정 피드백과 본 연구의 POD-RBF 해석 피드백을 비교평가한 결과로, 평균점수는 7.33점으로 나타났다. 이는 같은 피드백 비교점수와 유사하며, 피드백을 느끼는 것에 심리적 요인이 작용하는 것을 고려하면, 구현된 피드백과 FT 센서 측정 피드백이 피시험자가 느끼기에 유사하면서 실제와 비슷한 느낌을 주었다고 할 수 있다. 이와 대조적으로 (A-C)는 가상 환경의 스프링 댐퍼 피드백과 비교평가 결과로, 평균 점수가 2.83점으로 나타나 대부분의 피시험자가 두 피드백 모델을 구별해냈다. 실제 초탄성체와 고무의 물성치 차이가 존재하나, 오차를 고려하더라도 피시험자들이 차이를 명확하게 느낄 정도이기 때문에 추가적인 계수나 시스템이 없다면 기존 스프링 댐퍼 시스템만으로는 초탄성체 표현이 어려울 것으로 판단된다.

Fig. 8.

Comparison of different feedback of the tester

4. 결 론

본 연구에서는 초탄성체의 햅틱 피드백 구현을 위해 POD-RBF 유한요소 해석 데이터를 장치의 피드백으로 표현하는 시스템을 구현 및 평가하였다. 가상 환경에서는 본 연구의 POD-RBF 해석 기법을 통해 기존 스프링 댐퍼 피드백을 대체하였으며, 원격 제어 환경에서의 적용을 위한 FT 센싱의 적용 방법론을 제안하였다. POD-RBF기법을 활용한 햅틱 피드백 시스템으로 각 환경에 맞게 보완한다면, 초탄성체의 다양한 해석 문제에 적용 가능할 것으로 예상된다.

Acknowledgments

본 연구는 ‘기초연구실지원사업’의 일환인 ‘실시간 유한요소 해석 기반 증강현실 시스템 개발 연구실’ 과제(2019R1A4A102071513)로 수행됨

REFERENCES

• G. Poconbono, J. Lombardo, H. Delingette, and N.Ayache, “Anisotropic elasticity and force extrapolation to improve realism of surgery simulation”, Proc. ICRA Millenn. Conf. IEEE Int. Conf. Robot. Autom., Vol. 1, pp. 596-602, 2000.
• M. Aggravi, D. A. L. Estima, A. Krupa, S. Misra, and C. Pacchierotti, “Haptic Teleoperation of Flexible Needles Combining 3D Ultrasound Guidance and Needle Tip Force Feedback”, Proc. of IEEE Robot. Autom. Lett., Vol. 6, No. 3, pp. 4859-4866, 2021. [https://doi.org/10.1109/LRA.2021.3068635]
• U. Seibold, B. Kubler, and G. Hirzinger, “Prototype of Instrument for Minimally Invasive Surgery with 6-Axis Force Sensing Capability”, Proc. 2005 IEEE Int. Conf. Robot. Autom., pp. 496-501, 2005.
• K. Naveen and O. Jyoti, “Design of Haptic Interface Controller under Noise Uncertainty and Delay Condition”, Procedia Computer Science, Vol. 70, pp. 793-800, 2015. [https://doi.org/10.1016/j.procs.2015.10.119]
• S. Lee and H. Ahn, “Sensorless torque estimation using adaptive Kalman filter and disturbance estimator”, Proc. of 2010 IEEE/ASME Int. Conf. Mechaton. Embed. Syst. Appi., pp. 87-92, 2010. [https://doi.org/10.1109/MESA.2010.5552094]
• D. Bai, B. Chen, F. Qi, F. Ju, and Y. Wang, “A sensor-less contact torque estimation and haptic feedback method in minimally invasive surgery”, Proc. of Intell. Manuf. Robot., Vol. 16, No. 6, pp. 1729881419882201(1)-1729881419882201 (13), 2019. [https://doi.org/10.1177/1729881419882201]
• N. N. Minh and H. Kim, “A fast finite element simulation of non-linear static problems using POD-RBF interpolation method”, KSME 2019, pp. 1032-1034, 2019.
• K. Kim, J. Park, D. Lee, and N. Choi, “A double cantilever sandwich beam method far evaluating frequency dependence of dynamic modulus and damping factor of rubber materials”, Int. J. Ser. C. Mech. Syst. Machine. Elements. Manuf., Vol. 46, No. 2, pp. 666-674, 2003. [https://doi.org/10.1299/jsmec.46.666]
• A. Abdulali, I. R. Atadjanov, S. Lee, and S. Jeon, “Realistic haptic rendering of hyper-elastic material via measurement-based fem model identification and real-time simulation”, Comput. Graph., Vol. 89, pp. 38-49, 2020. [https://doi.org/10.1016/j.cag.2020.04.004]