Augmented Reality-based Surgical Navigation with Dynamic Modeling for Arthroscopy

Abstract

Minimally invasive arthroscopy has advantages in small injuries and rapid patient recovery, leading to an annual increase in arthroscopic surgeries. However, arthroscopy has a long learning curve for surgeons, with a high complication rate. Difficulties in arthroscopy can be overcome using augmented reality (AR)-based surgical navigation. However, the intraoperative joint condition is different from preoperative computed tomography (CT) or magnetic resonance (MR) due to the motion applied during surgery, and inaccurate AR occurs. This study aims to present a real-time and non-invasive AR-based surgical navigation for arthroscopy based on a kinematic and dynamic approach-based bone movement compensation algorithm. Considering the distinct anatomical structures and surgical environment of arthroscopic surgeries, we developed both kinematic and dynamic approaches. For the kinematic approach, we proposed patient-specific virtual bone links with non-invasive artificial landmarks, and wrist arthroscopy was selected as the application of this approach. Two non-invasive fiducial markers were attached to the back of the hand before surgery to measure the effect of wrist traction during surgery. In addition, two virtual links were implemented to connect the wrist bones aligned in the direction of the fingers. When wrist traction occurs during the operation, the displacement of the fiducial marker is measured, and bone movement compensation is applied to move the virtual links. The effectiveness of the proposed kinematic approach-based bone movement compensation for the wrist was verified using in vivo CT data of 10 participants. The camera calibration for the arthroscope was performed to introduce AR, and a patient-specific template was used for registration between the patient and the wrist bone model. Regarding the dynamic approach, we propose a patient-specific association model between the finite element models of the joint surface and internal bones, and the ACL and PCL reconstruction among knee arthroscopy was selected as the application of this approach. In the association model, the knee surface and internal bones were modeled as hexahedron and tetrahedron linear elastic finite elements based on the extension state of preoperative knee CT. The association model propagates the displacement of the knee surface model and the reaction force of the internal bone model each other. When knee flexion occurs during operation, the real-time shape of the knee surface is measured using a Red-Grean-Blue-Depth (RGBD) camera, and the association model is accordingly deformed using the collected data. The proposed kinematic approach-based bone movement compensation method for the knee was verified with the in vivo CT data of 6 participants. To introduce AR, the Iterative Closest Points (ICP) algorithm was used for registration between the patient and the association model. The proposed method successfully compensates for the movement of the wrist and knee bones with an accuracy of 1.4 mm and 3.85 mm margin, respectively. In addition, a phantom experiment was introduced, simulating the real surgical environment. In the wrist, the proposed method allowed accurate AR visualization of the concealed bones and expansion of the limited field of view (FOV) of the arthroscope. In the knee, it was possible to guide the drilling position determined from the preoperative CT accurately. In addition, the proposed method directly visualized the location of the lateral and medial epicondyle of the femur, which required palpation in standard knee arthroscopy. The proposed bone movement compensation can also be applied to other joints, such as the ankle or shoulders, by representing their bone movements using corresponding virtual bone links or association models.|본 논문은 수술 중에 발생하는 관절의 움직임을 반영하는 증강현실 기반 수술 내비게이션 구현에 대해 다룬다. 관절경 수술은 절개 부위가 작아 환자의 회복이 빠르고, 고령화 등의 영향으로 매년 수술 건수가 증가하고 있다. 하지만 관절경 수술은 시야가 좁고 기구의 움직임이 제한되어 학습곡선이 길고 합병증 비율이 높다. 증강현실 기반 수술 내비게이션으로 주요 해부학적 구조물인 뼈의 위치를 안내하면 관절경 수술의 난이도를 낮출 수 있다. 관절은 수술 기구 진입 등을 위해 수술 중에 움직이기 때문에 수술 전에 촬영된 의료영상을 증강현실에 바로 사용하면 큰 오차가 발생한다. 따라서 이 연구는 관절경 수술을 위해 실시간으로 관절 내부 뼈의 움직임을 보정하는 알고리즘을 개발하고 증강현실 시각화에 사용한다. 관절마다 해부학적 구조가 다르고 수술 환경도 다르기 때문에 운동학적 및 동역학적 방법이 각각 개발되어 수술 환경에 맞는 방법을 고를 수 있도록 하였다. 손목 관절경 수술을 예시로 한 운동학적 방법에선 손가락 방향으로 정렬된 뼈들을 연결하는 두 개의 가상 링크와 손등에 부착되는 비침습 마커가 제안되었다. 수술 중 기구 삽입 공간 확보를 위해 손목 견인이 발생하면 비침습 마커의 이동 거리와 역기구학을 사용하여 가상 링크를 견인 방향으로 움직인다. 제안된 방법은 10명의 실험 참여자 CT (Computed Tomography)를 사용하여 평가되었다. 증강현실 시각화를 위해 관절경의 카메라 파라미터가 계산되었고 환자의 손목 형판을 사용하여 환자와 뼈 모델 사이 좌표계를 통일했다. 무릎 관절경 수술을 예시로 한 동역학적 방법에선 관절 표면과 내부 뼈의 유한요소모델 사이 상관모델이 제안되었다. 상관모델에서 관절 표면 모델은 변형 정보를 전파하고, 내부 뼈 모델은 변형에 따라 발생하는 힘을 전파한다. 수술 중에 무릎 굽힘 운동이 발생하면, 관절 표면의 변형은 깊이 카메라를 통해 실시간으로 측정되고, 상관 모델은 측정된 데이터를 사용하여 변형된다. 제안된 방법은 6명의 실험 참여자 CT를 사용해서 평가되었다. 증강현실 시각화를 위해 반복 최근접점 알고리즘을 사용하여 환자와 뼈 모델 사이 좌표계를 통일했다. 제안된 수술 중 관절 움직임 보정 알고리즘은 각각 1.4 mm와 3.85 mm의 오차를 보였다. 실제 수술 환경과 비슷하게 준비된 모형 실험에서 제안된 증강현실 기반 수술 내비게이션은 관절경의 시야를 확장했고 다른 구조물에 막혀 직접 보이지 않는 뼈의 형태를 시각화 했다. 특히 손목은 직경 2 mm의 작은 관절경이 사용되기 때문에 증강현실을 통한 시야 확장은 중요하다. 무릎에서는 기존에 촉진을 통해 위치를 찾아야 했던 대퇴골의 상과를 직접 시각화 함으로써 전방 및 후방 십자 인대 재건술을 위한 드릴링 위치를 직관적으로 안내할 수 있었다.