Laparoscopy skills characterization through the learner's gesture analysis on training simulators
Caractérisation des compétences de laparoscopie sur simulateur d’entraînement, par analyse des gestes de l’apprenant
Résumé
In order to cause less post-operative complications, minimally invasive surgery (MIS) is largely preferred to open procedures. As a MIS modality, laparoscopy is therefore a central part of the practical knowledge for multiple surgical specialties. However, laparoscopy’s learning curve is steep and its practice heavily relies on specific tools and requires specific motor and cognitive abilities. Simulation training with an assessment of these abilities is crucial to improve or maintain these skills and make the first interventions on patients safer. The skill assessment is usually produced by a human mentor which is not always available and has its own bias. Some automatic assessment method also exits for which the most often encountered drawbacks are a lack of formative value and a lack of validity.In this thesis, we worked towards developing methods to provide an automatic, detailed, and formative assessment of laparoscopic skills. The proposed methods rely on the analysis of the laparoscopic instruments’ motions during the execution of ex vivo training exercises using deep learning models. We also investigated how some properties of the instruments’ motion indicate the expertise level of an individual for certain exercises.Data was collected in France and Norway to form the laparoscopic multi-centric assessment set (LaMAS). This dataset features the trials of 111 participants on 4 standardized exercises, two of which were designed for this thesis. The LaMAS also includes the Global Operative Laparoscopic Skills (GOALS) scores associated with each trial as a label for supervised machine learning methods.Among the automatic assessment methods developed in this thesis, we first explored the use of a multi-layer perceptron combined with motion metrics computation to predict a quantitative structured score. We tested our method with a widely used dataset for robotic laparoscopic skills assessment. Despite the relative simplicity of our model, we outperformed the previous best performing method for this task. We also showed that our method works well with non-robotic motion.One of our objectives was also to improve the formative value of automatic assessment. To this aim, we explored the use of explainable models based on deep prototype learning. Our model aims at providing not only an assessment of the skill level but also a video extract justifying the assessment with evidence that the corresponding segment of motion is found for the predicted skill level.Finally, we showed that the expertise level has significant impacts on concrete aspects of the instruments motions and that this impact is depends on the training exercise. These motion aspects are measured by motion metrics computed from the instruments’ trajectories such as speed or explored volume.
Afin de réduire les complications post-opératoires, la chirurgie minimalement-invasive (CMI) est largement préférée aux interventions ouvertes. En tant que modalité de CMI, la laparoscopie constitue donc une compétence centrale pour de nombreuses spécialités chirurgicales. Cependant, la courbe d'apprentissage de la laparoscopie est lente. Sa pratique repose fortement sur des outils spécifiques, sollicitant des capacités motrices et cognitives spécifiques. La formation par simulation, accompagnée d'une évaluation de ces capacités, est cruciale pour améliorer ou maintenir ces compétences et rendre les premières interventions sur les patients plus sûres. L'évaluation des compétences est généralement effectuée par un mentor humain expert en laparoscopie, qui n'est pas toujours disponible et peut introduire des biais. Il existe également des méthodes d’évaluations automatiques pour lesquels les principaux défauts rencontrés sont le manque de valeur pédagogique et le manque de validité.Dans cette thèse, nous avons travaillé au développement de méthodes visant à fournir une évaluation automatique, détaillée et pédagogique des compétences en laparoscopie. Les méthodes proposées reposent sur l’analyse des mouvements des instruments laparoscopiques lors de l'exécution d'exercices en entrainement ex vivo. Ces méthodes utilisent des techniques d’apprentissage profond. Nous avons également étudié comment certaines propriétés des mouvements des instruments peuvent indiquer le niveau d'expertise d'un individu pour certains exercices.Les données ont été collectées en France et en Norvège pour constituer le jeu de données multi-centrique d'évaluation laparoscopique (LaMAS). Ce jeu de données, comprend les essais de 86 participants sur 4 exercices standardisés, dont deux ont été conçus spécifiquement pour cette thèse. Le LaMAS inclut également les scores GOALS (Global Operative Laparoscopic Skills), associés à chaque essai, comme annotations pour le développement de méthodes d’apprentissage supervisée.Parmi les méthodes d'évaluation automatique développées dans cette thèse, nous avons d'abord exploré l’utilisation d’un perceptron multi-couches combiné au calcul de métriques du mouvement pour prédire un score structuré. Nous avons testé notre méthode sur un jeu de données largement utilisé pour l’évaluation des compétences en laparoscopie robotique. Malgré la simplicité relative de notre modèle, nous avons surpassé la méthode précédente ayant obtenu les meilleurs résultats pour cette tâche. Nous avons également montré que notre méthode fonctionne bien avec des mouvements non robotiques.Afin d’améliorer la valeur pédagogique de l'évaluation automatique. Pour cela, nous avons exploré l’utilisation de modèles explicables basés sur l’apprentissage profond par prototypes. Notre modèle vise non seulement à fournir une évaluation du niveau de compétence, mais aussi à extraire une séquence vidéo justifiant l’évaluation, en montrant un segment de mouvement correspondant au niveau de compétence prédit.Enfin, nous avons étudié l’impact du niveau d'expertise sur certains aspects concrets du mouvement des instruments en fonction de l'exercice d’entrainement. Ces propriétés mouvements sont mesurées à l'aide de métriques calculé à partir des trajectoires des instruments, telles que la vitesse ou le volume exploré.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |
