Comment juge-t-on les textes cliniques rédigés par l'IA en soins périopératoires : une revue de la portée des méthodes d'évaluation

Les hôpitaux commencent à utiliser des outils d'IA, comme ChatGPT, pour rédiger des textes destinés aux patients et aux cliniciens : réponses aux questions avant la chirurgie, consignes pour le rétablissement à domicile et résumés des antécédents d'un patient pour l'équipe d'anesthésie. Avant de pouvoir s'y fier, il faut vérifier si l'IA a vu juste. Cette revue examine la façon dont cette vérification est effectuée.

Il n'existe actuellement aucune méthode reconnue pour juger les textes médicaux rédigés par l'IA. Une étude peut confier la lecture des réponses à un seul médecin, une autre peut faire appel à un comité de spécialistes munis d'une grille de notation, et une autre encore peut demander à une seconde IA d'évaluer la première. Ces approches peuvent aboutir à des verdicts très différents sur un même texte; l'affirmation selon laquelle une IA « a donné de bons résultats » dépend donc fortement de la façon dont le test a été mené. La principale ligne directrice de déclaration pour la recherche en IA demande aux auteurs de décrire leur méthode, sans préciser ce qu'est une méthode rigoureuse.

Nous passons en revue chaque étude publiée en soins périopératoires dans laquelle une IA a rédigé ce type de texte, et nous consignons qui l'a jugé, combien de personnes l'ont fait, quelle norme a été utilisée, si les évaluateurs savaient quels textes provenaient de l'IA, s'ils étaient d'accord entre eux et si quelqu'un a vérifié que l'IA donne la même réponse d'une fois à l'autre. La revue couvre à la fois les soins d'anesthésie et l'information plus large que les patients reçoivent autour d'une opération.

La revue montrera où les méthodes d'évaluation actuelles sont solides et où elles présentent des lacunes. Elle jette aussi les bases de la prochaine étape, au cours de laquelle des anesthésiologistes et un évaluateur fondé sur l'IA noteront le même ensemble de textes rédigés par l'IA afin de mesurer leur degré de concordance. Ensemble, ces travaux ouvrent la voie à une norme pratique pour vérifier les textes rédigés par l'IA avant qu'ils ne parviennent à un patient.