La FDA reçoit des commentaires mitigés sur la surveillance des performances de l’IA
Administration des aliments et des médicaments reçu plus de 100 commentaires après avoir trouvé des réponses sur la façon de surveiller les performances dans le monde réel l’intelligence artificielle dans les établissements de santé.
Les réactions étaient mitigées, les patients appelant à des rapports post-commercialisation plus stricts et les groupes médicaux arguant que les fabricants devraient être tenus responsables des rapports. Pendant ce temps, les fabricants d’appareils ont exhorté la FDA à utiliser ses cadres réglementaires existants au lieu d’imposer de nouvelles exigences.
L’accent mis par la FDA sur les performances réelles intervient alors que l’agence réfléchit à la manière de réglementer des technologies de plus en plus complexes, comme l’IA générativeet comment garantir les performances des modèles d’IA ne se dégrade pas avec le temps.
Les groupes industriels s’opposent aux exigences universelles du marché secondaire
Les groupes de pression Medtech et les entreprises individuelles ont appelé la FDA à utiliser les mesures de qualité existantes et une approche basée sur les risques plutôt que de mettre en œuvre des exigences universelles de surveillance post-commercialisation.
AdvaMed, un groupe industriel de dispositifs médicaux, a recommandé que la FDA utilise les exigences réglementaires existantes, telles que celles des réglementations sur le système de gestion de la qualité, ajoutant qu’elles fournissent des « mécanismes robustes » pour la validation de la conception et la surveillance après commercialisation.
“De nouvelles exigences redondantes ou prescriptives en matière de surveillance des performances des appareils d’IA pourraient nuire à la fois à la sécurité des patients et à l’innovation”, a écrit le groupe professionnel dans ses commentaires.
AdvaMed a plutôt appelé à une approche basée sur les risques, basée sur le système de gestion de la qualité et les normes consensuelles internationales, ajoutant qu’« il n’existe pas d’approche unique en matière de surveillance des performances des appareils d’IA ».
L’Association des fabricants de dispositifs médicaux a également appelé à une approche basée sur les risques, ajoutant que des exigences de surveillance spéciales ne devraient être utilisées que dans des circonstances particulières. Le groupe de pression a déclaré que les modèles d’IA verrouillés qui ne changent pas de manière autonome au fil du temps peuvent comporter moins de risques et ne nécessitent pas de surveillance après commercialisation.
“En revanche, les modèles d’apprentissage automatique continu qui se mettent à jour de manière autonome en fonction de nouvelles données peuvent introduire une complexité et des risques supplémentaires qui pourraient nécessiter des mécanismes de surveillance spécifiques au-delà des contrôles standard”, a écrit Mark Leahey, PDG de MDMA.
Olympus Corporation of the Americas a également appelé à utiliser les structures de gestion de la qualité existantes et Masimo a soutenu une approche basée sur les risques.
Les prestataires de soins de santé affirment que la surveillance devrait relever de la responsabilité des fabricants
Les hôpitaux et les groupes médicaux voient la nécessité d’une surveillance post-commercialisation des appareils d’IA, mais estiment que les fabricants devraient être responsables de ce travail. Les commentaires ont souligné le nombre croissant d’outils d’IA, mais ont également souligné que de nombreux hôpitaux manquent de ressources pour évaluer ou surveiller ces technologies.
L’American Hospital Association a écrit dans ses commentaires que les hôpitaux étendent leur utilisation des applications d’IA. Bien que la technologie soit principalement utilisée pour les outils administratifs, les dispositifs médicaux dotés d’intelligence artificielle sont également déployés.
“Le potentiel de biais, d’hallucinations et de dérive du modèle démontre la nécessité de mesures et d’évaluations après le déploiement”, a écrit Ashley Thompson, vice-présidente senior de l’AHA pour l’analyse et l’élaboration des politiques publiques.
Thompson a déclaré que la FDA devrait mettre à jour les mesures de déclaration des événements indésirables pour inclure les risques spécifiques à l’IA. L’AHA a également recommandé à la FDA d’ajouter des exigences de surveillance pour les fabricants, allant de la vérification périodique à la surveillance continue, en fonction du risque du dispositif. Le groupe de pression hospitalier a suggéré que la FDA concentre ses efforts sur les domaines à plus haut risque liés au diagnostic, au traitement ou à l’atténuation de la maladie, plutôt que sur l’aide à la décision clinique ou les outils administratifs.
“La nature de la “boîte noire” de nombreux systèmes d’IA peut rendre difficile pour les hôpitaux et les systèmes de santé d’identifier les défauts des modèles qui peuvent affecter l’exactitude et la validité des analyses et des recommandations de l’outil d’IA”, a écrit Thompson. “Des normes de mesure et d’évaluation post-commercialisation devraient donc être élaborées pour les fournisseurs.”
Thompson a ajouté que certains hôpitaux – en particulier les établissements ruraux et à accès critique – pourraient ne pas disposer du personnel ou des ressources nécessaires pour prendre en charge la gestion de l’IA et la surveillance continue.
L’American College of Surgeons a fait des commentaires similaires, encourageant la surveillance post-commercialisation mais déléguant cette responsabilité aux vendeurs, et non aux chirurgiens ou autres cliniciens.
Les patients réclament un suivi transparent
Les patients ont écrit à la FDA pour exiger une surveillance transparente et de meilleurs indicateurs de performance qui reflètent les expériences vécues par les gens.
“Lorsqu’un appareil d’IA tombe en panne, les patients le ressentent comme davantage de visites, plus de tests, une confusion quant aux raisons pour lesquelles leur plan de soins a changé, ou une angoisse mentale lorsque le résultat automatisé contredit ce qu’ils savent de leur propre corps”, a écrit Andrea Downing, co-fondatrice et présidente de Light Collective, une organisation à but non lucratif de défense des droits des patients dans le domaine des technologies de la santé.
« Du point de vue du patient, l’approbation n’est pas la ligne d’arrivée, mais la ligne de départ. Les patients doivent avoir l’assurance que ces dispositifs continueront de fonctionner de manière sûre et équitable une fois déployés.
Dan Noyès
Stratège en soins de santé en intelligence artificielle
Ces types de fardeaux apparaissent rarement dans les mesures de reporting traditionnelles, a écrit Downing, ajoutant que les évaluations des établissements devraient inclure des considérations telles que des rendez-vous supplémentaires, des retards dans les soins, une confusion sur le rôle de l’IA et une détresse émotionnelle ou mentale.
Dan Noyes, un stratège en soins de santé en IA, a mentionné son expérience personnelle avec une maladie chronique dans des commentaires à la FDA. Il a appelé les patients à être informés de la manière dont les outils d’IA sont impliqués dans leurs décisions en matière de soins, ainsi qu’à assurer la transparence dans la mise à jour des modèles et les tests sur différentes populations afin de garantir des performances équitables.
“Du point de vue du patient, l’approbation n’est pas la ligne d’arrivée, c’est la ligne de départ”, a écrit Noyes. « Les patients doivent avoir l’assurance que ces dispositifs continueront de fonctionner de manière sûre et équitable une fois déployés. »
