Il est temps de réévaluer la façon dont nous évaluons la technologie numérique dans les soins de santé

Les méthodes d’évaluation traditionnelles sont souvent trop lentes, rigides et coûteuses pour le monde rapide de la santé numérique, écrit la professeure Kathrin Cresswell

Le NHS fait face à des défis importants et les technologies numériques ont le potentiel de les résoudre. Productivité – généralement définie comme la façon dont les sources existantes sont utilisées efficacement – elles sont souvent utilisées comme métrique de base pour évaluer le succès de la technologie.

Bien que les outils de santé numériques se soient développés, il existe peu de preuves d’une augmentation adéquate de la productivité globale du système de santé. Cela reflète le paradoxe de productivité ainsi appelé, identifié par l’économiste Robert Solow à l’âge de 80 ans, qui a déclaré: “Vous pouvez voir l’âge de l’ordinateur partout, mais dans les statistiques de productivité”.

La principale raison de cette déconnexion est que l’évaluation de l’impact des technologies numériques a tendance à mesurer des choses incorrectes, en évoluant sur ce qui est facilement quantifiable à court terme, plutôt que la transformation à long terme et les avantages émergents.

La productivité est généralement évaluée par des économies de temps, en particulier dans l’environnement clinique où les interventions sont évaluées sur la base de la façon dont elles affectent les cliniques de temps qui passent sur des tâches spécifiques.

Cela peut fonctionner lorsqu’il souhaite évaluer les résultats localisés à court terme résultant de l’automatisation de tâches spécifiques, telles que le temps nécessaire pour créer un résumé en utilisant le scribe environnant, mais le temps d’économie ne capture pas ce que les gens font avec le temps. Ils n’offrent que des mesures étroites et proxy – l’image.

L’évaluation de la productivité à travers les économies de temps ne fonctionne pas non plus pour les technologies numériques qui transforment la prestation de soins, y compris les grandes améliorations des infrastructures telles que les dossiers de santé électroniques (DSE).

Les avantages de transformation de ces technologies peuvent être inattendus (par exemple, l’espace physique enregistré par une réduction des notes de papier), il est difficile à mesurer (par exemple, les changements de flux de travail) et apparaissent très lentement parce que les organisations et les utilisateurs apprennent à s’adapter à un nouveau système et à utiliser sa fonctionnalité.

Ils nécessitent également généralement des transformations organisationnelles, un flux de travail de refonte et une adaptation comportementale de diverses parties, dont aucune n’est facilement mesurée. En conséquence, la productivité diminue souvent immédiatement après la mise en œuvre.

Alors, comment devrions-nous évaluer l’impact des technologies numériques dans les soins de santé?

Suivez des résultats inattendus

Tout d’abord, nous devons considérer la productivité non pas un avantage, mais un résultat à court terme qui peut entraîner des avantages davantage dans la ligne. Par exemple, le temps de la clinique sauvé (résultat) peut être tué pour une pause déjeuner plus longue, réduisant l’épuisement professionnel (avantage). Les modèles logiques spécifiant les entrées, activités, sorties, résultats et impacts peuvent être utiles à cet égard.

Deuxièmement, il est nécessaire de surveiller les résultats et les avantages inattendus – positifs et négatifs – comme ils apparaissent au fil du temps. Ces effets ne sont souvent devenus visibles que par l’utilisation dans le monde réel et dans une période plus longue, qui est au début plus difficile à prévoir.

Par exemple, le DSE a été initialement mis en œuvre pour soutenir la documentation clinique et le partage d’informations, mais leur valeur s’est développée depuis lors pour inclure l’utilisation secondaire, telles que l’analyse des données, la recherche et la supervision sur la santé publique.

Ces avantages n’ont pas été inclus dans la justification originale de l’adoption. Cela souligne l’importance de la révision et de la mise à jour des modèles logiques tout au long du cycle de vie de la technologie, permettant à l’impact de l’évolution avec l’utilisation de la technologie et au fil du temps.

Voir les avantages en contexte

Pour la troisième fois, les avantages devraient être perçus dans le contexte, de sorte que la comptabilité des transformations organisationnelles ou cliniques dans ce processus est essentielle. Nos propres recherches ont révélé que «l’avantage» n’est pas un terme neutre. Les bénéfices d’une partie – par exemple, l’amélioration de l’efficacité de l’organisation – signifient souvent des compromis ou en désaccord pour d’autres, tels que l’augmentation de la charge de travail pour la mise en service des données pour les cliniques.

De même, les processus de diagnostic plus rapides facilités par l’IA peuvent conduire à une étendue accrue des erreurs car les médecins exagèrent vers de nouvelles technologies. Ces compromis sont une partie inévitable de la transformation et peuvent compenser une augmentation localisée de la productivité, mais l’évaluation de l’impact doit en tenir compte pour évaluer l’impact global de la technologie sur les systèmes de santé.

Une étude contrôlée randomisée typique peut coûter jusqu’à 1 million de GBP et prendre deux ans

Si nous entendons sérieusement cela sur la transformation numérique – pas seulement l’automatisation – nous devons reconsidérer comment nous évaluons l’impact.

Les méthodes traditionnelles, en particulier les études contrôlées randomisées (ECR), sont souvent trop lentes, rigides et coûteuses pour le monde rapide de la santé numérique. Un ECR typique, considéré comme une étalon-or dans la génération de preuves, peut coûter jusqu’à 1 million de GBP et prendre deux ans. Il repose également sur des mesures résultant prédéfinies.

Bien que l’ECR soit efficace pour l’évaluation des médicaments et les interventions de la santé publique, ils sont mal adaptés pour évaluer l’impact des technologies numériques, en particulier les transformateurs.

En effet, les transformations numériques incluent de nombreuses parties participantes, se développe dans différents contextes et apporte souvent des avantages qui durent des années avant qu’il ne se déroule. L’impact n’est pas toujours linéaire ou prévisible et les méthodes d’évaluation traditionnelles tentent de capturer des résultats et des avantages émergents, indirects ou à long terme. Par conséquent, il est nécessaire de développer de nouvelles méthodes d’évaluation de l’impact.

Nous devons passer par la tension clé entre les besoins de mise en œuvre et les programmes de recherche: l’évaluation doit fournir des connaissances opportunes et pratiques afin de diriger des décisions en cours et d’investissement et en même temps générer une compréhension plus approfondie des effets de transformation à long terme de la technologie.

La clé pour résoudre ce dilemme devra être de créer une relation de travail plus étroite entre la mise en œuvre et la communauté académique.

Kathrin Cresswell est professeur d’innovation numérique en soins de santé et en soins à l’Université d’Édimbourg. Elle a été la principale travailleuse de recherche à évaluer le laboratoire NHS AI.