Quand un algorithme médical se trompe, personne n’est vraiment responsable. Les avertissements de sécurité sont cachés, les outils sont entraînés sur des données synthétiques, et le droit n’a aucun précédent. Pendant ce temps, la FDA approuve plus de mille dispositifs IA sans cadre clair pour punir les défaillances.

• Aucune responsabilité claire quand une IA médicale commet une erreur de diagnostic
• Google cache les avertissements de sécurité santé derrière des boutons « Show more »
• Environ 50 % des dispositifs IA approuvés par la FDA depuis 2016 n’ont pas été entraînés sur des données réelles
• Trois obstacles juridiques majeurs : opacité algorithmique, clauses de décision finale, doctrines de préemption fédérale
• Absence d’obligation fédérale cohérente de surveillance post-marché

Le paradoxe du moment : l'IA progresse plus vite que le droit

L’erreur médicale a toujours existé. Un médecin qui se trompe peut être poursuivi. Mais l’erreur algorithmique est différente. Elle ne vient pas d’une fatigue ou d’une connaissance insuffisante, elle vient d’une boîte noire que nul, pas même le développeur, ne peut entièrement expliquer.

Un algorithme peut générer des informations fausses en les présentant comme factuelles, amplifier un biais caché dans ses données d’entraînement, ou simplement échouer sur un patient qui ne ressemble à personne dans l’ensemble de données original. Pour les patients en recherche d’information santé, c’est invisible. Pour les médecins qui intègrent ces outils à leur diagnostic, c’est un risque structurel.

L’ironie est saisissante : l’IA était censée réduire l’erreur humaine. Elle a créé une catégorie d’erreur que le système juridique n’a pas appris à reconnaître.

Cas d'école : Google Overviews cache les avertissements de sécurité

En février 2026, le Guardian a révélé comment Google présente ses conseils médicaux générés par IA : en haut des résultats de recherche, immédiatement visible, confiant, complet, et sans aucun avertissement de sécurité à première vue.

L’avertissement existe, mais il est relégué derrière un bouton « Show more » en police réduite, plus léger. Google reconnaît que l’absence de disclaimers au moment où les utilisateurs découvrent l’information médicale pose problème. Mais il continue.

Pourquoi c'est dangereux

Pat Pataranutaporn, chercheur au MIT, énonce le risque : « L’absence de disclaimers quand les utilisateurs reçoivent initialement une information médicale crée plusieurs risques critiques. Même les modèles d’IA les plus avancés aujourd’hui produisent encore des hallucinations. Dans un contexte de santé, c’est réellement dangereux. »

Sonali Sharma, de l’Institut d’IA en médecine de Stanford, pointe l’essentiel : « Ces Google AI Overviews apparaissent en haut de la page. Pour beaucoup de gens, parce que ce résumé unique est là immédiatement, cela crée un sentiment de confiance qui décourage la recherche ultérieure. »

Ce n’est pas un scandale Google unique. C’est révélateur d’un problème systémique : l’IA médicale s’est déployée comme un service de convenance, pas comme un outil médical. La confiance se crée par l’interface, non par la qualité.

Le vide juridique : qui paie quand ça rate ?

Imaginez ce scénario : un algorithme recommande un diagnostic, le médecin le suit, le patient subit un préjudice. Qui est responsable ?

La réponse juridique : probablement personne, ou tout le monde, selon la juridiction.

Une analyse du Stanford Human AI Institute de février 2024 l’établit clairement : les cas de responsabilité civile liés à des blessures physiques causées par l’IA ou les logiciels médicaux sont extraordinairement rares. Sur 803 affaires relevant de la technologie et des logiciels, seules 51 concernaient la responsabilité du produit — moins de 7 %. Les précédents manquent.

Trois obstacles juridiques structurels

Obstacle 1 : l’opacitéUn plaignant qui soupçonne une erreur algorithmique ne peut pas voir à l’intérieur du système. Il ne peut donc pas prouver le défaut de conception spécifique que tout jugement de responsabilité du produit exige. L’algorithme a produit une recommandation erronée ? C’est difficile à distinguer d’une simple erreur clinique.

Obstacle 2 : la clause de « décision finale »La plupart des contrats entre hôpitaux et développeurs placent la responsabilité de la décision finale chez le médecin. L’IA est présentée comme une aide, pas une décision. Si quelque chose tourne mal, le médecin a suivi la recommandation de l’IA ; le développeur répond « c’était une aide, pas une décision ». Personne n’est clairement responsable.

Obstacle 3 : les doctrines de préemption fédéralePour les dispositifs approuvés par la FDA, les tribunaux hésitent souvent à permettre des poursuites civiles, par crainte de contrevenir à la réglementation fédérale. Si la FDA a approuvé un outil, l’utilisateur n’a-t-il pas déjà une forme de protection ?

Résultat net : les développeurs IA médicaux opèrent dans un vide où le droit les protège mieux que les patients.

Données d'entraînement : la faille silencieuse

Un fait troublant : environ 50 % des appareils IA approuvés par la FDA depuis 2016 n’ont pas été entraînés sur des données réelles de patients.

L'explosion des approbations

La croissance est vertigineuse :

Année	Appareils IA approuvés par an
2016	2
2024	69
Total (1995–2024)	Plus de 1 000

Une approbation ne signifie pas une validation en conditions réelles. Beaucoup d’outils ont été entraînés sur des données synthétiques, des données de laboratoire contrôlées, ou des datasets imparfaits.

Risques prévisibles

Un algorithme peut fonctionner parfaitement sur 100 000 patients de laboratoire mais échouer largement sur les patients réels, qui présentent des variabilités biologiques, culturelles et génétiques que les données d’entraînement n’ont jamais vues.

Selon un protocole d’étude publié dans JMIR Research Protocols (2024), le signalement des erreurs algorithmiques et des préjudices aux patients dans les essais cliniques d’IA médicale est variable et souvent absent. Il n’existe pas de standard cohérent pour détecter, analyser ou signaler quand un algorithme échoue pour certains groupes de patients.

Biais cachés et populations invisibles

L’étude souligne un danger spécifique : l’IA peut involontairement encoder des biais cachés, des corrélations fallacieuses qui semblent imperceptibles jusqu’à ce qu’elles se manifestent sur une population que l’algorithme n’a jamais bien « vue ».

Un algorithme de diagnostic peut être excellent en moyenne, mais échouer systématiquement pour les femmes, les personnes âgées, ou les minorités ethniques, si ses données d’entraînement n’en contenaient pas assez. Et personne ne le détecte, parce que personne n’a l’obligation de regarder.

Après le déploiement : qui contrôle l'IA en production ?

Une fois qu’un algorithme est déployé dans un hôpital, il fait des milliers de recommandations. Qui vérifie s’il commence à dériver ? Qui signale les défaillances ?

Le cadre théorique vs. la réalité

Le Stanford Human AI Institute propose un cadre à quatre niveaux : la probabilité et la nature des erreurs algorithmiques, la probabilité que les humains les détectent, le préjudice potentiel s’ils ne sont pas détectés, et la probabilité que les blessés obtiennent une indemnisation.

Sur le papier, c’est solide. En pratique, les hôpitaux n’ont pas d’obligation légale d’implémenter un monitoring post-déploiement robuste. Certains le font, beaucoup ne le font pas. Les algorithmes continuent de fonctionner tant qu’ils ne causent pas de catastrophe suffisamment médiatisée.

Même alors, il est difficile de prouver que c’était l’algorithme, et non le jugement humain, qui a échoué. C’est le paradoxe du monitoring invisible : plus l’IA est intégrée aux workflows cliniques, moins on peut la voir.

Les trois axes de réforme pour sortir du vide

La solution n’est pas d’arrêter l’IA médicale. Elle améliore certains diagnostics, réduit les temps de traitement, détecte des cancers trop petits pour l’œil humain. Le problème est qu’elle s’est déployée sans architecture de responsabilité.

Axe 1 : Contrats clairs et responsabilité explicite

Les accords entre hôpitaux et développeurs doivent préciser qui paie si un algorithme cause un préjudice, qui porte la responsabilité du défaut de monitoring, qui indemnise quoi. Actuellement, beaucoup de contrats laissent cette question ouverte ou la résolvent en faveur du développeur. Il faut l’inverser : responsabilité du développeur pour les erreurs prévisibles, responsabilité partagée pour les erreurs rares, responsabilité claire pour le défaut de surveillance.

Axe 2 : Régulation post-déploiement obligatoire

La FDA approuve les dispositifs, mais n’impose pas de surveillance continue une fois qu’ils sont en routine. Il faut un système de signalement obligatoire des erreurs algorithmiques et des préjudices, semblable à la pharmacovigilance pour les médicaments.

Les hôpitaux doivent alerter les autorités si l’algorithme commence à échouer, produit des résultats suspects, ou semble performer différemment selon les groupes patients.

Axe 3 : Transparence patient et consentement réel

Les patients doivent savoir quand une IA participe à leur diagnostic. Pas une phrase fine au bas d’un formulaire, mais une information claire et lisible expliquant ce que l’algorithme peut et ne peut pas faire. Le consentement informé, concept médical établi, doit s’appliquer à l’IA comme aux médicaments.

En bref : ce qu'on sait, ce qu'on ne sait pas

✓ Confirmé

Google cache les avertissements de santé dans ses résumés IA. Environ 50 % des appareils IA approuvés par la FDA n’ont pas été entraînés sur des données réelles. Les cas de responsabilité civile pour erreurs IA médicale sont exceptionnellement rares. Le signalement des défaillances algorithmiques est incohérent d’un hôpital à l’autre.

? Incertain

Le taux réel d’erreur diagnostique causée par l’IA en routine clinique. Combien de patients ont subi un préjudice lié à une erreur IA sans jamais engager de procès. L’efficacité réelle des systèmes post-déploiement dans les hôpitaux.

✗ Inconnu

Si les avertissements de sécurité changeaient réellement le comportement patient. Combien de développeurs d’IA ont réellement mis en place une indemnisation claire et une responsabilité contractuelle.

Ce qui pourrait changer cette trajectoire

Une décision de justice majeure établissant la responsabilité du développeur malgré la clause de « décision finale » médicale. Une obligation fédérale d’entraînement sur données réelles pour tous les appareils IA. Un réseau obligatoire de signalement des erreurs post-marché. Une série de scandales graves assez pour forcer la main des régulateurs.

En attendant, les algorithmes médicaux se multiplient. Les cadres juridiques restent vides.

FAQ

Qui est responsable quand une IA médicale se trompe ?

Actuellement : personne n’est clairement responsable. Les contrats placent la « décision finale » chez le médecin, tandis que les développeurs se protègent en présentant l’IA comme une « aide », pas une décision.

Pourquoi Google cache-t-il les avertissements santé dans ses résumés IA ?

Les avertissements existent mais sont derrière un bouton « Show more » en police réduite. Cela crée un sentiment de confiance qui décourage la recherche complémentaire.

Combien d'appareils IA médicaux sont entraînés sur des données synthétiques ?

Environ 50 % des dispositifs IA approuvés par la FDA depuis 2016 n’ont pas été entraînés sur des données réelles de patients.

Existe-t-il un système de signalement des erreurs IA après le déploiement ?

Non. Contrairement aux médicaments (pharmacovigilance), il n’existe pas d’obligation fédérale cohérente de surveillance post-marché.

Quels sont les trois obstacles juridiques principaux ?

(1) Opacité algorithmique (impossible de prouver le défaut de conception), (2) clauses de « décision finale » qui diluent la responsabilité, (3) doctrines de préemption fédérale qui protègent les dispositifs approuvés par la FDA.