Plus de 350 000 véhicules Tesla sont rappelés par la National Highway Traffic Safety Administration en raison de préoccupations concernant leur logiciel d’assistance à la conduite autonome, mais ce n’est pas un rappel typique. Le correctif sera expédié « over the air » (ce qui signifie que le logiciel sera mis à jour à distance et que le matériel n’a pas besoin d’être adressé).
Missy Cummings considère la nature volontaire du rappel comme un signe positif que Tesla est disposé à coopérer avec les régulateurs. Cummings, professeur au département d’informatique de l’Université George Mason et elle-même ancienne régulatrice de la NHTSA, a parfois fait valoir que les États-Unis devraient procéder avec plus de prudence sur les véhicules autonomes, suscitant la colère d’Elon Musk, qui l’a accusée d’avoir des préjugés contre son entreprise.
Cummings considère également ce rappel comme une histoire de logiciel : la NHTSA entre dans un espace réglementaire intéressant, peut-être inexploré. « Si vous publiez une mise à jour logicielle – c’est ce qui va se passer avec Tesla – comment garantissez-vous que cette mise à jour logicielle ne causera pas de problèmes plus graves ? Et que cela résoudra les problèmes qu’il était censé résoudre ? » elle me demanda. « Si Boeing n’avait jamais eu à montrer comment ils ont réparé le 737 Max, seriez-vous monté dans leur avion ? »
Cummings et moi avons discuté de cela et plus encore au téléphone.
Nos conversations ont été condensées et modifiées pour plus de clarté.
Caroline Mimbs Nyce : Quelle a été votre réaction à cette nouvelle ?
Mademoiselle Cummings : Je pense que c’est bien. Je pense que c’est la bonne décision.
Nycé : Avez-vous été surpris du tout?
Cumming : Non. C’est un très bon signe, pas seulement à cause des nouvelles spécifiques selon lesquelles ils essaient de rendre la conduite autonome plus sûre. C’est aussi un signal très important que Tesla commence à grandir et à se rendre compte qu’il vaut mieux travailler avec l’agence de régulation que contre elle.
Nycé : Vous voyez donc le fait que le rappel était volontaire comme un signe positif de la part d’Elon Musk et de son équipe ?
Cumming : Oui. Vraiment positif. Tesla se rend compte que, juste parce que quelque chose ne va pas, ce n’est pas la fin du monde. Vous travaillez avec l’organisme de réglementation pour résoudre les problèmes. Ce qui est vraiment important, parce que ce genre d’interaction positive avec l’organisme de réglementation va les préparer à une bien meilleure voie pour faire face aux problèmes qui vont inévitablement surgir.
Cela étant dit, je pense qu’il y a encore quelques problèmes délicats. La liste des problèmes et des corrections demandés par la NHTSA était assez longue et détaillée, ce qui est bien, sauf que je ne vois tout simplement pas comment quelqu’un peut réellement y parvenir en deux mois. Ce délai est un peu optimiste.
C’est un peu le Far West pour les organismes de réglementation dans le monde de l’autocertification. Si Tesla revient et dit : « D’accord, nous avons tout corrigé avec une mise à jour en direct », comment savons-nous que cela a été corrigé ? Parce que nous laissons les entreprises s’auto-certifier en ce moment, il n’y a pas de mécanisme clair pour s’assurer que ce correctif a bel et bien été mis en place. Chaque fois que vous essayez de créer un logiciel pour résoudre un problème, il est très facile d’en créer d’autres.
Nycé : Je sais qu’il y a une question philosophique qui a été soulevée auparavant, qui est, Combien devrions-nous avoir cette technologie dans la nature, sachant qu’il y aura des bogues ? Avez-vous une position?
Cumming : Je veux dire, vous pouvez avoir des bugs. Chaque type de logiciel, même les logiciels des systèmes critiques pour la sécurité dans les voitures, les avions, les réacteurs nucléaires, va avoir des bogues. Je pense que la vraie question est, Dans quelle mesure pouvez-vous rendre ce logiciel résistant aux erreurs humaines inévitables à l’intérieur du code ? Donc, je suis d’accord avec les bogues dans les logiciels qui sont dans la nature, tant que l’architecture logicielle est robuste et permet une dégradation gracieuse.
Nycé : Qu’est-ce que cela signifie?
Cumming : Cela signifie que si quelque chose ne va pas, par exemple, si vous êtes sur une autoroute et que vous roulez à 80 milles à l’heure et que la voiture commande un virage à droite, il y a un code de secours qui dit : « Non, c’est impossible. Ce n’est pas sûr, parce que si nous devions tourner à droite à cette vitesse… » Donc, vous devez essentiellement créer des couches de sécurité au sein du système pour vous assurer que cela ne peut pas arriver.
Ce n’est pas seulement un problème de Tesla. Ce sont des techniques de codage assez matures, et elles prennent beaucoup de temps et beaucoup d’argent. Et je crains que les fabricants de véhicules autonomes ne soient dans une course pour sortir la technologie. Et chaque fois que vous vous précipitez pour obtenir quelque chose, les tests et l’assurance qualité sont toujours jetés par la fenêtre.
Nycé : Pensez-vous que nous sommes allés trop vite en donnant le feu vert aux choses qui sont sur la route ?
Cumming : Eh bien, je suis une personne assez conservatrice. C’est difficile de dire quoi feu vert signifie même. Dans un monde d’autocertification, les entreprises ont été autorisées à donner leur feu vert elles-mêmes. Les Européens ont un processus de pré-approbation, où votre technologie est pré-approuvée avant d’être lâchée dans le monde réel.
Dans un monde parfait – si Missy Cummings était la reine du monde – j’aurais mis en place un processus d’approbation préalable. Mais ce n’est pas le système que nous avons. Donc je pense que la question est, Compte tenu du système en place, comment allons-nous nous assurer que, lorsque les fabricants effectuent des mises à jour en direct des systèmes critiques pour la sécurité, cela résout les problèmes qu’il était censé résoudre et n’introduit pas de nouveaux problèmes liés à la sécurité ? Nous ne savons pas comment faire cela. Nous n’en sommes pas encore là.
D’une certaine manière, la NHTSA patauge dans de nouvelles eaux réglementaires. Cela va être un bon cas de test pour : Comment savoir si une entreprise a résolu avec succès des problèmes de rappel grâce à un logiciel ? Comment pouvons-nous nous assurer que c’est suffisamment sûr?
Nycé : C’est intéressant, d’autant plus que nous mettons plus de logiciels dans les choses qui nous entourent.
Cumming : C’est exact. Il n’y a pas que les voitures.
Nycé : Qu’avez-vous pensé des problèmes signalés par la NHTSA dans le logiciel de conduite autonome ? Avez-vous une idée de la raison pour laquelle ces choses seraient particulièrement difficiles d’un point de vue logiciel ?
Cumming : Pas tous, mais beaucoup sont clairement basés sur la perception.
La voiture doit être capable de détecter correctement les objets dans le monde afin de pouvoir exécuter, par exemple, la bonne règle d’action. Tout cela repose sur une perception correcte. Si vous voulez identifier correctement les panneaux dans le monde—je pense qu’il y avait un problème avec les voitures qui reconnaissaient parfois mal les panneaux de limitation de vitesse—c’est clairement un problème de perception.
Ce que vous devez faire, c’est beaucoup de recyclage sous le capot de l’algorithme de vision par ordinateur. C’est le gros problème. Et je dois vous dire que c’est pourquoi je me suis dit : « Oh, mince, ça va prendre plus de deux mois. » Je sais qu’en théorie, ils ont de grandes capacités de calcul, mais au final, certaines choses prennent du temps. Je dois vous dire, je suis tellement reconnaissant de ne pas être sous le feu là-bas.
Nycé : Je voulais revenir un peu en arrière – si c’était le monde de Missy, comment feriez-vous le déploiement réglementaire sur quelque chose comme ça ?
Cumming : Je pense que dans mon monde, nous ferions un processus d’approbation préalable pour tout ce qui contient de l’intelligence artificielle. Je pense que le système que nous avons actuellement est bon si vous retirez l’IA de l’équation. L’IA est une technologie non déterministe. Cela signifie qu’il ne fonctionne jamais deux fois de la même manière. Et il est basé sur un code logiciel qui peut être truffé d’erreurs humaines. Donc, chaque fois que vous avez ce code qui touche des véhicules qui se déplacent dans le monde et peuvent tuer des gens, il a juste besoin de tests plus rigoureux et de beaucoup plus de soins et d’alimentation que si vous développiez simplement un algorithme de base pour contrôler la chaleur dans la voiture.
Je suis un peu enthousiasmé par ce qui vient de se passer aujourd’hui avec cette nouvelle, car cela va inciter les gens à commencer à discuter de la façon dont nous traitons les mises à jour en direct lorsqu’elles touchent des systèmes critiques pour la sécurité. C’est quelque chose que personne ne veut vraiment aborder, parce que c’est vraiment difficile. Si vous publiez une mise à jour logicielle – c’est ce qui est sur le point de se produire avec Tesla – comment garantissez-vous que cette mise à jour logicielle ne causera pas de problèmes plus graves ? Et que cela résoudra les problèmes qu’il était censé résoudre ?
Que doit prouver une entreprise ? Ainsi, par exemple, si Boeing n’avait jamais eu à montrer comment ils ont réparé le 737 Max, seriez-vous monté dans leur avion ? S’ils disaient juste : « Ouais, je sais qu’on s’est écrasé quelques fois et beaucoup de gens sont morts, mais on a réparé ça, faites-nous confiance », monteriez-vous dans cet avion ?
Nycé : Je sais que vous avez subi du harcèlement au fil des ans de la part du fandom Musk, mais vous êtes toujours au téléphone pour me parler de ce genre de choses. Pourquoi continuez-vous?
Cumming : Parce que c’est vraiment important. Nous n’avons jamais été dans un endroit plus dangereux dans l’histoire de la sécurité automobile, sauf peut-être juste au moment où les voitures ont été inventées et nous n’avions pas encore compris les feux de freinage et les phares. Je ne pense vraiment pas que les gens comprennent à quel point un monde d’autonomie partielle avec des humains sujets à la distraction est dangereux.
Je dis tout le temps aux gens : « Écoutez, j’enseigne à ces étudiants. Je ne monterai jamais dans une voiture que l’un de mes étudiants a codée parce que je sais exactement quels types d’erreurs ils introduisent dans le système. Et ce ne sont pas des erreurs exceptionnelles. Ce ne sont que des humains. Et je pense que ce que les gens oublient, c’est que les humains créent le logiciel.