L'IA a suggéré 40 000 nouvelles armes chimiques possibles en seulement six heures

Il a fallu moins de six heures à l'IA qui développe des médicaments pour inventer 40 000 molécules potentiellement mortelles. Les chercheurs ont mis l'IA normalement utilisée pour rechercher des médicaments utiles dans une sorte de mode “mauvais acteur” pour montrer à quel point il pouvait facilement être abusé lors d'une conférence sur le contrôle des armements biologiques.

Tous les chercheurs avaient à faire était de peaufiner leur méthodologie pour rechercher, plutôt que d'éliminer la toxicité. L'IA a mis au point des dizaines de milliers de nouvelles substances, dont certaines sont similaires au VX, l'agent neurotoxique le plus puissant jamais développé. Secoués, ils ont publié leurs découvertes ce mois-ci dans la revue Nature Machine Intelligence.

L'article de The Verge nous a un peu secoués

Le journal nous a également un peu secoués à The Verge. Donc, pour comprendre à quel point nous devrions être inquiets, The Verge s'est entretenu avec Fabio Urbina, auteur principal de l'article. Il est également chercheur principal chez Collaborations Pharmaceuticals, Inc., une société qui se concentre sur la recherche de traitements médicamenteux pour les maladies rares.

Cette interview a été légèrement modifiée pour plus de longueur et de clarté.

Cet article semble renverser votre travail normal. Parlez-moi de ce que vous faites dans votre travail quotidien.

Mon travail consiste principalement à mettre en œuvre de nouveaux modèles d'apprentissage automatique dans le domaine de la découverte de médicaments. Une grande partie de ces modèles d'apprentissage automatique que nous utilisons sont destinés à prédire la toxicité. Peu importe le type de médicament que vous essayez de développer, vous devez vous assurer qu'il ne sera pas toxique. S'il s'avère que vous avez ce merveilleux médicament qui abaisse la tension artérielle de manière fantastique, mais qu'il touche l'un de ces canaux cardiaques très importants, disons, alors fondamentalement, c'est interdit parce que c'est tout simplement trop dangereux.

Alors, pourquoi avez-vous fait cette étude sur les armes biochimiques ? Quelle était l'étincelle ?

Nous avons reçu une invitation à la conférence Convergence de l'Institut fédéral suisse de protection nucléaire, biologique et chimique, Laboratoire de Spiez. L'idée de la conférence est d'informer la communauté dans son ensemble des nouveaux développements avec des outils qui peuvent avoir des implications pour la Convention sur les armes chimiques/biologiques.

Nous avons reçu cette invitation pour parler de l'apprentissage automatique et de la façon dont il peut être mal utilisé dans notre espace. C'est quelque chose auquel nous n'avions jamais vraiment pensé auparavant. Mais il était tout simplement très facile de réaliser qu'au fur et à mesure que nous construisons ces modèles d'apprentissage automatique pour mieux prédire la toxicité afin d'éviter la toxicité, tout ce que nous avons à faire est d'inverser l'interrupteur et de dire : “Vous savez , au lieu de s'éloigner de la toxicité, et si nous allions vers la toxicité ?”

Pouvez-vous m'expliquer comment vous avez fait cela : déplacer le modèle vers la toxicité ?

Je serai un peu vague avec certains détails, car on nous a essentiellement dit de retenir certains des détails. En gros, la façon dont cela fonctionne pour cette expérience est que nous avons historiquement beaucoup d'ensembles de données de molécules qui ont été testées pour voir si elles sont toxiques ou non.

En particulier, celui sur lequel nous nous concentrons ici est VX. C'est un inhibiteur de ce qu'on appelle l'acétylcholinestérase. Chaque fois que vous faites quoi que ce soit lié aux muscles, vos neurones utilisent l'acétylcholinestérase comme signal pour dire en gros “va bouger tes muscles”. La façon dont le VX est mortel est qu'il empêche en fait votre diaphragme, vos muscles pulmonaires, de pouvoir bouger, de sorte que vos poumons deviennent paralysés.

“De toute évidence, c'est quelque chose que vous voulez éviter.”

Évidemment, c'est quelque chose que vous voulez éviter. Donc historiquement, des expériences ont été faites avec différents types de molécules pour voir si elles inhibent l'acétylcholinestérase. Et donc, nous avons construit ces grands ensembles de données sur ces structures moléculaires et leur toxicité.

Nous pouvons utiliser ces ensembles de données afin de créer un modèle d'apprentissage automatique, qui apprend essentiellement quelles parties de la structure moléculaire sont importantes pour la toxicité et lesquelles ne le sont pas. Ensuite, nous pouvons donner à ce modèle d'apprentissage automatique de nouvelles molécules, potentiellement de nouveaux médicaments qui n'ont peut-être jamais été testés auparavant. Et il nous dira qu'il est prévu que ce soit toxique, ou qu'il est prévu que ce ne soit pas toxique. C'est un moyen pour nous de cribler virtuellement très, très rapidement un grand nombre de molécules et d'éliminer en quelque sorte celles qui sont censées être toxiques. Dans notre étude ici, ce que nous avons fait, c'est que nous avons inversé cela, évidemment, et nous utilisons ce modèle pour essayer de prédire la toxicité.

L'autre élément clé de ce que nous avons fait ici, ce sont ces nouveaux modèles génératifs. Nous pouvons donner à un modèle génératif un grand nombre de structures différentes, et il apprend à assembler des molécules. Et puis on peut, en quelque sorte, lui demander de générer de nouvelles molécules. Maintenant, il peut générer de nouvelles molécules dans tout l'espace de la chimie, et ce ne sont que des sortes de molécules aléatoires. Mais une chose que nous pouvons faire est de dire au modèle génératif dans quelle direction nous voulons aller. Nous le faisons en lui donnant une petite fonction de notation, qui lui donne un score élevé si les molécules qu'il génère vont vers quelque chose que nous voulons. Au lieu de donner une note faible aux molécules toxiques, nous donnons une note élevée aux molécules toxiques.

Maintenant, nous voyons le modèle commencer à produire toutes ces molécules, dont beaucoup ressemblent à du VX et aussi à d'autres agents de guerre chimique.

Dites-m'en plus sur ce que vous avez trouvé. Quelque chose vous a-t-il surpris ?

Nous ne savions pas vraiment ce que nous allions obtenir. Nos modèles génératifs sont des technologies assez récentes. Nous ne les avons donc pas beaucoup utilisés.

La chose la plus importante qui a sauté au début était qu'un grand nombre des composés générés étaient en fait plus toxiques que le VX. Et la raison pour laquelle c'est surprenant est que le VX est fondamentalement l'un des composés les plus puissants connus. Cela signifie que vous en avez besoin d'une très, très, très petite quantité pour être mortel.

Maintenant, ce sont des prédictions que nous n'avons pas vérifiées, et nous ne voulons certainement pas vérifier cela nous-mêmes. Mais les modèles prédictifs sont généralement assez bons. Donc, même s'il y a beaucoup de faux positifs, nous avons peur qu'il y ait des molécules plus puissantes.

KUALA LUMPUR, MALAISIE – 26 FÉVRIER 2017: L'équipe médico-légale de la police malaisienne, avec l'aide du service d'incendie et de la Commission des licences de l'énergie atomique, a balayé le terminal de l'aéroport international de Kuala Lumpur 2 à la recherche de produits chimiques toxiques après avoir annoncé vendredi que Kim Jong Nam avait été empoisonné par VX agent neurotoxique, qui est répertorié comme la forme la plus puissante d'agents neurotoxiques connue dans la guerre chimique. Photo de Rahman Roslan/Getty Images

Deuxièmement, nous avons en fait examiné de nombreuses structures de ces molécules nouvellement générées. Et beaucoup d'entre eux ressemblaient à des VX et à d'autres agents de guerre, et nous en avons même trouvé qui ont été générés à partir du modèle et qui étaient de véritables agents de guerre chimique. Ceux-ci ont été générés à partir du modèle n'ayant jamais vu ces agents de guerre chimique. Nous savions donc que nous étions en quelque sorte dans le bon espace ici et que cela générait des molécules qui avaient du sens car certaines d'entre elles avaient déjà été fabriquées auparavant.

Pour moi, la préoccupation était à quel point c'était facile à faire. Beaucoup de choses que nous avons utilisées sont gratuites. Vous pouvez aller télécharger un ensemble de données de toxicité de n'importe où. Si vous avez quelqu'un qui sait coder en Python et qui possède des capacités d'apprentissage automatique, alors probablement dans un bon week-end de travail, il pourrait créer quelque chose comme ce modèle génératif piloté par des ensembles de données toxiques. C'est donc ce qui nous a vraiment poussés à penser à publier ce document; c'était une barrière d'entrée si faible pour ce type d'abus.

Votre article indique qu'en faisant ce travail, vous et vos collègues “avez encore franchi une frontière morale grise, démontrant qu'il est possible de concevoir des molécules potentiellement toxiques virtuelles sans trop d'efforts, de temps ou de ressources informatiques. Nous pouvons facilement effacer les milliers de molécules que nous avons créées, mais nous ne pouvons pas supprimer la connaissance de la façon de les recréer. » Qu'est-ce qui vous passait par la tête pendant que vous faisiez ce travail ?

C'était une publication assez inhabituelle. Nous avons fait des allers-retours pour savoir si nous devrions le publier ou non. Il s'agit d'une utilisation abusive potentielle qui n'a pas pris autant de temps à effectuer. Et nous voulions diffuser cette information car nous ne la voyions vraiment nulle part dans la littérature. Nous avons regardé autour de nous et personne n'en parlait vraiment. Mais en même temps, nous ne voulions pas donner l'idée à de mauvais acteurs.

“Un agent adverse quelque part y pense peut-être déjà”

À la fin de la journée, nous avons décidé que nous voulions en quelque sorte prendre de l'avance. Parce que s'il nous est possible de le faire, il est probable qu'un agent adverse quelque part y pense peut-être déjà ou y pensera à l'avenir. D'ici là, notre technologie aura peut-être même progressé au-delà de ce que nous pouvons faire maintenant. Et une grande partie sera simplement open source – ce que je soutiens pleinement : le partage de la science, le partage de données, le partage de modèles. Mais c'est l'une de ces choses où nous, en tant que scientifiques, devons veiller à ce que ce que nous publions soit fait de manière responsable.

Est-il facile pour quelqu'un de reproduire ce que vous avez fait ? De quoi auraient-ils besoin ?

Je ne veux pas paraître sensationnaliste à ce sujet, mais il est assez facile pour quelqu'un de reproduire ce que nous avons fait.

Si vous deviez consulter les modèles génératifs de Google, vous pourriez trouver un certain nombre de modèles génératifs à une ligne mis en place que les gens ont publiés gratuitement. Et puis, si vous deviez rechercher des ensembles de données sur la toxicité, il existe un grand nombre d'ensembles de données toxicologiques open source. Donc, si vous combinez simplement ces deux choses, et que vous savez comment coder et créer des modèles d'apprentissage automatique – tout ce qui nécessite vraiment est une connexion Internet et un ordinateur – alors, vous pouvez facilement reproduire ce que nous avons fait. Et pas seulement pour VX, mais pour à peu près tous les autres ensembles de données de toxicité open source existants.

“Je ne veux pas paraître très sensationnaliste à ce sujet, mais il est assez facile pour quelqu'un de reproduire ce que nous avons fait.”

Bien sûr, cela nécessite une certaine expertise. Si quelqu'un devait assembler cela sans rien savoir de la chimie, il finirait probablement par générer des choses qui n'étaient pas très utiles. Et il reste encore la prochaine étape consistant à synthétiser ces molécules. Trouver un médicament potentiel ou une nouvelle molécule toxique potentielle est une chose ; la prochaine étape de la synthèse – créer en fait une nouvelle molécule dans le monde réel – serait un autre obstacle.

Bien, il y a encore de grands sauts entre ce que l'IA propose et le transformer en une menace réelle. Quelles sont les lacunes ?

La grande lacune pour commencer est que vous ne savez vraiment pas si ces molécules sont réellement toxiques ou non. Il y aura une certaine quantité de faux positifs. Si nous nous promenons à travers ce qu'un mauvais agent penserait ou ferait, il devrait prendre une décision sur laquelle de ces nouvelles molécules il voudrait finalement synthétiser.

En ce qui concerne les voies de synthèse, cela pourrait être un succès ou un échec. Si vous trouvez quelque chose qui ressemble à un agent de guerre chimique et que vous essayez de le synthétiser, il y a de fortes chances que cela ne se produise pas. Un grand nombre des composants chimiques de ces agents de guerre chimique sont bien connus et surveillés. Ils sont réglementés. Mais il y a tellement de sociétés de synthèse. Tant qu'il ne ressemble pas à un agent de guerre chimique, ils vont probablement le synthétiser et le renvoyer immédiatement, car qui sait à quoi sert la molécule, n'est-ce pas ?

Vous y reviendrez plus tard dans l'article, mais que peut-on faire pour empêcher ce type d'utilisation abusive de l'IA ? Quelles garanties souhaiteriez-vous voir mises en place ?

Pour le contexte, il existe de plus en plus de politiques sur le partage des données. Et je suis tout à fait d'accord avec ça parce que ça ouvre plus de pistes de recherche. Il permet à d'autres chercheurs de voir vos données et de les utiliser pour leurs propres recherches. Mais en même temps, cela inclut également des éléments tels que des ensembles de données sur la toxicité et des modèles de toxicité. Il est donc un peu difficile de trouver une bonne solution à ce problème.

Des membres de l'équipe malaisienne Hazmat mènent une opération de décontamination au terminal des départs de l'aéroport international de Kuala Lumpur 2 à Sepang le 26 février 2017. Kim Jong-Nam, le demi-frère du dirigeant nord-coréen Kim Jong-Un, a été tué à la aéroport le 13 février. La police malaisienne a déclaré au public qu'elle ferait tout son possible pour s'assurer qu'il n'y avait aucun risque lié à l'agent neurotoxique mortel VX utilisé pour assassiner Kim Jong-Nam. Photo par MANAN VATSYAYANA/AFP via Getty Images

Nous avons regardé vers la Silicon Valley : il y a un groupe appelé OpenAI ; ils ont publié un modèle de langage haut de gamme appelé GPT-3. C'est presque comme un chatbot; il peut essentiellement générer des phrases et du texte qui sont presque impossibles à distinguer des humains. En fait, ils vous permettent de l'utiliser gratuitement quand vous le souhaitez, mais vous devez obtenir un jeton d'accès spécial de leur part pour le faire. À tout moment, ils pourraient couper votre accès à ces modèles. Nous pensions que quelque chose comme ça pourrait être un point de départ utile pour des modèles potentiellement sensibles, comme les modèles de toxicité.

La science est une question de communication ouverte, d'accès ouvert, de partage de données ouvert. Les restrictions sont contraires à cette notion. Mais un pas en avant pourrait être de rendre compte au moins de manière responsable de qui utilise vos ressources.

Votre article dit également que “[s]ans être trop alarmiste, cela devrait servir de signal d'alarme pour nos collègues” – à quoi voulez-vous que vos collègues se réveillent ? Et à quoi pensez-vous qu'être trop alarmiste ressemblerait ?

Nous voulons simplement que davantage de chercheurs reconnaissent et soient conscients des abus potentiels. Lorsque vous commencez à travailler dans le domaine de la chimie, vous êtes informé de l'utilisation abusive de la chimie, et vous êtes en quelque sorte responsable de vous assurer d'éviter cela autant que possible. Dans l'apprentissage automatique, il n'y a rien de tel. Il n'y a aucune indication sur l'utilisation abusive de la technologie.

“Nous voulons simplement que davantage de chercheurs reconnaissent et soient conscients des abus potentiels.”

Ainsi, cette prise de conscience pourrait aider les gens à être vraiment conscients du problème. Ensuite, on en parle au moins dans des cercles plus larges et cela peut au moins être quelque chose auquel nous faisons attention à mesure que nous nous améliorons dans la construction de modèles de toxicité.

Je ne veux pas proposer cette IA d'apprentissage automatique va commencer à créer des molécules toxiques et il va y avoir une multitude de nouveaux agents de guerre biochimiques juste au coin de la rue. Que quelqu'un clique sur un bouton et ensuite, vous savez, des agents de guerre chimique apparaissent en quelque sorte dans sa main.

Je ne veux pas être alarmiste en disant qu'il va y avoir une guerre chimique basée sur l'IA. Je ne pense pas que ce soit le cas maintenant. Je ne pense pas que ce sera le cas de sitôt. Mais c'est quelque chose qui commence à devenir une possibilité.