AI foreslog 40.000 nye mulige kemiske våben på kun seks timer

Det tog mindre end seks timer for lægemiddeludviklende AI at opfinde 40.000 potentielt dødelige molekyler. Forskere satte AI, der normalt bruges til at søge efter nyttige stoffer, i en slags “dårlig skuespiller”-tilstand for at vise, hvor let det kunne misbruges på en biologisk våbenkontrolkonference.

Alle forskerne havde at gøre var at justere deres metodologi for at opsøge, snarere end at luge ud af toksicitet. AI'en kom med titusindvis af nye stoffer, hvoraf nogle ligner VX, den mest potente nervegift, der nogensinde er udviklet. Rystede offentliggjorde de deres resultater i denne måned i tidsskriftet Nature Machine Intelligence.

Avisen fik os på The Verge lidt rystede

Avisen fik os på The Verge også lidt rystede. Så for at finde ud af, hvor bekymrede vi burde være, talte The Verge med Fabio Urbina, hovedforfatter af papiret. Han er også seniorforsker hos Collaborations Pharmaceuticals, Inc., et firma, der fokuserer på at finde lægemiddelbehandlinger til sjældne sygdomme.

Dette interview er blevet let redigeret for længde og klarhed.

Dette papir ser ud til at vende dit normale arbejde på hovedet. Fortæl mig om, hvad du laver i dit daglige arbejde.

Mit job er primært at implementere nye maskinlæringsmodeller inden for lægemiddelopdagelse. En stor del af disse maskinlæringsmodeller, som vi bruger, er beregnet til at forudsige toksicitet. Lige meget hvilken slags medicin du forsøger at udvikle, skal du sørge for, at de ikke er giftige. Hvis det viser sig, at du har dette vidunderlige lægemiddel, der sænker blodtrykket fantastisk, men det rammer en af ​​disse virkelig vigtige, f.eks. hjertekanaler – så er det dybest set et no-go, fordi det bare er for farligt.

Så hvorfor lavede du denne undersøgelse om biokemiske våben? Hvad var gnisten?

Vi modtog en invitation til konvergenskonferencen af ​​det schweiziske føderale institut for nuklear, biologisk og kemisk beskyttelse, Spiez Laboratory. Ideen med konferencen er at informere samfundet som helhed om nye udviklinger med værktøjer, der kan have konsekvenser for konventionen om kemiske/biologiske våben.

Vi fik denne invitation til at tale om maskinlæring, og hvordan den kan misbruges i vores rum. Det er noget, vi aldrig rigtig har tænkt over før. Men det var bare meget nemt at indse, at mens vi bygger disse maskinlæringsmodeller for at blive bedre og bedre til at forudsige toksicitet for at undgå toksicitet, er alt, hvad vi skal gøre, på en måde at dreje kontakten rundt og sige, “Du ved , i stedet for at gå væk fra toksicitet, hvad nu hvis vi går mod toksicitet?”

Kan du guide mig igennem, hvordan du gjorde det – flyttede modellen til at gå mod toksicitet?

Jeg vil være lidt vag med nogle detaljer, fordi vi blev bedt om at tilbageholde nogle af detaljerne. I det store og hele fungerer det for dette eksperiment, at vi har en masse datasæt historisk med molekyler, der er blevet testet for at se, om de er giftige eller ej.

Især den, vi fokuserer på her, er VX. Det er en hæmmer af det, der er kendt som acetylcholinesterase. Når du gør noget muskelrelateret, bruger dine neuroner acetylcholinesterase som et signal til grundlæggende at sige “gå, flyt dine muskler.” Den måde VX er dødelig på, er, at den faktisk stopper din mellemgulv, dine lungemuskler, fra at kunne bevæge sig, så dine lunger bliver lammet.

“Det er selvfølgelig noget, du vil undgå.”

Det er klart, at dette er noget, du gerne vil undgå. Så historisk er der blevet lavet eksperimenter med forskellige typer molekyler for at se, om de hæmmer acetylcholinesterase. Så vi opbyggede disse store datasæt af disse molekylære strukturer, og hvor giftige de er.

Vi kan bruge disse datasæt til at skabe en maskinlæringsmodel, som grundlæggende lærer, hvilke dele af den molekylære struktur, der er vigtige for toksicitet, og hvilke der ikke er. Så kan vi give denne maskinlæringsmodel nye molekyler, potentielt nye lægemidler, som måske aldrig er blevet testet før. Og det vil fortælle os, at dette forventes at være giftigt, eller det forventes ikke at være giftigt. Dette er en måde, hvorpå vi nærmest kan screene meget, meget hurtigt en masse molekyler og på en måde sparke dem ud, der forudsiges at være giftige. I vores undersøgelse her er det, vi gjorde, at vi omvendte det, naturligvis, og vi bruger denne model til at forsøge at forudsige toksicitet.

Den anden nøgledel af det, vi gjorde her, er disse nye generative modeller. Vi kan give en generativ model en masse forskellige strukturer, og den lærer at sætte molekyler sammen. Og så kan vi på en måde bede den om at generere nye molekyler. Nu kan det generere nye molekyler over hele kemiens rum, og de er bare en slags tilfældige molekyler. Men én ting, vi kan gøre, er, at vi faktisk kan fortælle den generative model, hvilken retning vi vil gå. Det gør vi ved at give den en lille scoringsfunktion, som giver den en høj score, hvis de molekyler, den genererer, er i retning af noget, vi gerne vil have. I stedet for at give en lav score til giftige molekyler, giver vi en høj score til giftige molekyler.

Nu ser vi, at modellen begynder at producere alle disse molekyler, hvoraf mange ligner VX og også som andre kemiske kampmidler.

Fortæl mig mere om, hvad du fandt. Overraskede noget dig?

Vi var ikke rigtig sikre på, hvad vi ville få. Vores generative modeller er ret nye teknologier. Så vi har ikke brugt dem meget.

Den største ting, der sprang ud i starten var, at mange af de genererede forbindelser blev forudsagt at være faktisk mere giftige end VX. Og grunden til det er overraskende, fordi VX dybest set er en af ​​de mest potente forbindelser kendt. Det betyder, at du har brug for en meget, meget, meget lille mængde af det for at være dødeligt.

Nu er det forudsigelser, som vi ikke har verificeret, og vi ønsker bestemt ikke selv at verificere det. Men de prædiktive modeller er generelt ret gode. Så selvom der er mange falske positiver, er vi bange for, at der er nogle mere potente molekyler derinde.

KUALA LUMPUR, MALAYSIA – 26. FEBRUAR 2017: Malaysias politiforensiske team fejede med hjælp fra brandvæsenet og atomenergilicensrådet terminalen i Kuala Lumpur International Airport 2 for giftige kemikalier, efter at de fredag ​​meddelte, at Kim Jong Nam var forgiftet af VX nervegift, som er opført som den mest potente form for nervegift, der kendes i kemisk krigsførelse. Foto af Rahman Roslan/Getty Images

For det andet så vi faktisk på mange af strukturerne af disse nygenererede molekyler. Og mange af dem lignede VX og andre krigsførelsesagenter, og vi fandt endda nogle, der var genereret fra modellen, som var faktiske kemiske krigsførelsesagenter. Disse blev genereret fra modellen, der aldrig har set disse kemiske krigsførelsesmidler. Så vi vidste, at vi var på den rigtige plads her, og at det genererede molekyler, der gav mening, fordi nogle af dem allerede var blevet fremstillet før.

For mig var bekymringen bare, hvor nemt det var at gøre. Mange af de ting, vi brugte, er derude gratis. Du kan downloade et toksicitetsdatasæt hvor som helst. Hvis du har nogen, der ved, hvordan man koder i Python og har nogle maskinlæringsmuligheder, så kunne de i formentlig en god weekend med arbejde bygge noget som denne generative model drevet af giftige datasæt. Så det var det, der fik os til virkelig at tænke på at lægge dette papir ud der; det var så lav en adgangsbarriere for denne type misbrug.

Dit papir siger, at ved at udføre dette arbejde, har du og dine kolleger “stadig krydset en grå moralsk grænse, hvilket viser, at det er muligt at designe virtuelle potentielle giftige molekyler uden meget i vejen for indsats, tid eller beregningsressourcer. Vi kan nemt slette de tusindvis af molekyler, vi har skabt, men vi kan ikke slette viden om, hvordan man genskaber dem.” Hvad løb gennem dit hoved, mens du udførte dette arbejde?

Dette var en ganske usædvanlig udgivelse. Vi har været lidt frem og tilbage om, hvorvidt vi skulle udgive den eller ej. Dette er et potentielt misbrug, der ikke tog så lang tid at udføre. Og vi ønskede at få den information ud, da vi virkelig ikke så den nogen steder i litteraturen. Vi så os omkring, og ingen talte rigtigt om det. Men samtidig ville vi ikke give ideen til dårlige skuespillere.

“En eller anden modstander et eller andet sted tænker måske allerede på det”

I slutningen af ​​dagen besluttede vi, at vi gerne ville komme foran det her. For hvis det er muligt for os at gøre det, er det sandsynligt, at en eller anden modstander et eller andet sted måske allerede tænker på det eller i fremtiden vil tænke på det. På det tidspunkt kan vores teknologi have udviklet sig endnu mere end, hvad vi kan gøre nu. Og meget af det vil bare være open source – hvilket jeg støtter fuldt ud: deling af videnskab, deling af data, deling af modeller. Men det er en af ​​disse ting, hvor vi, som videnskabsmænd, skal sørge for, at det, vi udgiver, bliver gjort ansvarligt.

Hvor let er det for nogen at kopiere, hvad du gjorde? Hvad ville de have brug for?

Jeg vil ikke lyde særlig sensationelt omkring dette, men det er ret nemt for nogen at kopiere, hvad vi gjorde.

Hvis du skulle Google generative modeller, kunne du finde en række sammensatte one-liner generative modeller, som folk har frigivet gratis. Og så, hvis du skulle søge efter toksicitetsdatasæt, er der et stort antal open source-toksdatasæt. Så hvis du bare kombinerer de to ting, og så ved du, hvordan du koder og bygger maskinlæringsmodeller – alt hvad der egentlig kræver er en internetforbindelse og en computer – så kan du nemt kopiere, hvad vi gjorde. Og ikke kun for VX, men for stort set alle andre open source-toksicitetsdatasæt, der eksisterer.

“Jeg vil ikke lyde meget sensationelt om dette, men det er ret nemt for nogen at replikere, hvad vi gjorde.”

Det kræver selvfølgelig en vis ekspertise. Hvis nogen skulle sætte dette sammen uden at vide noget om kemi, ville de i sidste ende sandsynligvis generere ting, der ikke var særlig nyttige. Og der er stadig det næste skridt med at skulle få disse molekyler syntetiseret. At finde et potentielt lægemiddel eller potentielt nyt giftigt molekyle er én ting; det næste trin i syntesen – faktisk at skabe et nyt molekyle i den virkelige verden – ville være endnu en barriere.

Okay, der er stadig nogle store spring mellem det, AI finder på, og det at gøre det til en trussel i den virkelige verden. Hvad er hullerne der?

Det store hul til at starte med er, at du virkelig ikke ved, om disse molekyler faktisk er giftige eller ej. Der vil være en vis mængde falske positiver. Hvis vi selv går igennem, hvad en dårlig agent ville tænke eller gøre, ville de være nødt til at træffe en beslutning om, hvilke af disse nye molekyler de ville syntetisere i sidste ende.

For så vidt angår synteseruter, kan dette være en make it or break it. Hvis du finder noget, der ligner et kemisk krigsførelsesmiddel og prøver at få det syntetiseret, er chancerne for, at det ikke kommer til at ske. Mange af de kemiske byggesten i disse kemiske krigsførelsesmidler er velkendte og overvåges. De er regulerede. Men der er så mange syntesevirksomheder. Så længe det ikke ligner et kemisk krigsførelsesmiddel, vil de højst sandsynligt bare syntetisere det og sende det med det samme, for hvem ved, hvad molekylet bliver brugt til, ikke?

Det kommer du til senere i avisen, men hvad kan man gøre for at forhindre denne form for misbrug af AI? Hvilke sikkerhedsforanstaltninger vil du gerne have etableret?

Til kontekst er der flere og flere politikker om datadeling. Og jeg er fuldstændig enig i det, fordi det åbner flere muligheder for forskning. Det giver andre forskere mulighed for at se dine data og bruge dem til deres egen forskning. Men på samme tid inkluderer det også ting som toksicitetsdatasæt og toksicitetsmodeller. Så det er lidt svært at finde en god løsning på dette problem.

Vi kiggede over mod Silicon Valley: der er en gruppe, der hedder OpenAI; de udgav en top-of-the-line sprogmodel kaldet GPT-3. Det er næsten som en chatbot; det kan grundlæggende generere sætninger og tekst, der næsten ikke kan skelnes fra mennesker. De lader dig faktisk bruge det gratis, når du vil, men du skal have et særligt adgangstoken fra dem for at gøre det. På ethvert tidspunkt kan de afskære din adgang fra disse modeller. Vi tænkte, at sådan noget kunne være et nyttigt udgangspunkt for potentielt følsomme modeller, såsom toksicitetsmodeller.

Videnskab handler om åben kommunikation, åben adgang, åben datadeling. Begrænsninger er i modsætning til denne opfattelse. Men et skridt fremad kunne være i det mindste ansvarligt at redegøre for, hvem der bruger dine ressourcer.

Dit papir siger også, at “[uden at være alt for alarmerende, bør dette tjene som et wake-up call for vores kolleger” – hvad er det, du vil have dine kolleger til at vågne op til? Og hvordan tror du, det ville se ud at være alt for alarmerende?

Vi ønsker blot, at flere forskere anerkender og er opmærksomme på potentielt misbrug. Når du begynder at arbejde i kemiområdet, bliver du informeret om misbrug af kemi, og du er sådan set ansvarlig for at sikre, at du undgår det så meget som muligt. I maskinlæring er der ikke noget af den slags. Der er ingen vejledning om misbrug af teknologien.

“Vi ønsker bare, at flere forskere anerkender og er opmærksomme på potentielt misbrug.”

Så at sætte denne bevidsthed derude kunne hjælpe folk til virkelig at være opmærksomme på problemet. Så bliver det i det mindste talt om i bredere kredse og kan i hvert fald være noget, vi holder øje med, efterhånden som vi bliver bedre og bedre til at bygge toksicitetsmodeller.

Jeg vil ikke foreslå at maskinlæring AI vil begynde at skabe giftige molekyler, og der vil være en række nye biokemiske krigsførelsesmidler lige rundt om hjørnet. At nogen klikker på en knap og så, du ved, kemiske krigsførende midler bare dukker op i deres hånd.

Jeg ønsker ikke at være alarmerende ved at sige, at der vil være AI-drevet kemisk krigsførelse. Jeg tror ikke, det er tilfældet nu. Jeg tror ikke, det bliver tilfældet foreløbigt. Men det er noget, der begynder at blive en mulighed.