AI ekspanderer innen to nøkkelområder innen menneskelig aktivitet og markedsinvesteringer – helse og språk. Etter å ha startet samtalen der vi slapp forrige uke, diskuterte vi AI-applikasjoner og forskning på disse områdene med AI-investorer og forfattere av State of AI 2021-rapporten, Nathan Benaich og Ian Hogarth.
Etter å ha gitt ut det som sannsynligvis var den mest omfattende rapporten om tilstanden til AI i 2020, er Air Street Capital og RAAIS grunnlegger Nathan Benaich og AI-engelinvestor og UCL IIPP besøkende professor Ian Hogarth tilbake for mer.
Sist uke. , diskuterte vi grunnlaget for AI: Maskinlæring i produksjon, MLOps og datasentrisk AI. Denne uken utdyper vi spesifikke områder for applikasjoner, investeringer og vekst.
AI i helsevesenet
I fjor hevdet Benaich og Hogarth at biologien opplevde sitt AI-øyeblikk. Dette, forklarte de, gjenspeiler en enorm bøyning i publisert forskning som i hovedsak river ut old-school-metoden for å gjøre en slags statistisk analyse av biologiske eksperimenter. Den nye metoden erstatter statistisk analyse med dyp læring i de fleste tilfeller, og den ga bedre resultater.
Det er mye lavthengende frukt innenfor biologidomenet som kan passe inn i dette paradigmet, bemerket Benaich. I fjor var tiden da denne typen problemløsningstilnærming med å bruke maskinlæring til forskjellige ting gikk overdreven. En av resultatene av denne ideen om bruk av maskinlæring i biologi er i farmasøytisk industri.
I flere tiår har vi alle kjent og alle lidd det faktum at medisiner tar altfor lang tid å bli oppdaget, å bli testet, og til slutt å bli godkjent. Det vil si, med mindre det er et enormt katastrofalt press for å gjøre noe annet, som er det vi så med COVID19-vaksiner, fortsatte Benaich med å legge til. I mange år var sittende pharma og new age pharma uenige:
“Sittende farma er i stor grad drevet av å ha en hypotese a priori, og sier for eksempel – jeg tror dette genet er ansvarlig for denne sykdommen, la oss gå til rettsforfølgelse og finne ut om det er sant. Så er det de mer programvaredrevne folkene som er på denne new age pharma. De ser for det meste på eksperimenter i stor skala, og de stiller mange spørsmål samtidig. På en objektiv måte lar de dataene tegne kartet over hva de bør fokusere på.
< p>Det var det fremskritt innen dyp læring låste opp. Så new age pharma har stort sett sagt, vel, den gamle farmatilnærmingen har vært prøvd før. Den fungerer liksom ikke. Det er beregningsbasert kjemi og fysikk. Den eneste måten å validere om New age farmatilnærmingen fungerer, er at de kan generere legemiddelkandidater som faktisk er på klinikken, og til slutt få disse medisinene godkjent,” sa Benaich.
Duoens rapport fremhever to «new age pharma»-børsnoteringer som beviser poenget. State of AI i 2020 spådde at “en av de ledende AI-første oppdagelsene av narkotikaoppdagelser enten børsnoteringer eller er kjøpt for & gt; $ 1B.” Recursion Pharmaceuticals ble børsnotert i april 2021, og Exscientia sendte inn til børsnotering i september 2021. Exscientia er et av selskapene i Air Street Capitals portefølje, så Benaich har enda en grunn til å feire.
Duoen synes de to børsnoteringene er en ganske stor sak fordi de begge har eiendeler generert gjennom deres maskinlæringsbaserte tilnærming som faktisk er i klinikken. Spesielt Exscientia er det eneste selskapet og det første selskapet som har generert og designet molekyler ved hjelp av deres maskinlæringssystem. Måten det fungerer på er at det krever en rekke forskjellige egenskaper til et molekyl og setter oppgaven til programvaren for å generere ideer om hvordan et molekyl kan se ut som passer til disse egenskapene og oppfyller avveiningskravene, bemerket Benaich.
Det er det første selskapet som hadde tre av disse stoffene i kliniske studier de siste tolv månedene. IPO-dokumentasjonen deres gir interessant lesning, fordi de viser at antallet kjemiske ideer som selskapet trenger å straffeforfølge før det finner en som fungerer er en størrelsesorden lavere enn det du ser for tradisjonelle farmasøytiske selskaper, fortsatte Benaich med å legge til .
Benaich understreket at selv om dette virker stort for “teknologifolk som oss”, er det fortsatt veldig, veldig lite i bransjens generelle sammenheng. Disse enorme farmaselskapene er verdt hundrevis av milliarder av dollar, og sammen er Recursion og Exscientia verdt i beste fall 10 milliarder. Da vi husket hva noen andre AI-folk vi snakket med tidligere i år delte, spurte vi om Benaich ser at denne praksisen også blir tatt i bruk i «gammel pharma».
“Helt. Selv lokalt i London styrker AstraZeneca og GSK maskinlæringsteamet sitt ganske mye også. Det er et av disse eksemplene på et mentalitetsskifte for hvordan virksomheten gjøres. Som yngre generasjoner som vokste opp med datamaskiner og å skrive kode til løser problemene deres, i motsetning til å kjøre flere manuelle eksperimenter på fritiden, havner de på høyere nivåer i disse organisasjonene, de bringer bare forskjellige problemløsningsverktøy til bordet,” bemerket Benaich.
Store språkmodeller er en stor sak
Endring er uunngåelig. Spørsmålet vil til syvende og sist være, kan du faktisk flytte kostnadskurven og bruke mindre penger på færre eksperimenter og ha en høyere treffrate. Det vil fortsatt ta tid, tror Benaich. Hogarth bemerket at dette ikke er den eneste grensen der maskinlæring påvirker farmasøytiske selskaper, og pekte på eksemplet på hvordan maskinlæring også brukes til å analysere forskningslitteratur.
Dette berørte vår forrige samtale med John Snow Labs CTO David Talby, ettersom Natural Language Processing for helsedomenet er John Snow Labs kjerneekspertise. Dette førte i sin tur uunngåelig samtalen til språkmodeller.
Benaich og Hogarth peker på fremskritt i språkmodeller i forskningsdelen av rapporten deres; Vi ble imidlertid tiltrukket av kommersialiseringssiden. Vi fokuserte på OpenAIs GPT3, og hvordan de gikk fra å publisere modellene sine i sin helhet til å gjøre dem tilgjengelige kommersielt tilgjengelige gjennom en API, i samarbeid med Microsoft.
Takeaways fra et actionfylt 2021 for AI: Helsevesenet har akkurat kommet i gang med sitt AI-øyeblikk, jo større språkmodeller, jo større komplikasjoner, og det kan nå være en tredje pol for AGI.
Bilde: Getty Images/iStockphoto
Dette fødte et slags økosystem. Vi har sett, og lekt med, mange oppstartstilbud som utnytter GPT3 for å bygge forbrukerrettede produkter. Disse oppstartene tilbyr copywriting-tjenester som markedsføringskopi, e-post og LinkedIn-meldinger, og så videre. Vi var ikke spesielt imponert over dem, og det var heller ikke Benaich og Hogarth.
For Benaich har imidlertid fordelen med å åpne GPT3 som et API generert en massiv bevissthet om hva språkmodeller kan gjøre hvis de blir stadig mer god. Han tror de kommer til å bli stadig bedre veldig raskt, spesielt ettersom OpenAI begynner å bygge avleggere av GPT-3, for eksempel Codex.
Etter Codex å dømme, som var “et ganske episk produkt som har ropt etter noen å bygge det”, vil trolig modeller med vertikal fokusering basert på GPT-3 være glimrende, synes Benaich og Hogarth. Investorer står bak dette også, ettersom startups har samlet inn nærmere 375 millioner de siste 12 månedene for å bringe LLM APIer og vertikale programvareløsninger til kunder som ikke har råd til å konkurrere direkte med Big Tech.
Den andre måten å tenke på er at det er en viss kvalitet på moten med det utviklerne smelter sammen rundt, bemerket Hogarth. Å ha apper som vekker oppmerksomhet som Codex, eller tidligere Primers forsøk på å bruke AI for å adressere Wikipedias kjønnsubalanse, viser hva som er mulig. Så til slutt blir det som tidligere var toppmoderne mainstream og baren for toppmoderne flyttes.
Såkalte store språkmodeller (LLMs) begynner å lage bølger på måter som ikke alltid er forventet . For eksempel har de født et nytt programmeringsparadigme, Software 3.0 eller Prompt-programmering. Tanken der er å be LLM -er på en måte som får den til å gi resultater brukerne er interessert i.
Selv utover det ser vi lignende språkmodeller bli brukt i andre domener, bemerket Benaich. Han refererte til forskning publisert i magasinet Science, der en språkmodell ble implementert på nytt for å lære det virale spikeproteinet, og deretter bestemme hvilke versjoner av spikeproteinet og COVID-19 som var mer eller mindre virulente. Dette ble i sin tur brukt til å forutsi potensielle evolusjonære veier viruset måtte gå for å produsere mer eller mindre potente versjoner, som kan brukes til proaktivt lagring av vaksiner.
Benaich tror at LLM -er kan internalisere ulike grunnleggende språkformer, enten det er biologi, kjemi eller menneskelig språk. Hogarth kimet inn og sa at dette på en måte ikke er overraskende, siden språket er så formbart og utvidbart, så vi kommer bare til å se uvanlige anvendelser av språkmodeller vokse.
AI-agnostisisme
sterk>
Selvfølgelig er ikke alle enige i dette synet, og ikke alle synes alt om LLM er fantastisk. På den tekniske siden stiller mange spørsmål ved tilnærmingen LLM-er tar. Dette er noe vi gjentatte ganger har referert til, og en langvarig debatt i AI-fellesskapet egentlig.
Folk i AI-fellesskapet som Gary Marcus, som vi var vert for i en samtale om fremtiden til AI i fjor, eller Walid Saba, hvis passende navn “Machine Learning Won't Solve Natural Language Understanding” ble nummer to for Gradient Prize-vinnerne i år har vært vokalkritikere av LLM -tilnærmingen.
I det mange ville påstå som på noen måter ligner en religiøs debatt, er Hogarth tilhenger av det han kaller en mer agnostisk tilnærming:
< p>“Vi har det du vil kalle det ateistiske synet, som er — disse modellene kommer ikke til å komme oss mye lenger. De forstår egentlig ingenting. Det er det sanne troende synet, som er — alt vi trenger for å gjøre er å skalere disse opp, og de vil være fullstendig sansende. Det er en utsikt i midten, et litt mer agnostisk syn som sier — vi har noen flere store ting å oppdage, men disse er en del av det.”< /p>
Hogarth mener at det “agnostiske synet” har riktig grad av respekt for hvor mye LLM-er er i stand til å gjøre, men fanger også opp det faktum at de mangler årsaksresonnement og andre store blokker for å kunne skalere. Når vi snakker om skala, har det faktum at LLM-er er enorme, også enorme implikasjoner på ressursene som trengs for å trene dem, så vel som deres miljøfotavtrykk.
Interessant nok, etter å ha vært i øyet av stormen på AI-etikk med Timnit Gebrus sparking i fjor, laget Google 2021 State of AI Report for arbeid med et relatert emne. Selv om flere har en tendens til å fokusere på skjevheten i Gebrus arbeid, er aspektet ved miljøavtrykket til LLM-er som dette arbeidet berørte minst like viktig for oss.
Hovedfaktorer som driver karbonutslippene under modelltrening er valget av nevrale nettverk (esp. tett eller sparsomt), den geografiske plasseringen til et datasenter og prosessorene. Optimalisering av disse reduserer utslippene.
Forskere fra Google og Berkeley evaluerte energi- og CO2-budsjettet til fem populære LLM-er og foreslo formler for forskere å måle og rapportere om disse kostnadene når de publiserte arbeidet sitt. Viktige faktorer som driver CO2 -utslipp under modellopplæring er valg av nevrale nettverk (spesielt tett eller sparsomt), geografisk plassering av datasenter og prosessorer.
I en kommentar til den høyprofilerte Gebru-hendelsen, berømmet Hogarth Gebru for hennes bidrag. Samtidig bemerket han at hvis du skal begynne å sette disse LLM -ene i produksjon via store søkemotorer, oppstår det mer spenning når du begynner å stille spørsmål ved skjevheten innenfor disse systemene eller miljøhensyn.
Til syvende og sist skaper det en utfordring for bedriftens forelder å navigere for å sette disse i gang med å sette denne forskningen i produksjon. For Hogarth har det mest interessante svaret på dette vært fremveksten av alternative styringsstrukturer. Mer spesifikt refererte han til EleutherAI, et kollektiv av uavhengige AI-forskere som åpnet deres 6 milliarder parameter GPT-j LLM.
“Da EleutherAI ble lansert, sa de eksplisitt at de prøvde å gi tilgang til store forhåndstrente modeller, som vil muliggjøre store deler av forskning som ikke ville være mulig mens slike teknologier er låst langt bak bedriftsmurer, fordi for-profit-enheter har eksplisitte insentiver til å bagatellisere risiko og fraråde sikkerhetsundersøkelser,» sa Hogarth.
EleutherAI betyr er et åpen kildekode LLM-alternativ nå. Interessant nok er det også det Benaich og Hogarth kalte en “tredje pol” i AGI-forskning ved siden av OpenAI og Google/DeepMind også: Antropisk. Den røde tråden Hogarth, som er investor i Anthropic, fant er styring. Hogarth er optimistisk med hensyn til Anthropics utsikter, hovedsakelig på grunn av kaliberet til det tidlige laget:
“Folkene som forlot åpen AI for å skape Anthropic har forsøkt å dreie styringsstrukturen ved å opprette et allmennyttig selskap. De vil ikke gi kontrollen over selskapet til folk som ikke er selskapet eller dets investorer. Jeg vet ikke hvordan det er gjort mye fremskritt mot det så langt, men det er et ganske fundamentalt styringsskifte, og jeg tror det gjør det mulig for en ny klasse av skuespillere å komme sammen og jobbe med noe», sa Hogarth.
Som vanlig. både samtalen med Benaich og Hogarth så vel som å skrive om dette kommer ikke til å yte rettferdighet til det spirende domenet som er AI i dag. Inntil vi ser det på nytt, bør selv bla gjennom 2021 State of AI-rapporten gi mye materiale å tenke på og utforske.
Utvalgte
Linus Torvalds: Sjonglere med motorsager og bygge Linux Hunker down: Brikkemangelen og høyere priser er satt til å vare en stund. Alle trenger å kjøpe et av disse billige sikkerhetsverktøyene AT&T sier det har store problemer. En T-Mobile-selger viste meg hvor store
Relaterte emner:
Innovasjon Digital Transformation CXO Internet of Things Enterprise Software Smart Cities 