AI ekspanderer på to centrale områder inden for menneskelig aktivitet og markedsinvesteringer – sundhed og sprog. For at fortsætte samtalen, hvor vi slap i sidste uge, diskuterede vi AI-applikationer og forskning på disse områder med AI-investorer og forfattere af State of AI 2021-rapporten, Nathan Benaich og Ian Hogarth.
Efter at have udgivet, hvad der sandsynligvis var den mest omfattende rapport om AI-tilstanden i 2020, er Air Street Capital og RAAIS grundlægger Nathan Benaich og AI-engelinvestor og UCL IIPP gæsteprofessor Ian Hogarth tilbage for at få mere.
I sidste uge. , diskuterede vi AI's fundament: Maskinlæring i produktion, MLOps og datacentreret AI. I denne uge uddyber vi specifikke områder af applikationer, investeringer og vækst.
AI i sundhedssektoren
Sidste år fremførte Benaich og Hogarth, at biologien oplevede sit AI-øjeblik. Dette, forklarede de, afspejler en enorm bøjning i publiceret forskning, der i det væsentlige river den gammeldags metode ud af at lave en form for statistisk analyse af biologiske eksperimenter. Den nye metode erstatter statistisk analyse med deep learning i de fleste tilfælde, og den gav bedre resultater.
Der er en masse lavthængende frugter inden for biologidomænet, der kunne passe ind i dette paradigme, bemærkede Benaich. Sidste år var det tidspunkt, hvor denne form for problemløsningstilgang med at bruge maskinlæring til forskellige ting blev overdrevet. Et af resultaterne af denne idé om at bruge maskinlæring i biologi er i den farmaceutiske industri.
I årtier har vi alle vidst og alle lidt under det faktum, at lægemidler tager alt for lang tid at blive opdaget, at blive testet og så i sidste ende at blive godkendt. Det vil sige, medmindre der er et enormt katastrofalt pres for at gøre andet, hvilket er det, vi så med COVID19 -vacciner, tilføjede Benaich. I mange år var etableret pharma og new age pharma modstridende:
“Den etablerede pharma er i høj grad drevet af at have en hypotese a priori, og siger for eksempel – jeg tror, at dette gen er ansvarlig for denne sygdom, lad os gå til retsforfølgelse og finde ud af, om det er sandt. Så er der de mere softwaredrevne mennesker, der er på denne new age pharma. De ser for det meste på eksperimenter i stor skala, og de stiller mange spørgsmål på samme tid. På en upartisk måde lader de dataene tegne kortet over, hvad de skal fokusere på.
Det er, hvad fremskridt inden for deep learning låste op. Så new age pharma har stort set sagt, ja, den gamle pharma-tilgang er blevet prøvet før. Det virker sådan set ikke. Det er beregningsmæssig kemi og fysik. Den eneste måde at validere, om new age pharma-tilgangen virker, er, hvis de kan generere lægemiddelkandidater, der faktisk er i klinikken, og i sidste ende få disse lægemidler godkendt,” sagde Benaich.
Duoens rapport fremhæver to “new age pharma” børsnoteringer, der beviser pointen. State of AI forudsagde i 2020, at “en af de førende AI-første lægemiddelopdagelsesstartups, enten børsnoteringer eller er erhvervet for >$1B.” Recursion Pharmaceuticals blev børsnoteret i april 2021, og Exscientia indleverede til børsnotering i september 2021. Exscientia er et af selskaberne i Air Street Capitals portefølje, så Benaich har endnu en grund til at fejre.
Duoen synes, at de to børsintroduktioner er en ret stor ting, fordi de begge har aktiver genereret gennem deres maskinlæringsbaserede tilgang, som faktisk er i klinikken. Især Exscientia er det eneste selskab og det første selskab, der har genereret og designet molekyler ved hjælp af deres machine learning -system. Den måde, det fungerer på, er, at det kræver en række forskellige karakteristika af et molekyle og sætter opgaven til softwaren for at generere ideer om, hvordan et molekyle kunne se ud, der passer til disse egenskaber og opfylder afvejningskravene, bemærkede Benaich.
Det er det første firma, der havde tre af disse lægemidler i kliniske forsøg i de sidste tolv måneder. Deres børsintroduktionsdokumentation giver interessant læsning, fordi de viser, at antallet af kemiske ideer, som virksomheden skal retsforfølge, før den finder en, der virker, er en størrelsesorden lavere end hvad man ser for traditionelle medicinalvirksomheder, fortsatte Benaich med at tilføje. .
Benaich understregede, at selvom dette virker stort for “teknologifolk som os”, er det stadig meget, meget lille i branchens overordnede sammenhæng. Disse gigantiske farmavirksomheder er hundreder af milliarder af dollars værd, og sammen er Recursion og Exscientia i bedste fald 10 milliarder værd. Idet vi huskede, hvad nogle andre AI-folk, vi talte med tidligere på året, delte, spurgte vi, om Benaich også ser, at denne praksis bliver vedtaget i “gammel pharma”.
“Helt. Selv lokalt i London skærper AstraZeneca og GSK også deres machine learning -team en hel del. Det er et af disse eksempler på et mentalitetsskifte af, hvordan forretninger udføres. Som yngre generationer, der voksede op med computere og skrev kode til løser deres problemer, i modsætning til at køre flere manuelle eksperimenter i deres fritid, ender de på højere niveauer i disse organisationer, de bringer bare forskellige problemløsningsværktøjer til bordet,” bemærkede Benaich.
Store sprogmodeller er en stor sag
Forandring er uundgåelig. Spørgsmålet vil i sidste ende være, om du rent faktisk kan flytte omkostningskurven og bruge færre penge på færre eksperimenter og have en højere hitrate. Det vil stadig tage tid, mener Benaich. Hogarth bemærkede, at det ikke er den eneste grænse, hvor maskinlæring påvirker farmavirksomheder, og pegede på eksemplet på, hvordan maskinlæring også bruges til at analysere forskningslitteratur.
Dette berørte vores tidligere samtale med John Snow Labs CTO David Talby, da Natural Language Processing for sundhedsdomænet er John Snow Labs' kerneekspertise. Dette førte til gengæld uundgåeligt samtalen til sprogmodeller.
Benaich og Hogarth peger på fremskridt i sprogmodeller i forskningsafsnittet i deres rapport; vi blev imidlertid tiltrukket af kommercialiseringssiden af tingene. Vi fokuserede på OpenAI's GPT3, og hvordan de gik fra at udgive deres modeller i deres helhed til at gøre dem tilgængelige kommercielt tilgængelige via en API, i samarbejde med Microsoft.
Takeaways fra et actionfyldt 2021 for AI: Healthcare er lige begyndt med sit AI-øjeblik, jo større sprogmodeller, jo større komplikationer, og der kan nu være en tredje pol for AGI.
Billede: Getty Images/iStockphoto
Dette affødte et slags økosystem. Vi har set og leget med mange startup-tilbud, der udnytter GPT3 til at bygge forbruger-vendte produkter. Disse startups tilbyder copywriting -tjenester såsom marketingkopi, e -mail og LinkedIn -meddelelser og så videre. Vi var ikke specielt imponerede af dem, og det var Benaich og Hogarth heller ikke.
For Benaich er fordelen ved at åbne GPT3 som en API imidlertid en massiv bevidsthed om, hvad sprogmodeller kan gøre, hvis de bliver stadig bedre . Han tror, de vil blive stadig bedre meget hurtigt, især da OpenAI begynder at bygge udløbere af GPT-3, såsom Codex.
At dømme ud fra Codex, som var “et ret episk produkt, som har råbt på, at nogen skulle bygge det”, vil vertikalfokuserede modeller baseret på GPT-3 nok være fremragende, mener Benaich og Hogarth. Investorer står også bag dette, da startups har rejst tæt på 375 millioner i de sidste 12 måneder for at bringe LLM API'er og vertikale softwareløsninger til kunder, der ikke har råd til direkte at konkurrere med Big Tech.
Den anden måde at tænke på er, at der er en vis kvalitet af mode med det, som udviklere smelter sammen omkring, bemærkede Hogarth. At have opmærksomhedsskabende applikationer som f.eks. Codex eller tidligere Primers forsøg på at bruge kunstig intelligens til at adressere Wikipedias kønsubalance, viser, hvad der er muligt. Så til sidst bliver det, der tidligere var topmoderne, mainstream, og linjen for den nyeste teknik bevæger sig.
Såkaldte store sprogmodeller (LLM'er) begynder at lave bølger på måder, der ikke altid forventes . For eksempel har de født et nyt programmeringsparadigme, Software 3.0 eller Prompt-programmering. Ideen der er at tilskynde LLM'er på en måde, der udløser det til at producere resultater, som brugerne er interesserede i.
Selv ud over det ser vi lignende sprogmodeller blive brugt i andre domæner, bemærkede Benaich. Han henviste til forskning offentliggjort i magasinet Science, hvor en sprogmodel blev genimplementeret for at lære det virale spikeprotein og derefter bestemme, hvilke versioner af spikeproteinet og COVID-19, der var mere eller mindre virulente. Dette blev igen brugt til at forudsige potentielle evolutionære veje, som virussen skulle tage for at producere mere eller mindre potente versioner, som kunne bruges til proaktivt at lagre vacciner.
Benaich mener, at LLM'er kan internalisere forskellige grundlæggende sprogformer, hvad enten det er biologi, kemi eller menneskeligt sprog. Hogarth kimede ind og sagde, at dette på en måde ikke er overraskende, da sproget er så formbart og udvideligt, så vi kommer kun til at se usædvanlige anvendelser af sprogmodeller vokse.
AI Agnosticism
stærk>
Selvfølgelig er ikke alle enige i dette synspunkt, og ikke alle synes, at alt om LLM'er er vidunderligt. På den tekniske side af tingene stiller mange mennesker spørgsmålstegn ved den tilgang, LLM'er tager. Dette er noget, vi gentagne gange har henvist til, og en langvarig debat inden for AI-fællesskabet.
Folk i AI-fællesskabet som Gary Marcus, som vi var vært for i en samtale om fremtiden for AI sidste år, eller Walid Saba, hvis passende navngivne bidrag “Machine Learning Won't Solve Natural Language Understanding” blev nummer to for Gradient Prize-vinderne i år har været højtråbende kritikere af LLM-tilgangen.
I hvad mange mennesker vil hævde ligner en religiøs debat på nogle måder, er Hogarth fan af det, han kalder en mere agnostisk tilgang:
< p>“Vi har, hvad man vil kalde det ateistiske synspunkt, som er – disse modeller vil ikke bringe os meget længere. De forstår ikke rigtig noget. Der er den sande troende opfattelse, som er – alt, hvad vi behøver for at skalerer disse op, og de vil være fuldstændig sansende. Der er en udsigt i midten, en lidt mere agnostisk opfattelse, der siger – vi har nogle flere store ting at opdage, men disse er en del af det”.< /p>
Hogarth mener, at det “agnostiske syn” har den rette grad af respekt for, hvor meget LLM'er er i stand til, men fanger også det faktum, at de mangler kausal begrundelse og andre store blokke for at kunne skalere. Når vi taler om skala, har det faktum, at LLM'er er enorme, også enorme konsekvenser for de ressourcer, der er nødvendige for at træne dem, såvel som deres miljømæssige fodaftryk.
Interessant nok, efter at have været i stormens øje med AI-etik med Timnit Gebrus fyring sidste år, lavede Google 2021 State of AI-rapporten til arbejde med et relateret emne. Selvom flere mennesker har en tendens til at fokusere på bias-aspektet af Gebrus arbejde, er det aspekt af LLM'ernes miljømæssige fodaftryk, som dette arbejde berørte, mindst lige så vigtigt for os.
Vigtigste faktorer, der driver kulstofemissionerne under modeltræning, er valget af neurale netværk (f.eks. tæt eller sparsom), et datacenters geografiske placering og processorer. Optimering af disse reducerer emissionerne.
Forskere fra Google og Berkeley evaluerede energi- og CO2-budgettet for fem populære LLM'er og foreslog formler for forskere til at måle og rapportere om disse omkostninger, når de udgav deres arbejde. De vigtigste faktorer, der driver CO2-emissioner under modeltræning, er valget af neurale netværk (især tæt eller sparsomt), den geografiske placering af et datacenter og processorerne.
I en kommentar til den højtprofilerede Gebru-hændelse roste Hogarth Gebru for hendes bidrag. Samtidig bemærkede han, at hvis du vil begynde at sætte disse LLM'er i produktion gennem store søgemaskiner, er der flere spændinger, der opstår, når du begynder at stille spørgsmålstegn ved skævheden i disse systemer eller miljøhensyn.
I sidste ende skaber det en udfordring for virksomhedens forælder til at navigere for at sætte disse i produktion. For Hogarth har det mest interessante svar på dette været fremkomsten af alternative styringsstrukturer. Mere specifikt henviste han til EleutherAI, et kollektiv af uafhængige AI-forskere, der åbnede deres 6 milliarder parameter GPT-j LLM.
“Da EleutherAI blev lanceret, sagde de eksplicit, at de forsøgte at give adgang til store præ-trænede modeller, som ville muliggøre store dele af forskning, som ikke ville være mulig, mens sådanne teknologier er låst langt bag virksomhedens mure, fordi for-profit enheder har eksplicitte incitamenter til at bagatellisere risici og fraråde sikkerhedsundersøgelser”, sagde Hogarth.
EleutherAI betyder er et open source LLM-alternativ nu. Interessant nok er der også, hvad Benaich og Hogarth kaldte en “3. pol” i AGI-forskning ved siden af OpenAI og Google/DeepMind også: Antropisk. Den røde tråd Hogarth, som er investor i Anthropic, fandt, er styring. Hogarth er optimistisk med hensyn til Anthropics udsigter, hovedsageligt på grund af det tidlige holds kaliber:
“De mennesker, der forlod åben AI for at skabe Anthropic, har forsøgt at dreje ledelsesstrukturen ved at skabe et offentligt formålsselskab. De vil ikke overlade kontrollen over virksomheden til folk, der ikke er virksomheden eller dets investorer. Jeg ved ikke hvordan der er gjort mange fremskridt i retning af det indtil videre, men det er et ret grundlæggende styringsskifte, og jeg tror, at det giver mulighed for, at en ny klasse af skuespillere kan mødes og arbejde på noget”, sagde Hogarth.
Som sædvanligt. både samtalen med Benaich og Hogarth såvel som at skrive om dette kommer ikke til at yde retfærdighed til det spirende domæne, der er AI i dag. Indtil vi ser det igen, burde selv gennemse 2021 State of AI-rapporten give masser af materiale at tænke over og udforske.
Fremhævede
Linus Torvalds: Jonglerer med motorsave og bygger Linux Hunker down: Chipmangel og højere priser er indstillet til at blive hængende et stykke tid. Alle skal købe et af disse billige sikkerhedsværktøjer AT&T siger, at det har store problemer. En T-Mobile-sælger viste mig, hvor store
Relaterede emner:
Innovation Digital Transformation CXO Internet of Things Enterprise Software Smart Cities 