AI expanderar inom två nyckelområden av mänsklig aktivitet och marknadsinvesteringar – hälsa och språk. När vi tog upp konversationen där vi slutade förra veckan diskuterade vi AI-tillämpningar och forskning inom dessa områden med AI-investerare och författare till State of AI 2021-rapporten, Nathan Benaich och Ian Hogarth.
Efter att ha släppt vad som förmodligen var den mest omfattande rapporten om tillståndet för AI 2020, är Air Street Capital och RAAIS grundare Nathan Benaich och AI-ängelinvesterare och UCL IIPP besöksprofessor Ian Hogarth tillbaka för mer.
Förra veckan. , diskuterade vi AI:s grund: Machine learning i produktion, MLOps och datacentrerad AI. Denna vecka utarbetar vi specifika områden för applikationer, investeringar och tillväxt.
AI i sjukvården
Förra året hävdade Benaich och Hogarth att biologin upplevde sitt AI-ögonblick. Detta, förklarade de, återspeglar en enorm böjning i publicerad forskning som i huvudsak river ut den gamla skolans metod att göra någon form av statistisk analys av biologiska experiment. Den nya metoden ersätter statistisk analys med djupinlärning i de flesta fall och den gav bättre resultat.
Det finns mycket lågt hängande frukt inom biologidomänen som skulle kunna passa in i detta paradigm, noterade Benaich. Förra året var tiden då den här typen av problemlösningsmetod att använda maskininlärning för olika saker gick överdrivet. En av resultaten av denna idé om att använda maskininlärning i biologi är inom läkemedelsindustrin.
I decennier har vi alla känt till och alla lidit av det faktum att droger tar alldeles för lång tid att upptäckas, testas och sedan slutligen godkännas. Det vill säga, om det inte finns ett enormt katastrofalt tryck att göra något annat, vilket är vad vi såg med COVID19-vacciner, fortsatte Benaich med att tillägga. Under många år var sittande pharma och new age pharma motstridiga:
“Sittande läkemedel drivs mycket av att ha en hypotes a priori, som till exempel säger – jag tror att den här genen är ansvarig för den här sjukdomen, låt oss åtala den och ta reda på om det är sant. Sedan finns det de mer mjukvarudrivna människorna som är på denna nya tidsläkemedel. De tittar mest på storskaliga experiment och de ställer många frågor samtidigt. På ett opartiskt sätt låter de data rita kartan över vad de ska fokusera på.
Det är vad framstegen inom djupinlärning låste upp. Så new age pharma har till stor del sagt, ja, den gamla pharma-metoden har prövats tidigare. Det fungerar liksom inte. Det är beräkningskemi och fysik. Det enda sättet att validera om new age pharma -tillvägagångssätt fungerar, är om de kan generera läkemedelskandidater som faktiskt finns på kliniken och i slutändan få dessa läkemedel godkända, säger Benaich.
Duons rapport lyfter fram två börsintroduktioner av “new age pharma” som bevisar poängen. State of AI 2020 förutspådde att “en av de ledande AI-första läkemedelsupptäckten startups, antingen börsintroduktioner eller förvärvas för >$1 miljard.” Recursion Pharmaceuticals börsnoterades i april 2021 och Exscientia anmälde sig till börsintroduktion i september 2021. Exscientia är ett av företagen i Air Street Capitals portfölj, så Benaich har ytterligare en anledning att fira.
Duon tycker att de två börsintroduktionerna är en ganska stor sak eftersom de båda har tillgångar genererade genom deras maskininlärningsbaserade tillvägagångssätt som faktiskt finns på kliniken. Exscientia i synnerhet är det enda företaget och det första företaget som har genererat och designat molekyler med hjälp av deras maskininlärningssystem. Sättet fungerar är att det tar en mängd olika egenskaper hos en molekyl och sätter uppgiften till programvaran att generera idéer om hur en molekyl kan se ut som passar dessa egenskaper och uppfyller avvägningskraven, noterade Benaich.
Det är det första företaget som hade tre av dessa läkemedel i kliniska prövningar under de senaste tolv månaderna. Deras IPO-dokumentation gör det intressant att läsa, eftersom de visar att antalet kemiska idéer som företaget behöver åtala innan det hittar en som fungerar är en storleksordning lägre än vad du ser för traditionella läkemedelsföretag, fortsatte Benaich med att tillägga .
Benaich betonade att även om detta verkar stort för “teknikfolk som oss”, så är det fortfarande väldigt, väldigt litet i branschens övergripande sammanhang. Dessa gigantiska läkemedelsföretag är värda hundratals miljarder dollar, och tillsammans är Recursion och Exscientia värda som bäst 10 miljarder. När vi kom ihåg vad några andra AI-människor vi pratade med tidigare i år delade, frågade vi om Benaich ser att dessa metoder också tillämpas i “gammal pharma”.
“Totalt. Även lokalt i London ökar AstraZeneca och GSK också sitt maskininlärningsteam ganska mycket. Det är ett av dessa exempel på en mentalitetsförändring av hur affärer görs. Som yngre generationer som växte upp med datorer och skrev kod till lösa sina problem, i motsats till att köra fler manuella experiment på fritiden, hamna på högre nivåer i dessa organisationer, de tar bara med sig olika problemlösningsverktyg till bordet,” noterade Benaich.
Stora språkmodeller är en stor sak
Förändring är oundviklig. Frågan blir i slutändan, kan du faktiskt flytta kostnadskurvan och lägga mindre pengar på färre experiment och ha en högre träfffrekvens. Det kommer ändå att ta tid, tror Benaich. Hogarth noterade att det inte är den enda gränsen där maskininlärning påverkar läkemedelsföretagen, och pekade på exemplet på hur maskininlärning också används för att analysera forskningslitteratur.
Detta berörde vårt tidigare samtal med John Snow Labs CTO David Talby, eftersom Natural Language Processing för sjukvårdsdomänen är John Snow Labs kärnexpertis. Detta ledde i sin tur oundvikligen samtalet till språkmodeller.
Benaich och Hogarth pekar på framsteg i språkmodeller i forskningsdelen av sin rapport; men vi drogs till kommersialiseringssidan. Vi fokuserade på OpenAI:s GPT3 och hur de gick från att publicera sina modeller i sin helhet till att göra dem tillgängliga kommersiellt tillgängliga via ett API, i samarbete med Microsoft.
Takeaways från ett actionfylldt 2021 för AI: Sjukvården har precis börjat med sitt AI-ögonblick, ju större språkmodeller, desto större komplikationer och det kan nu finnas en tredje pol för AGI.
Bild: Getty Images/iStockphoto
Detta gav upphov till ett slags ekosystem. Vi har sett, och lekt med, många startuperbjudanden som utnyttjar GPT3 för att bygga konsumentinriktade produkter. Dessa startups erbjuder copywriting-tjänster som marknadsföringskopia, e-post och LinkedIn-meddelanden och så vidare. Vi var inte särskilt imponerade av dem, och det var inte Benaich och Hogarth heller.
För Benaich har dock fördelen med att öppna GPT3 som ett API genererat en massiv medvetenhet om vad språkmodeller skulle kunna göra om de blir allt bättre . Han tror att de kommer att bli allt bättre mycket snabbt, särskilt när OpenAI börjar bygga utlöpare av GPT-3, som Codex.
Att döma av Codex, som var “en ganska episk produkt som har ropat efter att någon ska bygga den”, kommer vertikalfokuserade modeller baserade på GPT-3 förmodligen att vara utmärkta, tycker Benaich och Hogarth. Investerare kommer också bakom detta, eftersom startups har samlat in närmare 375 miljoner under de senaste 12 månaderna för att ge LLM API:er och vertikala mjukvarulösningar till kunder som inte har råd att direkt konkurrera med Big Tech.
Det andra sättet att tänka på det är att det finns en viss kvalitet på mode med det som utvecklare smälter samman runt, noterade Hogarth. Att ha uppmärksammade applikationer som Codex, eller tidigare Primers försök att använda AI för att ta itu med Wikipedias obalans mellan könen, visar vad som är möjligt. Så småningom blir det som tidigare var toppmoderna mainstream och ribban för toppmoderna flyttas.
Sk stora språkmodeller (LLM) börjar skapa vågor på sätt som inte alltid är förutsedda . Till exempel har de fött ett nytt programmeringsparadigm, Software 3.0 eller Prompt-programmering. Tanken där är att uppmana LLMs på ett sätt som triggar det att ge resultat som användare är intresserade av.
Även bortom det ser vi liknande språkmodeller som används i andra domäner, noterade Benaich. Han hänvisade till forskning publicerad i tidskriften Science, där en språkmodell implementerades på nytt för att lära sig det virala spikproteinet och sedan avgöra vilka versioner av spikeproteinet och COVID-19 som var mer eller mindre virulenta. Detta användes i sin tur för att förutsäga potentiella evolutionära vägar som viruset skulle behöva ta för att producera mer eller mindre potenta versioner, som skulle kunna användas för att proaktivt lagra vacciner.
Benaich tror att LLM kan internalisera olika grundläggande språkformer, oavsett om det är biologi, kemi eller mänskligt språk. Hogarth kikade in och sa att detta på ett sätt är föga förvånande, eftersom språket är så formbart och töjbart, så vi kommer bara att se ovanliga tillämpningar av språkmodeller växa fram.
AI-agnosticism
stark>
Naturligtvis håller inte alla med om denna uppfattning, och inte alla tycker att allt med LLM är underbart. På den tekniska sidan av saker och ting ifrågasätter många människor tillvägagångssättet LLMs tar. Detta är något vi upprepade gånger har hänvisat till, och en långvarig debatt inom AI-gemenskapen egentligen.
Människor i AI-communityt som Gary Marcus, som vi var värd för i en konversation om framtiden för AI förra året, eller Walid Saba, vars passande namn “Machine Learning Won't Solve Natural Language Understanding” var tvåa till vinnarna av Gradient Prize i år har varit högljudda kritiker av LLM-metoden.
I vad många skulle hävda liknar en religiös debatt på något sätt är Hogarth ett fan av vad han kallar ett mer agnostiskt tillvägagångssätt:
< p>“Vi har vad du skulle kalla den ateistiska åsikten, det vill säga – dessa modeller kommer inte att ta oss mycket längre. De förstår inte riktigt någonting. Det finns den sanna troende synen, vilket är – allt vi behöver gör är att skala upp dessa och de kommer att vara helt känsliga. Det finns en vy i mitten, en lite mer agnostisk vy som säger — vi har några fler stora saker att upptäcka, men dessa är en del av det.”< /p>
Hogarth menar att den “agnostiska synen” har rätt respekt för hur mycket LLM:er klarar av, men fångar också upp det faktum att de saknar orsaksresonemang och andra stora block för att kunna skala. På tal om skala, det faktum att LLM är enorma har också enorma konsekvenser för de resurser som behövs för att utbilda dem, såväl som deras miljöavtryck.
Intressant nog, efter att ha varit i ögat av stormen om AI-etik med Timnit Gebrus avskedande förra året, gjorde Google 2021 State of AI Report för arbete med ett relaterat ämne. Även om fler människor tenderar att fokusera på bias-aspekten av Gebrus arbete, är för oss aspekten av miljöavtrycket av LLM som detta arbete berörde minst lika viktig.
De viktigaste faktorerna som driver koldioxidutsläppen under modellträning är valet av neurala nätverk (exempelvis. tät eller gles), den geografiska platsen för ett datacenter och processorerna. Att optimera dessa minskar utsläppen.
Forskare från Google och Berkeley utvärderade energi- och CO2-budgeten för fem populära LLM:er och föreslog formler för forskare att mäta och rapportera om dessa kostnader när de publicerade sitt arbete. Viktiga faktorer som driver CO2-utsläppen under modellträning är valet av neurala nätverk (särskilt tätt eller glest), den geografiska platsen för ett datacenter och processorerna.
Hogarth kommenterade den uppmärksammade Gebru-incidenten och berömde Gebru för hennes bidrag. Samtidigt noterade han att om du ska börja sätta dessa LLM i produktion genom stora sökmotorer, finns det mer spänningar som uppstår när du börjar ifrågasätta partiskheten inom dessa system eller miljöhänsyn.
I slutändan skapar det en utmaning för företagsföräldern att navigera för att få dessa att sätta denna forskning i produktion. För Hogarth har det mest intressanta svaret på det varit uppkomsten av alternativa förvaltningsstrukturer. Mer specifikt hänvisade han till EleutherAI, ett kollektiv av oberoende AI-forskare som öppnade sina 6 miljarder parametrar GPT-j LLM.
“När EleutherAI startade sa de uttryckligen att de försökte ge tillgång till stora förutbildade modeller, vilket skulle möjliggöra stora forskningsområden som inte skulle vara möjliga medan sådan teknik är låst bakom företagsväggar, eftersom vinstdrivande enheter har uttryckliga incitament att minska på risker och avskräcka säkerhetsundersökning “, nämnde Hogarth.
EleutherAI betyder är ett LLM-alternativ med öppen källkod nu. Intressant nog finns det också vad Benaich och Hogarth kallade en “tredje pol” i AGI-forskning bredvid OpenAI och Google/DeepMind också: Antropisk. Den röda tråden Hogarth, som är investerare i Anthropic, hittade är styrning. Hogarth är hausse på Anthropics framtidsutsikter, främst på grund av det tidiga lagets kaliber:
“Människorna som lämnade öppen AI för att skapa Anthropic har försökt att vrida styrningsstrukturen genom att skapa ett allmännyttigt företag. De kommer inte att överlåta kontrollen över företaget till människor som inte är företaget eller dess investerare. Jag vet inte hur mycket framsteg har gjorts i riktning mot det hittills, men det är ett ganska fundamentalt styrningsskifte, och jag tror att det gör det möjligt för en ny klass av skådespelare att samlas och arbeta på något”, sa Hogarth.
Som vanligt. både samtalet med Benaich och Hogarth och att skriva om detta kommer inte att göra rättvisa åt den växande domän som är AI idag. Tills vi går igenom det igen, bör även bläddra igenom rapporten 2021 State of AI Report ge massor av material att tänka på och utforska.
Utvalda
Linus Torvalds: jonglera motorsågar och bygga Linux Hunker down: Chipbristen och högre priser kommer att dröja kvar ett tag. Alla behöver köpa ett av dessa billiga säkerhetsverktyg AT&T säger att det har stora problem. En T-Mobile-säljare visade mig hur stora
Relaterade ämnen:
Innovation Digital Transformation CXO Internet of Things Enterprise Software Smart Cities 