Door George Anadiotis voor Big on Data | 25 oktober 2021 | Onderwerp: kunstmatige intelligentie
AI breidt zich uit op twee belangrijke gebieden van menselijke activiteit en marktinvesteringen: gezondheid en taal. We pakten het gesprek op waar we vorige week waren gebleven en bespraken AI-toepassingen en onderzoek op die gebieden met AI-investeerders en auteurs van het State of AI 2021-rapport, Nathan Benaich en Ian Hogarth.
Na het uitbrengen van wat waarschijnlijk het meest uitgebreide rapport over de staat van AI in 2020 was, zijn Air Street Capital en RAAIS-oprichter Nathan Benaich en AI-engelinvesteerder en UCL IIPP-professor Ian Hogarth terug voor meer.
Vorige week , bespraken we de onderbouwing van AI: machine learning in productie, MLOps en datacentrische AI. Deze week gaan we dieper in op specifieke gebieden van toepassingen, investeringen en groei.
AI in de gezondheidszorg
Vorig jaar beweerden Benaich en Hogarth dat de biologie haar AI-moment beleefde. Dit, zo legden ze uit, weerspiegelt een enorme verbuiging in gepubliceerd onderzoek dat in wezen de ouderwetse methode om een soort statistische analyse van biologische experimenten uit te voeren, teniet doet. De nieuwe methode vervangt statistische analyse in de meeste gevallen door deep learning en leverde betere resultaten op.
Er is veel laaghangend fruit binnen het domein van de biologie dat in dit paradigma zou kunnen passen, merkte Benaich op. Vorig jaar was de tijd waarin dit soort probleemoplossende benadering van het gebruik van machine learning voor verschillende dingen overdrive ging. Een van de resultaten van dit idee om machine learning in de biologie te gebruiken, is in de farmaceutische industrie.
Decennia lang weten we allemaal en hebben we allemaal geleden onder het feit dat het veel te lang duurt voordat medicijnen ontdekt, getest en uiteindelijk goedgekeurd worden. Dat wil zeggen, tenzij er een enorme catastrofale druk is om iets anders te doen, wat we zagen met COVID19-vaccins, voegde Benaich eraan toe. Jarenlang stonden de gevestigde pharma en new age pharma op gespannen voet:
“De gevestigde farma wordt sterk gedreven door a priori een hypothese te hebben, bijvoorbeeld door te zeggen: ik denk dat dit gen verantwoordelijk is voor deze ziekte, laten we het gaan vervolgen en uitzoeken of dat waar is. Dan zijn er de meer softwaregestuurde mensen die op deze new age farma. Ze kijken vooral naar grootschalige experimenten en stellen tegelijkertijd veel vragen. Op een onbevooroordeelde manier laten ze de gegevens de kaart tekenen van waar ze zich op moeten concentreren.
Dat is wat vooruitgang in diep leren heeft ontgrendeld. Dus de new age farma heeft grotendeels gezegd: nou ja, de oude farma-benadering is al eerder geprobeerd. Het werkt min of meer niet. Dat is computationele chemie en fysica. De enige manier om te valideren of de new age pharma-benadering werkt, is of ze kandidaat-geneesmiddelen kunnen genereren die daadwerkelijk in de kliniek zijn, en uiteindelijk die medicijnen goedgekeurd krijgen,” zei Benaich.
Het rapport van het duo belicht twee “new age pharma” IPO's die het punt bewijzen. De State of AI in 2020 voorspelde dat “een van de toonaangevende AI-first start-ups voor het ontdekken van geneesmiddelen ofwel IPO's zijn of wordt overgenomen voor > $ 1 miljard.” Recursion Pharmaceuticals ging naar de beurs in april 2021 en Exscientia diende in september 2021 in bij de beursgang. Exscientia is een van de bedrijven in de portefeuille van Air Street Capital, dus Benaich heeft nog een reden om feest te vieren.
Het duo denkt dat de twee IPO's een behoorlijk grote deal zijn, omdat ze allebei activa hebben die zijn gegenereerd door hun op machine learning gebaseerde aanpak die zich daadwerkelijk in de kliniek bevinden. Vooral Exscientia is het enige bedrijf en het eerste bedrijf dat moleculen heeft gegenereerd en ontworpen met behulp van hun machine learning-systeem. De manier waarop het werkt, is dat het een verscheidenheid aan verschillende kenmerken van een molecuul nodig heeft en de software de taak geeft om ideeën te genereren over hoe een molecuul eruit zou kunnen zien die bij die kenmerken passen en voldoen aan de afwegingsvereisten, merkte Benaich op.
Het is het eerste bedrijf dat in de afgelopen twaalf maanden drie van die medicijnen in klinische onderzoeken had. Hun IPO-documentatie is interessant om te lezen, omdat ze laten zien dat het aantal chemische ideeën dat het bedrijf moet vervolgen voordat het er een vindt die werkt, een orde van grootte lager is dan wat je ziet voor traditionele farmaceutische bedrijven, vervolgde Benaich. .
Benaich benadrukte dat hoewel dit groot lijkt voor “technologiemensen zoals wij”, het nog steeds erg klein is in de algemene context van de industrie. Deze gigantische farmaceutische bedrijven zijn honderden miljarden dollars waard, en samen zijn Recursion en Exscientia op zijn best 10 miljard waard. We herinnerden ons wat enkele andere AI-mensen met wie we eerder dit jaar spraken, vertelden en vroegen of Benaich ziet dat deze praktijken ook worden overgenomen in de 'oude farma'.
“Helemaal. Zelfs lokaal in Londen versterken AstraZeneca en GSK hun machine learning-team ook behoorlijk. Het is een van die voorbeelden van een mentaliteitsverandering van hoe zaken worden gedaan. Als jongere generaties die zijn opgegroeid met computers en het schrijven van code om om hun problemen op te lossen, in plaats van meer handmatige experimenten in hun vrije tijd uit te voeren, komen ze terecht op hogere niveaus van die organisaties, ze brengen gewoon verschillende toolkits voor het oplossen van problemen naar de tafel”, merkte Benaich op.
Grote taalmodellen zijn belangrijk
Verandering is onvermijdelijk. De vraag zal uiteindelijk zijn, kun je de kostencurve daadwerkelijk verschuiven en minder geld uitgeven aan minder experimenten en een hogere hit rate hebben. Dat zal nog wel even duren, denkt Benaich. Hogarth merkte op dat dit niet de enige grens is waarin machine learning invloed heeft op farmaceutische bedrijven, en wijst op het voorbeeld van hoe machine learning ook wordt gebruikt om onderzoeksliteratuur te ontleden.
Dit raakte aan ons vorige gesprek met John Snow Labs CTO David Talby, aangezien natuurlijke taalverwerking voor de gezondheidszorg de kernexpertise van John Snow Labs is. Dit leidde op zijn beurt onvermijdelijk tot taalmodellen.
Benaich en Hogarth wijzen op vooruitgang in taalmodellen in het onderzoeksgedeelte van hun rapport; we werden echter aangetrokken door de commercialiseringskant van de dingen. We hebben ons gericht op OpenAI's GPT3 en hoe ze van het publiceren van hun modellen in hun geheel gingen naar het commercieel beschikbaar maken ervan via een API, in samenwerking met Microsoft.
Take-aways van een actievol 2021 voor AI: de gezondheidszorg is net begonnen met zijn AI-moment, hoe groter de taalmodellen, hoe groter de complicaties, en er kan nu een derde pool zijn voor AGI.
Afbeelding: Getty Images/iStockphoto
Hierdoor ontstond een soort ecosysteem. We hebben veel startup-aanbiedingen gezien en ermee gespeeld die gebruikmaken van GPT3 om consumentgerichte producten te bouwen. Die startups bieden copywritingdiensten zoals marketingtekst, e-mail en LinkedIn-berichten, enzovoort. We waren niet echt onder de indruk van hen, en Benaich en Hogarth ook niet.
Voor Benaich was het voordeel van het openen van GPT3 als API echter een enorm bewustzijn over wat taalmodellen zouden kunnen doen als ze steeds beter worden. . Hij denkt dat ze heel snel steeds beter zullen worden, vooral nu OpenAI uitlopers van GPT-3 begint te bouwen, zoals Codex.
Afgaande op Codex, dat “een behoorlijk episch product was dat schreeuwde om iemand om het te bouwen”, zullen verticaal gerichte modellen op basis van GPT-3 waarschijnlijk uitstekend zijn, denken Benaich en Hogarth. Investeerders staan hier ook achter, aangezien startups de afgelopen 12 maanden bijna 375 miljoen hebben opgehaald om LLM API's en verticale softwareoplossingen te bieden aan klanten die het zich niet kunnen veroorloven om rechtstreeks te concurreren met Big Tech.
De andere manier om erover na te denken is dat er een bepaalde kwaliteit van mode is met wat ontwikkelaars samensmelten, merkte Hogarth op. Het hebben van opvallende applicaties zoals Codex, of de eerdere poging van Primer om AI te gebruiken om de genderongelijkheid van Wikipedia aan te pakken, laat zien wat er mogelijk is. Uiteindelijk wordt wat voorheen state-of-the-art was mainstream en de lat voor de state-of-the-art beweegt.
Zogenaamde grote taalmodellen (LLM's) beginnen golven te maken op manieren die niet altijd worden verwacht . Ze hebben bijvoorbeeld het leven geschonken aan een nieuw programmeerparadigma, Software 3.0 of Prompt-programmering. Het idee is om LLM's zo aan te sporen dat ze resultaten opleveren waarin gebruikers geïnteresseerd zijn.
Zelfs daarbuiten zien we vergelijkbare taalmodellen in andere domeinen worden gebruikt, merkte Benaich op. Hij verwees naar onderzoek gepubliceerd in het tijdschrift Science, waarin een taalmodel opnieuw werd geïmplementeerd om het virale spike-eiwit te leren en vervolgens te bepalen welke versies van het spike-eiwit en COVID-19 min of meer virulent waren. Dit werd op zijn beurt gebruikt om mogelijke evolutionaire paden te voorspellen die het virus zou moeten volgen om meer of minder krachtige versies te produceren, die zouden kunnen worden gebruikt om proactief vaccins op te slaan.
Benaich gelooft dat LLM's kunnen internaliseren verschillende basisvormen van taal, of het nu biologie, scheikunde of menselijke taal is. Hogarth viel in en zei dat dit op een bepaalde manier niet verrassend is, aangezien taal zo kneedbaar en uitbreidbaar is, dus we zullen alleen ongebruikelijke toepassingen van taalmodellen zien groeien.
AI-agnosticisme
AI-agnosticisme
AI-agnosticisme
AI-agnosticisme
AI-agnosticisme
AI-agnosticisme
AI-agnosticisme
AI-agnosticisme
AI-agnosticisme
sterk>
Natuurlijk is niet iedereen het met deze mening eens, en niet iedereen vindt alles aan LLM's geweldig. Wat de technische kant betreft, stellen veel mensen vraagtekens bij de benadering van LLM's. Dit is iets waar we herhaaldelijk naar hebben verwezen, en echt een al lang bestaand debat binnen de AI-gemeenschap.
Mensen in de AI-gemeenschap zoals Gary Marcus, met wie we vorig jaar een gesprek hadden over de toekomst van AI, of Walid Saba, wiens bijdrage met de toepasselijke naam 'Machine Learning Won't Solve Natural Language Understanding' tweede werd voor de Gradient Prize-winnaars zijn dit jaar uitgesproken critici van de LLM-benadering.
In wat veel mensen zouden beweren dat het in sommige opzichten lijkt op een religieus debat, is Hogarth een fan van wat hij een meer agnostische benadering noemt:
p>”We hebben wat je de atheïstische visie zou noemen, namelijk — deze modellen zullen ons niet veel verder brengen. Ze begrijpen niets echt. Er is de ware gelovige visie, die is — alles wat we nodig hebben doe is deze opschalen en ze zullen volledig bewust zijn. Er is een weergave in het midden, een iets meer agnostische weergave die zegt: we hebben nog een paar grote dingen te ontdekken, maar deze maken er deel van uit”.< /p>
Hogarth is van mening dat de “agnostische visie” de juiste hoeveelheid respect heeft voor wat LLM's kunnen doen, maar legt ook vast dat ze geen causale redenering en andere belangrijke blokkades hebben om te kunnen schalen. Over schaal gesproken, het feit dat LLM's gigantisch zijn, heeft ook enorme gevolgen voor de middelen die nodig zijn om ze te trainen, evenals voor hun ecologische voetafdruk.
Interessant is dat Google, nadat hij vorig jaar in het oog van de storm op AI-ethiek was geweest met het ontslag van Timnit Gebru, het State of AI-rapport 2021 maakte voor werk aan een gerelateerd onderwerp. Hoewel meer mensen de neiging hebben om zich te concentreren op het vooringenomenheidsaspect van Gebru's werk, is voor ons het aspect van de ecologische voetafdruk van LLM's dat dit werk aanstipte minstens even belangrijk.
Belangrijke factoren die de koolstofemissies tijdens de modeltraining stimuleren, zijn de keuze van een neuraal netwerk (in het bijzonder. dicht of schaars), de geografische locatie van een datacenter en de processors. Door deze te optimaliseren, wordt de uitstoot verminderd.
Onderzoekers van Google en Berkeley evalueerden het energie- en CO2-budget van vijf populaire LLM's en stelden formules voor voor onderzoekers om deze kosten te meten en erover te rapporteren bij het publiceren van hun werk. Belangrijke factoren die de CO2-uitstoot tijdens de modeltraining stimuleren, zijn de keuze van het neurale netwerk (vooral dicht of dun), de geografische locatie van een datacenter en de processors.
In een reactie op het spraakmakende Gebru-incident prees Hogarth Gebru voor haar bijdrage. Tegelijkertijd merkte hij op dat als je deze LLM's in productie gaat nemen via grote zoekmachines, er meer spanning ontstaat wanneer je de vooringenomenheid binnen die systemen of milieuproblemen in twijfel gaat trekken.
Uiteindelijk vormt dat een uitdaging voor de moedermaatschappij om te navigeren om deze onderzoeken in productie te nemen. Voor Hogarth was de meest interessante reactie daarop de opkomst van alternatieve bestuursstructuren. Meer specifiek verwees hij naar EleutherAI, een collectief van onafhankelijke AI-onderzoekers die hun 6 miljard parameter GPT-j LLM open-sourceden.
“Toen EleutherAI werd gelanceerd, zeiden ze expliciet dat ze probeerden toegang te verlenen tot grote voorgetrainde modellen, die grote delen van onderzoek mogelijk zouden maken dat niet mogelijk zou zijn terwijl dergelijke technologieën ver achter bedrijfsmuren zijn opgesloten, omdat organisaties met winstoogmerk expliciete prikkels hebben om risico's te bagatelliseren en beveiligingsonderzoek te ontmoedigen”, zei Hogarth.
EleutherAI betekent nu een open-source LLM-alternatief. Interessant is dat er ook is wat Benaich en Hogarth een “3e pool” noemden in AGI-onderzoek naast OpenAI en Google/DeepMind: Anthropic. De rode draad die Hogarth, die investeerder in Anthropic is, vond is governance. Hogarth is optimistisch over de vooruitzichten van Anthropic, voornamelijk vanwege het kaliber van het vroege team:
“De mensen die AI hebben gelaten om Anthropic te creëren, hebben geprobeerd de bestuursstructuur te kantelen door een openbaar nutbedrijf te creëren. Ze zullen de controle over het bedrijf niet overdragen aan mensen die niet het bedrijf of zijn investeerders zijn. Ik weet niet hoe Er is tot nu toe veel vooruitgang geboekt in die richting, maar het is een vrij fundamentele bestuursverschuiving, en ik denk dat dat het mogelijk maakt voor een nieuwe klasse van actoren om samen te komen en aan iets te werken”, zei Hogarth.
Zoals gewoonlijk. zowel het gesprek met Benaich en Hogarth als het schrijven hierover schieten tekort om recht te doen aan het ontluikende domein dat tegenwoordig AI is. Totdat we het opnieuw bekijken, zou zelfs het bladeren door het State of AI-rapport van 2021 veel materiaal moeten opleveren om over na te denken en te verkennen.
Aanbevolen
Linus Torvalds: jongleren met kettingzagen en Linux bouwen Hunker down: het chiptekort en de hogere prijzen zullen nog een tijdje aanhouden. Iedereen moet een van deze goedkope beveiligingstools kopen. AT&T zegt dat het grote problemen heeft. Een verkoper van T-Mobile liet me zien hoe groot
gerelateerde onderwerpen:
Innovatie Digitale transformatie CXO Internet of Things Enterprise Software Smart Cities
Door George Anadiotis voor Big on Data | 25 oktober 2021 | Onderwerp: Kunstmatige Intelligentie
