Det meste af tiden ser det ud til, at kunstig intelligens lever i to indbyrdes udelukkende riger, enten i den akademiske verden, hvor fantastiske intellektuelle gennembrud finder sted, eller i den industrielle verden, hvor fokus bare er at holde alt kørende til tiden.
Der er imidlertid antydninger om, at der kan opstå en slags krydsbestøvning mellem de to verdener, når et problem i de industrielle rammer for maskinlæring kan udløse spændende teoretiske spørgsmål.
“Dette er et problem, vi faldt over, som vi aldrig ville have tænkt på i vores akademiske kontorer,” siger Stefano Soatto, der er vicepræsident for AI anvendt videnskab ved Amazons AWS cloud computing service.
Også: Etik for AI: Fordele og risici ved kunstig intelligens
Soatto ligger over de to miljøer i AI. På samme tid som han driver anvendt AI på Amazon AWS, er han også professor i datalogi ved UCLA, hvilket giver ham en privilegeret position til at deltage i akademisk grundforskning i AI. Soattos kontor er fysisk på Caltech -campus, hvor han fik sin ph.d.
Det problem, Soatto beskrev for ZDNet, i et interview via Amazon Chime, ville lyde bekendt for enhver CIO eller udvikler, der ikke er en AI -ekspert, og som skal håndtere produktionshikke.
” Der er nogle meget mærkelige og fascinerende fænomener “, der opstår i dagligdagse kundespørgsmål , siger Stefano Soatto, der er Amazon AWS's chef for anvendt AI og også professor i datalogi ved UCLA.
Amazon AWS
“Dette opstod faktisk fra en eskalering med en kunde,” huskede Soatto. Når et kunstigt intelligensprogram sættes i produktion, er det en del i en hel kæde af computerprocesser. Med dyb læringsformer for AI kan softwarens værdier ændre sig, efterhånden som nye og forbedrede versioner produceres. Det kan bryde ting i processkæden og forårsage hovedpine for kunden.
“I virkeligheden er dette kun en meget lille del af et produktionssystem,” forklarede Soatto med henvisning til et AI -program som f.eks. En billedklassificering. I kundens klage, han fortalte, var den nye teknologi ved at bryde ting, kunden brugte, og som var meget ældre. “Kunder kom tilbage og sagde, 'vi havde problemer med din model', og vi indså, at de bruger en model fra fire år siden!”
Således begyndte en søgen fra Soatto og kolleger til et nyt område af efterforskning, hvordan man gør nyere AI -programmer kompatible med deres forgængere.
Denne kundeklage førte til et papir i juni sidste år, der blev præsenteret på CVPR -konferencen, en samling af akademikere, der studerer computersyn. Soatto og team henvendte sig til spørgsmålet om kompatibilitet som et problem med begrænsningstilfredshed, idet de tog et neuralt net og bad det om at have garantier ud over bare at være præcise i at lave forudsigelser.
Amazon AWS
Konkret spurgte de, om den nye version af et neuralt net kunne blive mere præcist uden at indføre nye fejl. Tænk på en klassificering af katte og hunde: hvis det nye neurale net generelt bliver bedre, men pludselig forkert kategoriserer nogle billeder af katte eller hunde, som den gamle fik rigtigt, er det ikke en god afvejning. At lave en fejl, hvor et tidligere program var fint, kaldes en “negativ vending”.
I avisen “Positiv-kongruent træning: Mod regressionsfrie modelopdateringer” løser Soatto og kolleger problemet med begrænsningstilfredshed ved at reducere sådanne negative flips ved at sætte målet på en ny måde. De tog den traditionelle objektive funktion, det såkaldte krydsentropi-tab, som styrer, hvor godt neuralt net forudsiger katten eller hunden, og de tilføjede det en anden objektiv funktion, der krævede, at neuralt net sørgede for at klare sig godt på samme forudsigelser fik det gamle neurale net ret.
At bevæge sig ud over en enkelt objektiv funktion, i stedet indramme sagen som at løse et problem med begrænsningstilfredshed, opfandt Soatto og team et nyt område med anvendt dyb læring, som de har døbt “Graceful AI.”
Navnet er et paraplybegreb, der indkapsler princippet om, at der er flere mål i et problem.
“De modeller, vi udvikler, skal spille pænt med alt omkring dem, ikke bare træne den bedste model, du kan,” sagde Soatto. En anden måde at se på det er at være “respektfuld for kriterier ud over blot at optimere til ydeevne.”
Papiret viser, at det faglige fokus på at producere det mest effektive AI -program ikke er den eneste måde at komme frem til virkelig interessante problemer, sagde Soatto til ZDNet.
Også: AI på tres sekunder
“Som akademiker bruger du det meste af din tid på at finde på problemer, der ikke eksisterer,” bemærkede Soatto. “Meget sjældent er du heldig, og du ender med noget, der er nyttigt for verden.”
Når du er på AWS, bliver du derimod konstant udsat og bombarderet med virkelige problemer, der er fascinerende, og som ikke har en løsning. ”
Det positivt-kongruente arbejde begyndte i 2018, og den første løsning, der blev nået til, blev taget i brug i AWS i 2020 og kører i øjeblikket i AWS-skyen. Aspekter af forskningen anvendes på tværs af AWS -produkter som Amazon Comprehend, Amazon Lex, Amazon Rekognition og Amazon Textract, sagde Soatto.
Det praktiske resultat er, at “enhver [AWS] -kunde, der anvender en af disse modeller, ved, at de fra da af vil være i stand til at indtage enhver efterfølgende forbedring uden at skulle ændre nogen af deres efterbehandling . ”
Efter Soattos opfattelse er alle kundeklager en mulighed for at forstå, hvad der kan være spændende spørgsmål, sagde han. Når en kundeklage kommer op, “Der er noget, der skal forstås, noget fungerer ikke, som vi troede.”
I tilfælde af positiv kongruent sagde han: “vi stoppede og spurgte: Hvorfor træner vi ikke modeller, der er kompatible med det, der omgiver dem?”
Der er en gevinst her for ren forskning. Det praktiske spørgsmål åbnede døren til dybere spørgsmål, der berører teoretiske spørgsmål, f.eks. Hvorfor maskinlæring er eller ikke er i stand til at generalisere ud over træningsdataene.
“Elefanten i rummet til maskinlæring er, at du virkelig er ligeglad med, hvordan du gør i træningssættet, fordi du aldrig nogensinde vil se det igen,” sagde Soatto. “Det, du bekymrer dig om, er et lille antal fejl i testsættet, som er afsat, og du ikke kan se det.”
“Skismaet” mellem de to handler om det, der kaldes induktive skævheder, det, der “forbinder testdataene, som du ikke har adgang til, og træningsdataene.”
Det fører igen til hele forskningsområdet inden for AI inden for det, der kaldes repræsentationslæring, noget Amazon har arbejdet på i mange år, sagde Soatto.
“Dette er et problem, der har været åbent og besat os i årtier,” sagde han. Det går tilbage til bedstefædrene til AI, Alan Turing og Norbert Wiener. Mysteriet om AI -programmer er en gåde: “Du kan ikke oprette information ved at torturere dataene, men alt, hvad vi gør med data, torturerer dataene – vi gør ting mod det.”
Teoretiske spørgsmål om læringsrepræsentationer kommer til kernen i, hvad videnskabsmanden Claude Shannon teoretiserede som selve informationens natur, sagde Soatto, for eksempel: Hvilke repræsentationer er optimale for en opgave i form af at være maksimalt informative?
På den score, “er der nogle meget mærkelige og fascinerende fænomener,” sagde Soatto.
Det positivt-kongruente arbejde og anden forskning, som Soatto og team har produceret, deler bestemte temaer. Især er der en strøm, der løber gennem ækvivalensværkerne, spørgsmålet om, hvad der gør to neurale net ens eller forskellige for en given opgave.
AI -teamets projekter kommer undertiden til at søge efter neurale net, der har et overlap, på trods af forskelle. Overlapningens nøjagtige karakter er måske ikke altid klar, men ikke desto mindre pirrende.
For eksempel testede Soatto og team i det positivt-kongruente papir, hvad der sker, når gamle og nye netværk udvikles som ensembler, grupper af lignende neurale net med varierende hyperparametre. De fandt ud af, at de på en måde kunne “fremtidssikre” gamle neurale net, fordi ensemblet af gamle neurale net samlet havde mindre afvigelse fra de nye neurale net i form af eksempler, der gik galt.
“Ensembler er meget interessante,” sagde Soatto. “Vi har ikke løst det helt.”
I et andet stykke “Kompatibilitetsbevidst heterogen visuel søgning” spørger Soatto og kolleger, om det er muligt at udvikle neurale net, der er mere effektive til beregningskrav, samtidig med at de opgiver mindst mulig nøjagtighed. De bruger en populær tilgang til automatisk at designe neurale net, kaldet “neural arkitektur-søgning”, og de angiver et andet problem med tilfredshed: tilfredshed: det nye netværk skal være “kompatibelt” med et eksisterende neuralt net. Et mindre neuralt net kan spare på behandling, så længe det producerer en repræsentation, der er kompatibel med et større neuralt netværk (større med hensyn til antallet af parametre.
Soatto og kolleger har også vendt spørgsmålet om lighed mellem neurale net ved f.eks. At spørge, hvad der sker med et neuralt net, hvis en given stikprøve af data udelades. I papiret “Estimating Informativeness Of Prøver With Smooth Unique Information” definerer de informationsværdien for en enkelt prøve i et datasæt ved at spørge, hvordan vægtværdierne for et neuralt net er forskellige med og uden det enkelte datapunkt.
Igen har arbejdet flere teoretiske implikationer. Det peger på vejen til mulige grænser for generaliseringskapaciteten for et neuralt net, hvilket betyder, hvor godt det kan anvendes på nye eksempler ud over træningsdata, når man laver forudsigelser i den virkelige verden. Og værket kan give indsigt i, hvor meget information der kan “sive ud” fra et neuralt net eller blive afsløret om et givet eksempel. Det teoretiske spørgsmål er også et afgørende praktisk spørgsmål i forhold til privatlivets fred, fordi lækket information potentielt kan de-anonymisere enheder i et datasæt.
Meget af det Graceful AI -arbejde er blevet udført med problemer med edb -vision, selvom Soatto bemærker “rammen er generel, så overvejelserne gælder for andre former for arkitekturer.”
Alle disse udforskninger af ting som bagudkompatibilitet berører et bredt område med fortsat udforskning, kendt som “kontinuerlig læring”. Den udfordring er “stadig et åbent problem,” sagde Soatto.
Det stabile udgivelsestempo af Soatto og kolleger er en ændring for Amazon, som ikke altid var til publicering af videnskab. “Da jeg sluttede mig, var Amazon ikke synlig som en bidragyder til det åbne videnskabelige samfund,” sagde han. “Det er ændret.”
I dag skal enhver videnskabsmand, der arbejder på Amazon, udgive og præsentere, både med henblik på at blive undersøgt og for at bidrage.
“Vi ønsker at få en mulighed for at arbejde med nye problemer, der er effektive og meningsfulde, og ender i hænderne på tusinder af udviklere,” sagde han. “Vi ansætter folk, så vi kan få dem udsat for reelle problemer, der ikke har en løsning,” sagde han. “Her har vi mennesker, der slutter sig til vores team, og om seks måneder er deres arbejde i hænderne på titusinder af mennesker,” noget der er uhørt for de fleste forskere.
Krydsbestøvningen giver mening for Amazon, som finansierer programmer på Caltech og andre talrige akademiske institutioner som en del af at dyrke talent inden for AI.
“Amazon indser vigtigheden af at danne talent for den næste generation,” sagde han. “Hvis tech ansætter alle professorerne, hvem vil så danne de næste studerende?” spurgte han retorisk.
Selvom den positive-kongruente uddannelse er blevet implementeret i AWS, anerkender Soatto og team de spændende spørgsmål, der ikke er fuldt besvaret.
I slutningen af papiret skriver Soatto og kolleger, at det nye uddannelsesprogram stadig indebærer vanskelige afvejninger. Den bedste løsning, ensemblerne, er upraktisk, når man laver live forudsigelser. Men den enklere tilgang, kendt som fokaldestillation, medfører en vis stigning i fejlfrekvensen, hvilket er uønsket.
Papiret slutter med den forbehold, at forfatterne “kun har ridset overfladen” af pc -træning. Mere arbejde er tilbage.
Så spændende som de teoretiske implikationer kan være, er Soatto hurtig til at understrege det praktiske. Målet er, hvad Amazon betegner “kundebesat forskning”, sagde han.
“Det er ikke hypotetiske akademiske spørgsmål,” sagde Soatto, “Det er spørgsmål, som hvis vi kan løse dem med succes, virkelig vil forenkle livet for kunder og udviklere, der skal indsætte disse modeller i deres pipeline. ”
Relaterede emner:
Enterprise Software Digital Transformation CXO Internet of Things Innovation Smart Cities 