“Djupt lärande är varken djup eller är det inlärning, säger Babak Hodjat, vice vd för projekt för “Evolutionär AI” i IT-jätten Medveten Teknik.
Hodjat kritik är en del av en fascinerande utforskning av AI på att ta form på IT-tjänster för företag Medveten tekniska Lösningar, en tjugo-fem år gamla företaget baserat i Teaneck, New Jersey som förra året gjordes nästan $16 miljarder i intäkter som serverar några av de största företagen i världen.
För år, detta IT-jätten har talat om “digital omvandling”, något som är stora och betydande, men också något svårt att få ett sinne runt eftersom det ofta verkar vaga och odefinierade.
Och sedan i December, Medveten gav en helt ny jordning och precision till det digitala arbetet genom att förvärva vissa tillgångar från en elva-årig AI start Kännande Teknik. Företaget, grundade Hodjat, har fört en spännande rad av arbete i det som kallas för evolutionära algoritmer,” där många algoritmer, inklusive konventionella artificiella neurala nätverk, som kan testas parallellt för “fitness” för att välja ett optimalt nätverk för att utföra en uppgift.
Hur Medveten är LÖV teknik monterar lager av ett neuralt nätverk genom att prova olika typer av neurala nätverk “moduler” insidan av en plan.
Medveten Teknik.
Även Intels neuro guru slår djupt lärande: “det är faktiskt inte lärande”
Att Hodjat, som kom över till Medveten tillsammans med förvärv av immateriella rättigheter, arbetet går långt utöver optimering av vanliga djupt lärande. Djupt lärande fokuserar på att optimera den “parametrar”, eller “vikter” av ett neuralt nätverk, via vad som kallas stokastiska lutning härkomst, genom en process som kallas backpropogation.
“Det är bara backen klättring, säger Hodjat av djupt lärande, i en intervju med ZDNet. Han gör en kritik som har riktats mot området i decennier, så långt tillbaka som kritik av MIT-forskare Marvin Minsky och Seymour Papert.
“Hill”, i detta fall, är det geometriska sluttningen av värden som backpropagation är att navigera för att hitta det optimala värdet, toppen av kullen. (Terminologin kan vara lite halt här. I den gemensamma djupt att lära sig glosor, gradient härkomst är inte att gå upp i sluttningen till en optimal punkt, är det att försöka hitta det lägsta “energi” led i en sluttning, som ofta anges som ett globalt minimum. Nyanserna är viktiga, men i en mening, de villkor som kompletterar varandra.)
“Back-prop är dyra på många nivåer, säger Hodjat av att energi-funktion, ekande kritik av andra som Mike Davies chip tillverkaren Intel. Det behöver inte matcha effektiviteten av biologiska lärande, han har gjort gällande.
Också: Kinas AI-forskare undervisar ett neuralt nät för att utbilda sig
Däremot, i den mänskliga utvecklingen, “Ett mänskligt barn observerar och lär sig om något utan att ha sett det innan, med mycket låg energi.”
Hodjat driver ett team på femton personer ur Medveten ‘ s San Francisco-kontor. Evolutionär Innovation verksamhet är en del av Medveten bredare “Medveten Digitala Affärer”, där Hodjat rapporter till Karthik Krishnamurthy, VP Marknader. Den Digitala enheten består av flera tusen människor i Medveten kontor runt om i världen.
Med en total arbetsstyrka på Medveten om över 270,000, den Evolutionära AI-gruppen är bara en liten fläck, i en mening, men det är också spetsen på spjutet för AI: innovationer från evolutionära algoritmer kommer att föda den digitala verksamheten i stort, Medveten förhoppningar.
Medveten tekniska Lösningar befattningshavare, från vänster, Bret Greenstein, chef för AI, Karthik Krishnamurthy, chef för Medveten Digitala Affärer, och Babak Hodjat, en av grundarna av Kännande Teknik och chef för “Evolutionär Innovation” på företagets “Collaboratory” anläggning på 42nd Street på Manhattan.
Tiernan Ray för ZDNet
Också: IBM Kan möjligen tämja AI för företag?
På en nyligen eftermiddagen, Hodjat och Krishnamurthy, och en annan biträdande av Krishnamurthy, Bret Greenstein, som är chef för AI för den Digitala verksamheten, satte sig ner i den lekfulla kontor i vad Medveten kallar “Collaboratory,” en arbetsyta på 42nd Street på Manhattan.
Den Collaboratory är utformad för att vara lite mer som en start miljö, med soffor i vardagsrummet-inställningen, att utforska en typ av arbete känner till tusenåriga och “digital native” anställda än den traditionella kontor kultur Medveten.
Medan Krishnamurthy har varit med Medveten i tjugo år, Greenstein gått ca sex månader sedan, och var en livslång IBM ‘ er innan.
“I termer av betydande investeringar i AI -, data-vetenskap och maskininlärning, vi har varit på det här för de senaste fem åren, säger Krishnamurthy. “Innan detta, Medveten hade gjort analytics under en lång tid.”
AI kan vara föremål för stora debatter, precis som den typ mellan Facebook AI guru Yann LeCun och Intels Davies, Greenstein anteckningar. Men för Medveten att hjälpa sina kunder, sådana debatter är mindre viktigt än att utforska alla alternativ. “Finns det några fall där process automation är tillräcklig för kunder, och en del där det måste bli mycket mer adaptiv och lärande.”
Också: Appianska VD Calkins drar skiljelinjen mellan AI och mänsklig förmåga
Ange Hodjat och Kännande. Det senaste exemplet på deras arbete ingår i ett papper som lagts ut av Hodjat en vecka sedan, “Evolutionära Neurala AutoML för Djupt Lärande”, som är inlagd på Bioarxiv pre-print-server. Det var medförfattare med Risto Miikkulainen, University of Texas professor i datalogi som fungerar som CTO under Hodjat.
Tidningen beskriver ett datasystem som kallas “CoDeepNEAT,” som monterar lager av neuroner av ett artificiellt neuralt nätverk genom att blanda olika typer av funktion i varje skikt, såsom veck av en convolutional neural network (CNN), eller “cell” av en typisk återkommande neurala nätverk (RNN).
CoDeepNEAT börjar med ett nätverk bestående slumpmässigt av dessa lager, och det skapar flera mönster i konkurrens med varandra i typiska machine learning utbildning. En tillsyns-programmet körs som har flera nätverk parallellt på Microsoft Azure, och bestämmer den relativa “fitness” för varje föreslagen nätverk, baserat på hur de gör på “validering” fas efter träning. I det sättet, många generationer möjliga nätverk kan testas för att hitta en perfekt kombination av lager som leder till en optimal neurala nätverk.
På benchmark-tester, inklusive automatiskt rating “toxicity” av Wikipedia kommentarer, eller att klassificera bröst x-ray bilder, CoDeepNEAT strategi “handily beat” utförande av en mycket väl etablerade metoder för att “upptäcka” neurala nätverk, som är Googles “AutoML” och Microsoft har “TLC”, säger Hodjat, med uppenbar stolthet.
Också: AI start Petuum syftar till att industrialisera maskininlärning
I en mening, CoDeepNEAT är en AutoML mekanism. “Vi arbetar med grupper i Google Hjärnan på dessa problem, vi pratar om gemensamma papper,” Hodjat anteckningar.
Presentation av Babak Hodjat på dygder “evolutionära algoritmer” för problemet lärande.
Babak Hodjat.
En viktig del av CoDeepNEAT, Hodjat påpekar, är att flera nätverk kan jämföras över flera olika uppgifter samtidigt, snarare än den typiska djupt lärande av utbildning ett nät på en enda uppgift som en klassificerare.
Det är viktigt eftersom de multi-multi-task utbildning visar inte bara vilka nätverk göra bättre, men som är mest effektiva för att producera ett givet test resultat. Söker hundratals, kanske tusentals möjliga kombinationer är en metod som är unik för evolution, Hodjat påpekar, vilket kan leda till bättre lösningar än att optimera på ett enda nätverk via hill klättring.
“Evolutionen ger i begreppet kreativitet och traversering av sökningen utrymme, det är inte stokastiska lutning härkomst, och det är inte hill climbing”, säger Hodjat. Även om det är en “fitness-funktion” som är optimerad, det behöver inte innebära tillbaka sprida fel för att förbättra vikter av ett och samma nätverk. Snarare CoDeepNEAT saldon “nyhet” och att utnyttja det som upptäcktes av det.
“Antag att du har varit i Palo Alto,” Hodjat erbjuder som en analogi, “och du vill gå till Chicago. Du kan sätta en liten pin på kartan för Palo Alto, för att markera en plats från vilken du startar. När du flyttar genom en karta, du har dessa markörer av platser att leda dig dit du vill flytta framåt eller bakåt eller i närheten.” Ett klassiskt exempel i maskininlärning är problemet av en AI som “agent” som försöker att ta sig från ett rum i en 2-D karta till ett annat rum. Tidigt i uppgiften, agent är hjälpt av att betona nyhet, slog ut i riktningar har det aldrig varit.
Också: Google funderar brister av maskininlärning
“Om du gör goda framsteg mot dina mål, kan du tona ner nyhet och sedan växla tillbaka till det om du fastnar i lokala optima, säger Hodjat.
“När ny kunskap kommer du att förändra din syn på världen”, förklarar han. I motsats, “Djup [lära sig] nätverk som inte fungera på det sättet.”
Hur CoDeepNEAT balanserar nyhetsgranskning med utnyttjande omfattas av flera patent som redan beviljats eller sökts av Hodjat och hans team, “hemliga sås”, som de säger.
Productizing allt detta kommer att ta Medveten i nya riktningar, beväpnade med nya funktioner. Kännande kom till Insikt med en produkt som kallas “LÖV” som buntar all denna teknik tillsammans i ett produktionssystem.
BLADET kan användas för att hjälpa ett företag att räkna ut “hur kör jag mitt företag bättre, säger Greenstein. En kund kommer till Insikt med en förutsägelse problem, säg, för att förbättra kundernas omvandlingar, eller förbättra kvalitet eller minska kostnaden i en produkt.
“Vi kan gå in och påverka din förutsägelse priser av tjugo till trettio procent”, säger Greenstein. “Vi kan förstärka processen för kunden, det är något ingen annan kan göra.”
Medveten är i “slutet av konversationer” med två kunder att använda tekniken, en paketerad konsumtionsvaror företaget, och ett försäkringsbolag.
“Det är ett högt värde för säker, säger Greenstein. “Vi förväntar oss definitivt mer än en tvåsiffrig premium” över priser Medveten vanligtvis avgifter, menar han.
Med stora resurser bakom LÖV, Medveten kan inte bara tjäna pengar, det kan leda ut i “industrialisera” en form av AI, göra den mer lättillgänglig och användbar utanför bara mega-cap-tech företag som har dominerat område som Google och Facebook.
Måste läsa
‘AI är mycket, mycket dumt”, säger Googles AI ledare (CNET)Hur man får alla Google Assistant nya röster just nu (CNET)Enhetlig Google AI division en tydlig signal om att AI: s framtid (TechRepublic)Topp 5: Saker att veta om AI (TechRepublic)
En fråga i slutet av dagen, man kanske inte omedelbart berör Medveten om evolutionär beräkning av lägsta slag kommer att leda till en “artificiell generell intelligens” eller AGI, det tänkt Heliga Graal för maskininlärning.
Hodjat vet något om att skapa system som verkar för att fånga några aspekter av naturliga förstånd. Han är mest känd för arbete år sedan som slutligen ledde till Siri assistant-teknik som går att köra på Apples iPhone. Projektet skedde medan han arbetade för en programvara tekokare kallas Dejima, Inc., enligt avtal med legendariska undersökningsföretaget SRI International.
“Jag är inte ett stort fan av AGI, säger Hodjat. “Det är en myt att vi strävar mot, vi vet inte ens vad det betyder, men det är inspirerande.” I slutändan, säger han, intelligens är “populationsbaserad,” det är “en befolkning av intelligent men oberoende sinnen som samverkar och ofta konkurrerande, och emergent beteende av dessa aktörer är med oss.” Det generaliserbarhet av mänsklig kunskap, förmåga att “använda vår intelligens i mycket vid bemärkelse,” framstår som ett fenomen av många insatser av människor lära sig över många uppgifter.
Men allt som är en utmaning för en annan dag. För närvarande Hodjat är chef är nöjd med hur LEAF kommer att öka Medveten verktygslåda för praktiska ändamål.
“AI är en del av tekniken som använder algoritmer för att lära och producera utskrifter som är mer exakt och mer skalbara än vad vi har gjort traditionellt, säger Krishnamurthy. “Vi kan utnyttja det för att verkligen hjälpa klienter att lösa problem.”
Tidigare och relaterade täckning:
Vad är AI? Allt du behöver veta
En verkställande guide till artificiell intelligens, från maskininlärning och allmänna AI att neurala nätverk.
Vad är djupt lärande? Allt du behöver veta
Lowdown på djupt lärande: från hur det förhåller sig till de bredare fält av maskinen lärande genom hur man kommer igång med det.
Vad är lärande? Allt du behöver veta
Denna guide förklarar vad lärande är, hur den är relaterad till artificiell intelligens, hur det fungerar och varför det är viktigt.
Vad är cloud computing? Allt du behöver veta om
En introduktion till cloud computing rätt från grunderna upp till IaaS och PaaS, hybrid, offentliga och privata moln.
Relaterade artiklar:
Googles AI surfar “gamescape” att erövra spelteori
Detta är vad AI ser ut (som skissat av AI)
Googles DeepMind lag med ledande 3D-spel dev plattform
DeepMind AI fläckar tidiga tecken på ögonsjukdom
Relaterade Ämnen:
Big Data Analytics
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem