Noll
De senaste trettio åren av maskininlärning genombrott är intimt sammanflätade med en stor idé i datoranvändning: parallel distributed processing, där en del av ett program som körs samtidigt på flera processorer för att snabba beräkningar.
En AI-forskare-som-blev-företagare anser att de behöver området ett mycket mer kunniga om parallellitet, för att göra parallelizing AI död enkel.
Eric Xing, Carnegie Mellon professor i machine learning, för tre år sedan grundade Petuum, baserat i Pittsburg, som har fått $108 miljoner euro i finansiering från Japanska konglomeratet SoftBank, tillsammans med Advantech Kapital, Kinesiska computing jätte Tencent, Northern Light Venture Capital, och Oriza Ventures.
Också: IBM Kan möjligen tämja AI för företag?
Företaget planerar att leverera den första versionen av sin AI-plattform programvara för nästa sommar, ett erbjudande Xing hoppas kommer att “industrialisera” machine learning, vilket gör den mer tillförlitlig och mer allmänt tillgängliga.
Petuum grundare och VD Eric Xing kom upp med idén för AI-program samtidigt på sabbatsår från Carnegie Mellon på Facebook under 2010.
Mycket av utmaningen av AI-system är en riktig utmaning, och i hjärtat av det är ett problem för parallelizing driften av algoritmer inom alla typer av konfigurationer av maskiner.
“När du distribuerar algoritmer, du behöver för att behålla det, du behöver uppdatera det, ändra det,” Xing berättade ZDNet.
“Det är mycket flaskhals för att få AI tillgänglig”, säger han, “för företag som inte Google eller Microsoft, som inte har arméer av ingenjörer, för traditionella IT-team.
“Det är en brist på talang, och det finns lite att ingen historia av att bygga AI lag inom de flesta företag.”
Petuum försöker att göra det lättare att uppnå antingen data eller modell parallellitet, eller båda, på många datorer.
“Andra företag vill ha Lego bitar, de vill byggstenarna i machine learning lösningar. AI behov att industrialiseras, och det behövs standarder – vi vill vara front-runners av en sådan kultur.”
Också: Google säger ” exponentiell tillväxt av AI är föränderliga natur beräkna
Plattformen, som läggs ut i stor utsträckning i en 2015 papper av Xing och kollegor publicerade i IEEE transactions on Big Data, beskriver ett sätt att automatiskt dela upp program förutom på två olika sätt.
En “data parallellitet.” Det är, naturligtvis, en mycket populär strategi redan i AI. Utbildning, och i vissa fall slutledning, i machine learning, är påskyndas genom att skicka olika bitar av data till olika processorer, antingen Processorer eller, mer allmänt, Grafikprocessorer. Varje processor tåg neurala nätverk med dess andel av den totala datamängden, och parametrarna för nätverk, vikter, är uppdaterade i alla dessa bitar av data.
En annan metod, mindre vanligt, och svårare att ingenjör, är att nätverket i bitar över processorer, känd som “modell parallellitet.” Dessa problem av parallellism har varit ett fokus för datavetenskap i årtionden. För maskininlärning program skrivna i Googles TensorFlow, eller den populära Caffe ram, Petuum programvara automatiskt kan uppnå antingen data eller modell parallellitet, eller en kombination av båda.
Också: Intel-stödda start Paperspace uppfinner dev verktyg för en AI, moln eran
Den viktigaste insikten av detta arbete är att maskinen lärande, till skillnad från andra program, är inte “deterministiska” det är probabilistisk. Som sådan, den har tre fördelar andra typer av programvara har inte i termer av parallellism: Det kan tolerera fel i enskilda delar av programmets funktion i en större utsträckning, beroenden mellan olika delar av programmet förändring av kursen för att köra programmet, de är dynamiska, och olika delar “träffas” på en lösning till det givna problemet vid olika priser.
Den Petuum software har utvecklat flera knep för att utnyttja dessa styrkor. Till exempel, en “parameter server” går en schemaläggning protokoll som väljer vilka parametrar av neurala nätverk för att köra parallellt, beroende på vilka parametrar som är av det neurala nätverket endast är “svagt” korrelerade med varandra, och därför kan påverkas oberoende av varandra.
Resultaten är lite påminner om MapReduce big data ram, men Petuum hävdar dess system har många fördelar jämfört med MapReduce och andra parallelizing infrastruktur, såsom Gnista och GraphLab.
Petuum s parameter server fattar beslut, till exempel hur att planera arbetet på olika segment av ett neuralt nätverk som bygger på beroenden mellan olika parametrar.
(Mycket mer dokumentation om den teknik som finns tillgänglig på bolagets webbplats.)
Xing hade den uppenbarelse som startade företaget samtidigt som man tar ett sabbatsår från Carnegie Mellon på Facebook under 2010.
“Jag var generad över min egen oförmåga att leverera mina modeller snabbt”, minns han. “Jag gick tillbaka till CMU, och vi startade ett forskningsprojekt om hur man tar en bit av befintliga maskinen lära sig koden och automatiskt göra en parallell version för data center.”
Petuum är fortfarande under utveckling hur det kommer att tjäna pengar på plattformen. Xing säger att det skulle kunna innefatta en modell med tillstånd att avgifter av antalet maskiner eller användare en klient har att arbeta på ett visst AI-system. Men under tiden, Petuum är i färd med frakt vissa paketerad programvara för vertikala branscher. Tanken är att visa att “vi kan hantera icke-triviala AI problem, säger han. Men det är också början på vad Xing hoppas kommer att vara en marknadsplats för vertikala lösningar som kan komma från många parter – Lego tegelstenar för industrier.
Även: Snabbt.ai: s programvara kan radikalt demokratisera AI
En industri som är en tidig kund är hälso-och sjukvård. Sjukhus är särskilt intressant att Fastställa, eftersom de sannolikt inte har en dedikerad AI laget, och även om de gör, deras IT-team skulle kanske kunna överklagas av behovet av att använda AI modeller på ett urval av hårdvara, från enstaka bärbara datorer på upp till molnbaserad infrastruktur av många behållare ansökan.
“Där de har en IT-grupp, de kan sitta framför en ANVÄNDARGRÄNSSNITTET och uppdatera algoritmer, men kör på Petuum, de behöver inte bekymra dig om hur uppgifter sprids eller köras på olika maskiner.”
En första produkt av hälso-och sjukvårdens insatser är ett system för att automatiskt skapa läsbara rapporter för läkare med hjälp av data såsom radiologi skannar, bearbetas via inlärning.
“Det handlar inte om klassificering, säger Xing. “Det handlar om att sammanfatta kunskap till en personsökare, med en djupare förståelse för mediala information.”
Den Petuum programvara system arkitektur.
“Du kan öka den diagnostiska resultat, kan du snabba upp en läkares arbete.”
Resultatet är företagets partnerskap, meddelade i September, med Cleveland Clinic, för att producera en Artificiell Intelligens Diagnos Motor (MEDHJÄLPARE) som kan “tillämpa avancerad maskinlärande algoritmer för att patientjournalen data.” Partnerskapet tävlar för IBM: s “Watson AI Xprize.”
Också: Facebook anlitar AI för att justera web server prestanda
Naturligtvis, industrialisera AI lämnar frågan öppen om huruvida ett sådant arbete kommer att närma sig den Heliga Graal för “artificiell generell intelligens.”
Xing tycker att ordet “generaliserbarhet” har “utsatts för övergrepp eller överbelastad.”
“Jag tror inte det finns en enda algoritm som kan lösa de allmänna AI”, säger han, “att behandla tal och även läsa bilder, det är omöjligt – det är inte ens ett vetenskapligt gångbart uttryck.”
“Men om du talar om från en teknisk mening, om skruvar och muttrar som kan användas på olika platser, så kan vi göra dessa olika byggstenar som kan återanvändas.”
“Större problem”, säger han, “finns en konflikt mellan forskare och ingenjörer: de två är inte att ge insikter till varandra.”
“Mycket mer som behöver hända för att överbrygga klyftan. Jag tror inte att bara uppfinna finare och finare modeller är vägen att gå. Du fortfarande behöver ingenjörer för att översätta modeller i produkten.”
Petuum har åtta tidningar som har godkänts vid kommande NeurIPS konferens om lärande, som äger rum nästa månad i Montreal.
Tidigare och relaterade täckning:
Vad är AI? Allt du behöver veta
En verkställande guide till artificiell intelligens, från maskininlärning och allmänna AI att neurala nätverk.
Vad är djupt lärande? Allt du behöver veta
Lowdown på djupt lärande: från hur det förhåller sig till de bredare fält av maskinen lärande genom hur man kommer igång med det.
Vad är lärande? Allt du behöver veta
Denna guide förklarar vad lärande är, hur den är relaterad till artificiell intelligens, hur det fungerar och varför det är viktigt.
Vad är cloud computing? Allt du behöver veta om
En introduktion till cloud computing rätt från grunderna upp till IaaS och PaaS, hybrid, offentliga och privata moln.
Relaterade artiklar:
36 av de bästa filmer om AI, rankedThis är vad AI ser ut (som skissat av AI)AI killer robotar som kommer men FN vill ha dem bannedDigital omvandling i och med 2019: AI, robotik och sakernas internet för att spela huvudrollerna
Relaterade Ämnen:
Big Data Analytics
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem
0