Nul
De sidste tredive år af machine learning gennembrud er intimt sammenflettet med en stor idé i computing: parallel distributed processing, hvor dele af et program, der kører samtidigt på flere processorer til hastighed beregning.
En AI forsker-turned-iværksætter mener, at området har brug for en masse mere bevidste om parallelitet, for at gøre parallelizing AI død enkel.
Eric Xing, Carnegie Mellon professor i machine learning, for tre år siden grundlagt Petuum, der er baseret i Pittsburg, der har modtaget $108 millioner i støtte fra Japanske konglomerat SoftBank, sammen med Advantech Kapital, Kinesiske computing kæmpe Tencent, Northern Light Venture Kapital, og Oriza Ventures.
Også: Kan IBM eventuelt tamme AI for virksomheder?
Selskabet har planer om at sende den første version af sin AI-platform software til næste sommer, et offer Xing håber, at i vil “industrialiseringsproces” machine learning, hvilket gør det mere pålideligt og mere bredt tilgængelig.
Petuum grundlægger og CEO Eric Xing kom op med ideen til de AI-software, mens du er på orlov fra Carnegie Mellon på Facebook i 2010.
Meget af den udfordring, AI er en systemudvikling udfordring, og i hjertet af, at der er et problem med parallelizing driften af algoritmer på tværs af alle typer konfigurationer af maskiner.
“Når du implementere algoritmer, du er nødt til at vedligeholde det, du har brug for at opdatere det, ændre det,” Xing fortalte ZDNet.
“Det er meget flaskehals for at få AI tilgængelige,” siger han, “for virksomheder, der ikke er Google eller Microsoft, der ikke har nogen hær af ingeniører, til traditionel IT-teams.
“Der er en mangel på talent, og der er lidt at ingen tradition for at bygge AI hold inden for de fleste virksomheder.”
Petuum forsøger at gøre det lettere at opnå enten data eller model, parallel, eller begge dele, på tværs af mange computere.
“Andre selskaber, der ønsker Lego stykker, de ønsker byggesten i machine learning-løsninger. AI har behov for at blive industrialiseret, og der skal være standarder – vi ønsker at være i front af en sådan kultur.”
Også: Google siger, ‘eksponentielle vækst af AI er ved at ændre karakter beregne
Den platform, som er lagt ud i udstrakt grad i 2015 papir ved Xing og kolleger offentliggjort i IEEE Transaktioner på Big Data, beskriver en måde til automatisk at bryde programmer fra hinanden på to forskellige måder.
Den ene er “data parallelitet.” Der er, naturligvis, en meget populær strategi, der allerede er i AI. Uddannelse, og i nogle tilfælde slutning, i machine learning, er drønede op ved at sende forskellige dele af data til forskellige processorer, enten Cpu ‘er, eller, mere almindeligt, Gpu’ er. Hver processor tog det neurale netværk, der bruger sin del af det samlede datasæt, og parametrene for netværket, vægt, er opdateret på tværs af alle de skiver af data.
En anden tilgang, mindre udbredt, og mere vanskeligt at ingeniør, er at netværket i stykker på tværs af processorer, der er kendt som “model parallelitet.” Disse problemer af parallelitet har været fokus på computer science i årtier. For machine learning programmer skrevet i Google ‘s TensorFlow, eller den populære Caffe ramme, Petuum’ s software, der automatisk kan opnå enten data eller model parallelitet, eller en kombination af begge.
Også: Intel-backed start Paperspace genopfinder dev tools for en AI, cloud-æra
Den vigtigste indsigt i, at arbejde er, at machine learning, i modsætning til andre programmer, er det ikke “deterministisk” det er probabilistisk. Som sådan, det er tre fordele ved andre typer af software ikke har i form af parallelisme: Det kan tolerere fejl i enkelte dele af programmets funktion til en større grad; afhængigheder mellem dele af programmet ændre sig i løbet for at køre programmet, de er dynamiske, og forskellige dele “konvergere” på en løsning til den givne problem til forskellige priser.
Den Petuum software har udviklet flere tricks til at udnytte disse styrker. For eksempel, en “parameter server” kører en planlægning protokol, der vælger, hvilke parametre, der er af neurale netværk til at køre i parallel, baseret på, hvilke parametre af det neurale netværk kun er “svagt”, som er korreleret med hinanden, og derfor kan blive påvirket uafhængigt af hinanden.
Resultaterne minder lidt om MapReduce big data ramme, men Petuum argumenterer for dens system har mange fordele i forhold til MapReduce og andre parallelizing infrastruktur, såsom Spark og GraphLab.
Petuum parameter server gør beslutninger såsom, hvordan at planlægge arbejdet på forskellige segmenter af et neuralt netværk, der er baseret på afhængigheder mellem parametre.
(Meget mere dokumentation på den teknologi, der er tilgængelig på selskabets hjemmeside.)
Xing havde den åbenbaring, der startede virksomheden, mens du tager et sabbatår fra Carnegie Mellon på Facebook i 2010.
“Jeg var flov på min egen manglende evne til at levere mine modeller hurtigt,” erindrer han. “Jeg gik tilbage til CMU, og vi startede et forskningsprojekt om, hvordan at tage et stykke af eksisterende machine learning-kode, og automatisk lave en parallel version til data center.”
Petuum er stadig udvikler sig, hvordan det vil tjene penge på den platform. Xing siger, at det kunne omfatte en licensmodel, at afgifterne med antallet af maskiner eller brugere i en klient, der arbejder på en given AI system. Men i mellemtiden, Petuum er i færd med forsendelse nogle softwarepakker for vertikale brancher. Ideen er at bevise, at “vi er i stand til at løse ikke-trivielle AI problemer,” siger han. Men det er også starten på, hvad Xing håber vil være en markedsplads af vertikale løsninger, der kan komme fra mange parter – Lego klodser for industrier.
Også: Hurtig.ai-software kan radikalt demokratisere AI
En industri, der er en tidlig kunden sundhedsydelser. Hospitaler er især interessant at Xing, fordi de sandsynligvis ikke har en dedikeret AI team, og selv hvis de gør, deres IT-team, vil måske blive udfordret af, at det er nødvendigt at implementere AI modeller på en vifte af hardware, fra en enkelt bærbare computere på op til cloud infrastruktur af talrige anvendelse containere.
“Hvor de har en IT-team, de kan sidde foran en UI og opdatere de algoritmer, men kører på Petuum, at de ikke behøver at bekymre sig om, hvordan data er fordelt eller køre på forskellige maskiner.”
Et første produkt af sundhedsydelser indsats er et system til automatisk at generere læsbare rapporter for læger bruger data såsom radiologi scanninger, der behandles via styrkelse læring.
“Det handler ikke om klassificering,” siger Xing. “Det handler om at opsummere viden ind i en one-pager, med en dybere forståelse af mediale oplysninger.”
Den Petuum software arkitektur.
“Du kan øge den diagnostiske resultater, kan du fremskynde en læges arbejde.”
Et af resultaterne er virksomhedens partnerskab, meddelte i September, med de Cleveland Clinic, til at producere en Kunstig Intelligens Diagnose Motor (ASSISTENT), der kan “anvende avancerede machine learning algoritmer til medicinsk registrering af data.” Partnerskabet er konkurrerer om IBM ‘ s “Watson AI Xprize.”
Også: Facebook hverver AI til at nappe web-server performance
Selvfølgelig, industrializing AI efterlader et åbent spørgsmål, om et sådant arbejde vil komme tættere på den Hellige Gral for “kunstig generelle intelligens.”
Xing mener, at ordet “generalizability” er “blevet misbrugt eller overbelastet.”
“Jeg tror ikke der er en enkelt algoritme, der kan løse generelle AI,” siger han, “til at behandle tale og læse de billeder, der er umuligt – det er ikke engang en videnskabeligt holdbar erklæring.”
“Men hvis du taler om fra en teknisk forstand, om møtrikker og bolte, der kan bruges i forskellige steder, så kan vi gøre disse forskellige byggesten, der kan genbruges.”
“Det større problem,” siger han, “er en kløft mellem forskere og ingeniører: de to er ikke at give viden til en anden.”
“En masse mere, der skal ske for at bygge bro. Jeg tror ikke, at bare at opfinde smartere og smartere modeller er den måde at gå. Du har stadig brug for ingeniører til at oversætte de modeller, der er i produktet.”
Petuum har otte artikler, der er blevet accepteret på det kommende NeurIPS konference om machine learning, som finder sted i næste måned i Montreal.
Tidligere og relaterede dækning:
Hvad er AI? Alt, hvad du behøver at vide
En executive guide til kunstig intelligens, fra machine learning og generelt AI til neurale netværk.
Hvad er dyb læring? Alt, hvad du behøver at vide
Den lowdown på en dyb læring: fra hvordan det relaterer til det bredere felt af machine learning igennem til, hvordan du kommer i gang med det.
Hvad er machine learning? Alt, hvad du behøver at vide
Denne vejledning forklarer, hvad machine learning er, hvordan det er relateret til kunstig intelligens, hvordan det fungerer, og hvorfor det er vigtigt.
Hvad er cloud computing? Alt, hvad du behøver at vide om
En introduktion til cloud computing-lige fra det grundlæggende op til IaaS og PaaS, hybrid, offentlige og private cloud.
Relaterede historier:
36 af de bedste film om AI, rankedThis er, hvad AI ligner (som skitseret ved AI)AI-killer robotter er på vej, men FN ‘ s ønsker dem bannedDigital transformation i 2019: AI, robotteknologi, og IoT til at spille roller
Relaterede Emner:
Big Data Analytics
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software
0