Nul
De afgelopen dertig jaar van machine learning doorbraken zijn nauw verweven met een groot idee in computing: parallel distributed processing, waar een van de onderdelen van een programma dat gelijktijdig op meerdere processoren om de snelheid te rekenen.
Een AI-onderzoeker-draaide-ondernemer gelooft het gebied heeft veel meer savvy over het parallellisme te maken parallelizing AI dood eenvoudig.
Eric Xing, een Carnegie Mellon professor van machine learning, drie jaar geleden opgericht Petuum, gevestigd in Pittsburg, die heeft ontvangen van $108 miljoen in de financiering van de Japanse conglomeraat SoftBank, samen met Advantech Kapitaal, Chinese computing reus Tencent, Northern Light Venture Capital, en Oriza Ventures.
Ook: Kan IBM eventueel tamme AI voor ondernemingen?
Het bedrijf is van plan om het schip van de eerste versie van de AI-platform software voor komende zomer, een aanbod Xing hoopt “industrialisatie” machine learning, waardoor het meer betrouwbare en meer in het algemeen beschikbaar.
Petuum oprichter en CEO Eric Xing kwam met het idee voor de AI-software, terwijl op sabbatical van Carnegie Mellon op Facebook in 2010.
Veel van de uitdaging van de AI is een van de systems engineering challenge, in het hart en dat is een probleem van parallelizing het uitvoeren van algoritmen in alle soorten configuraties van machines.
“Bij het implementeren van algoritmen, die u nodig hebt om het te handhaven, moet u deze bijwerken, wijzigen,” Xing zei tegen ZDNet.
“Dat is de bottleneck van het krijgen van AI toegankelijk,” zegt hij, “voor bedrijven die geen Google of Microsoft, die niet aan de legers van ingenieurs, voor de traditionele IT-teams.
“Er is een tekort aan talent, en er is weinig tot geen geschiedenis van het gebouw AI teams binnen de meeste bedrijven.”
Petuum probeert te maken het gemakkelijker om het bereiken van gegevens of het model parallellisme, of beide, heel veel computers.
“Andere bedrijven willen Lego stukjes, ze willen de bouwstenen van machine learning oplossingen. AI moet worden geïndustrialiseerde, en er moeten normen – wij willen de koplopers van een dergelijke cultuur.”
Ook: Google zegt ‘exponentiële groei’ van de AI is het veranderen van de aard van het berekenen van
Het platform, dat is aangelegd uitgebreid in 2015 papier door Xing en collega ‘s gepubliceerd in IEEE Transacties op Big Data, beschrijft een manier om automatisch break-programma’ s van elkaar op twee verschillende manieren.
Met “gegevens parallellisme.” Dat is natuurlijk een zeer populaire aanpak al in AI. Training, en in sommige gevallen gevolgtrekking, in de machine learning, wordt versneld door het verzenden van verschillende gegevens voor verschillende processors, ofwel Cpu ‘s of, meer algemeen, de Gpu’ s. Elke processor treinen het neurale netwerk met behulp van haar deel van de totale data set, en de parameters van het netwerk, de gewichten, worden bijgewerkt over alle segmenten van de gegevens.
Een andere benadering, minder vaak, en moeilijker op te lossen, is om het netwerk in stukjes over de verschillende processors, beter bekend als “model parallellisme.” Deze problemen van parallellisme is een focus van informatica voor decennia. Voor machine learning programma ‘ s geschreven in Google TensorFlow, of de populaire Caffe framework, Petuum de software automatisch kan bereiken data of model parallellisme, of een combinatie van beide.
Ook: Intel-backed opstarten Paperspace opnieuw uitvindt dev tools voor een AI -, cloud-tijdperk
Het belangrijkste inzicht van dat werk is dat de machine learning, in tegenstelling tot andere programma ‘ s, is het niet de “deterministisch” het is probabilistische. Als zodanig heeft drie voordelen andere soorten software niet in de termen van parallellisme: Het kan tolereren fout in de afzonderlijke onderdelen van de programma ‘ s de functie van een grotere mate; de afhankelijkheden tussen de verschillende onderdelen van het programma veranderen in de loop van het draaien van het programma, ze zijn dynamisch; en de verschillende delen “convergeren” aan een oplossing om het probleem tegen verschillende tarieven.
De Petuum software heeft verschillende trucs te exploiteren die sterktes. Bijvoorbeeld, een “parameter server” loopt het plannen van een protocol dat ervoor kiest welke parameters van het neurale netwerk dat parallel, op basis van welke parameters van het neurale netwerk zijn alleen “zwak” gecorreleerd zijn met elkaar, en kan daarom worden beïnvloed onafhankelijk.
De resultaten zijn een beetje doet denken aan de MapReduce big data kader, maar Petuum stelt het systeem heeft tal van voordelen ten opzichte van MapReduce en andere parallelizing infrastructuur, zoals Vonk en GraphLab.
Petuum de parameter server maakt beslissingen, zoals het plannen van het werk op de verschillende segmenten van een neuraal netwerk op basis van de afhankelijkheden tussen de parameters.
(Veel meer documentatie over de technologie is beschikbaar op de site.)
Xing had de openbaring, die het bedrijf oprichtte, terwijl het nemen van een sabbatical van Carnegie Mellon op Facebook in 2010.
“Ik schaamde me om mijn eigen onvermogen tot het leveren van mijn modellen snel,” herinnert hij zich. “Ik ging terug naar de CMU, en we begonnen met een onderzoeksproject over hoe te nemen een stuk van de bestaande machine learning code, en automatisch een parallelle versie voor het datacenter.”
Petuum is nog in ontwikkeling is hoe het zal geld verdienen met het platform. Xing zegt het kan ook een licentiemodel dat de kosten door het aantal apparaten of gebruikers dat een cliënt heeft met het werken op een gegeven AI-systeem. Maar, in de tussentijd, Petuum is in het proces van de scheepvaart sommige verpakte software voor verticale industrieën. Het idee is om te bewijzen dat “zijn we in staat om niet-triviale AI problemen,” zegt hij. Maar het is ook het begin van wat Xing hoop zal een markt van verticale oplossingen die kunnen komen uit tal van partijen – Lego stenen voor de industrie.
Ook: Snel.ai ‘ s software kan radicaal te democratiseren AI
Een industrie die is een begin van de klant in de gezondheidszorg. Ziekenhuizen zijn vooral interessant voor Xing, omdat ze waarschijnlijk niet hebben van een dedicated team, en zelfs als ze dat doen, hun HET team zou misschien worden uitgedaagd door de noodzaak van AI modellen op een scala van hardware, van enkele laptops die draaien op een up-to-cloud-infrastructuur van talrijke toepassing containers.
“Waar ze over een IT-team, ze kunnen zitten in de voorkant van een UI en een update van de algoritmes, maar draait op Petuum dat ze niet hoeven te maken over hoe de gegevens wordt verspreid op verschillende machines.”
Een eerste product van de gezondheidszorg inspanning is een systeem voor het automatisch genereren van de mens leesbare rapporten voor artsen met behulp van gegevens zoals radiologie-scans, verwerkt via reinforcement learning.
“Dit gaat niet over classificatie,” zegt Xing. “Het is over het samenvatten van kennis in een one-pager, met een dieper begrip van de mediale informatie.”
De Petuum software systeem architectuur.
“Je kunt de diagnostische resultaten, je kunt de snelheid van een arts werkt.”
Een van de resultaten van de vennootschap partnerschap, aangekondigd in September, met de Cleveland Clinic, voor de productie van een Kunstmatige Intelligentie Diagnose van de Motor (ASSISTENT) die kunnen “toepassen geavanceerde machine learning algoritmen om medische gegevens.” De maatschap concurreren voor IBM ‘ s “Watson AI Xprize.”
Ook op: Facebook werft AI om te “tweaken” de prestaties van de webserver
Natuurlijk, operationalisering van AI blijft de vraag of dergelijke werken zal steeds dichter bij de Heilige Graal van de “kunstmatige algemene intelligentie.”
Xing denkt dat het woord “generalizability” heeft “misbruikt zijn of overbelast.”
“Ik denk niet dat er een enkel algoritme dat kan oplossen algemene AI,” zegt hij, “voor het verwerken van spraak en ook het lezen van foto’ s, dat is onmogelijk – dat is niet eens een wetenschappelijk levensvatbare verklaring.”
“Maar als je praat over van een technische zin, over de moeren en bouten die gebruikt kan worden in verschillende plaatsen, dan kunnen we deze verschillende bouwstenen die kunnen worden hergebruikt.”
“Het grotere probleem,” zegt hij, “is een kloof tussen wetenschappers en ingenieurs: de twee zijn het niet geven van inzicht aan de ander.”
“Veel meer moet gebeuren om de kloof te overbruggen. Ik geloof niet dat alleen het uitvinden van duiven en melker modellen is de weg te gaan. Je moet nog de ingenieurs voor het vertalen van de modellen in het product.”
Petuum heeft acht papers die zijn geaccepteerd in de komende NeurIPS conferentie over machine learning, die plaatsvindt volgende maand in Montreal.
Vorige en aanverwante dekking:
Wat is AI? Alles wat je moet weten
Een executive gids voor kunstmatige intelligentie, van machine learning en algemene AI-neurale netwerken.
Wat is diep leren? Alles wat je moet weten
De lowdown op diep leren: van hoe het zich verhoudt tot het bredere veld van machine-leren door te zien hoe aan de slag met het.
Wat is machine learning? Alles wat je moet weten
In deze gids wordt uitgelegd wat ‘machine learning’ is, hoe het is in verband met kunstmatige intelligentie, hoe het werkt en waarom het belangrijk is.
Wat is cloud computing? Alles wat u moet weten over
Een introductie van cloud computing recht vanaf de basis tot IaaS en PaaS -, hybride -, public en private cloud.
Verwante artikelen:
36 van de beste films over AI, rankedThis is wat AI eruit ziet (zoals geschetst door AI)AI robots zijn komst, maar de VN wil dat ze bannedDigital transformatie in 2019: AI, robotica, en IoT te spelen acteurs rollen
Verwante Onderwerpen:
Big Data Analytics
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software
0