Nul
LinkedIn på torsdag vil annoncere et nyt open source projekt, som har til formål at yde understøttelse til at køre TensorFlow job på Hadoop.
TensorFlow er Google-bygget open-source machine learning-bibliotek, som er blevet en af de mest populære platforme til oprettelse af machine learning og dybe læring applikationer. Hadoop er open-source software framework til lagring af data og programmer, der kører på klynger af hardware. At få disse to systemer til at fungere sammen oprindeligt er ofte en hindring for, at data forskere og ingeniører, i henhold til LinkedIn.
I trin TonY, LinkedIn ‘ s ramme, indbygget køre TensorFlow på Hadoop. Den centrale idé er at køre TensorFlow job som pålideligt og fleksibelt som andre første-klasses borgere på Hadoop herunder MapReduce og Gnist, LinkedIn sagde.
“Vi ønskede en fleksibel og bæredygtig måde at bygge bro mellem det analytiske beføjelser fordelt TensorFlow og skalering beføjelser Hadoop,” Jonathan Hang, en senior software ingeniør på Hadoop udvikling team på LinkedIn, skrev i et blogindlæg.
“Magen til, hvordan MapReduce giver motoren til at køre Svin/Hive scripts på Hadoop, og Spark giver motoren til at køre scala-kode, der bruger Gnist Api’ er, som TonY har til formål at give den samme førsteklasses support for at køre TensorFlow job på Hadoop ved håndtering af opgaver som ressource-forhandling og beholder miljø setup,” Hang forklaret.
Ud over at støtte dette grundlæggende funktionalitet, TonY tilbyder også funktioner, der har til formål at forbedre oplevelsen af at køre i stor skala uddannelse, herunder GPU planlægning, finkornet ressource anmodninger, TensorBoard støtte, og fejltolerance.
TonY er tilgængelig på GitHub — der, som LinkedIn, og er nu ejet af Microsoft — der starter i dag.
RELATEREDE DÆKNING:
Microsoft ‘s kommende administrerende DIREKTØR for GitHub’ taler ud om Atom, holde GitHub uafhængige og mere
Snart-til-være GitHub CEO Nat Friedman tog til Reddit til at forsøge at besvare udvikler spørgsmål og dæmpe frygt for, om Microsofts planer for den service.
LinkedIn lancerer oversættelse funktion, der bygger på Microsoft AI teknologier
Microsoft ‘ s LinkedIn enhed har udviklet en ny dynamisk oversættelse service for indlæg i LinkedIn news feed, og brugt nogle af Microsofts kognitive tjenester til at bygge det.
Open source: Hvorfor er det tid til at være mere åben om, hvordan projekter, der gennemføres
Sikkerhed er ikke den eneste overvejelse, når du vurderer, hvor open source-projekter til at stole på; styring, fællesskab og professionalisme sag.
Relaterede Emner:
Virksomhedens Software
Linux
Udvikler
Sikkerhed
0