Noll
LinkedIn på torsdag kommer att presentera ett nytt open source-projekt som syftar till att ge inbyggt stöd för att köra TensorFlow jobb på Hadoop.
TensorFlow är det Google-byggt med öppen källkod maskininlärning bibliotek som har blivit en av de mest populära plattformarna för att skapa lärande och djupt lärande program. Hadoop är open-source programvara för lagring av data och program som körs på kluster av hårdvara. Att få dessa två system att fungera tillsammans direkt är ofta ett hinder för data forskare och ingenjörer, enligt LinkedIn.
I steg TonY, LinkedIn: s ram för att direkt köra TensorFlow på Hadoop. Den centrala tanken är att köra TensorFlow jobb som tillförlitligt och flexibelt sätt som andra första klassens medborgare på Hadoop inklusive MapReduce och Gnista, LinkedIn sagt.
“Vi ville ha ett flexibelt och hållbart sätt att överbrygga klyftan mellan den analytiska befogenheter fördelas TensorFlow och skalning befogenheter av Hadoop,” Jonathan Hängde, senior software engineer på Hadoop team på LinkedIn, skrev i ett blogginlägg.
“Liknar hur MapReduce ger motorn för att köra Gris/Bikupa skript på Hadoop, och Gnista ger motorn för att köra scala-kod som använder Gnista Api: er, TonY syftar till att ge samma första-klass-stöd för att köra TensorFlow jobb på Hadoop genom att hantera uppgifter som resurs för förhandling och behållare miljö-inställning,” Hängde förklaras.
Förutom att stödja detta baseline funktionalitet, TonY erbjuder också funktioner som syftar till att förbättra upplevelsen av att driva storskaliga utbildning, inklusive GPU schemaläggning, finkornig resurs ansökningar, TensorBoard stöd, och feltolerans.
TonY är tillgänglig på GitHub — vilket, som LinkedIn, är nu också ägs av Microsoft-med start idag.
RELATERADE TÄCKNING:
Microsofts framtid VD på GitHub’ talar ut på Atom, hålla GitHub oberoende och mer
Snart-till-vara GitHub VD Nat Friedman tog på Reddit att försöka besvara utvecklare frågor och dämpa oron om Microsofts planer för tjänsten.
LinkedIn lanserar översättning funktion som bygger på Microsoft AI teknik
Microsofts LinkedIn enhet har utvecklat en ny dynamisk översättning tjänst för inlägg i LinkedIn news feed, och använt en del av Microsofts kognitiva tjänster för att bygga upp det.
Öppen källkod: Varför det är dags att vara mer öppen om hur projekt drivs
Säkerhet är inte den enda faktor som du bedöma vilka open source-projekt för att förlita sig på, styrning, gemenskap och professionalism fråga.
Relaterade Ämnen:
Affärssystem
Linux
Utvecklare
Säkerhet
0