LinkedIn aprire fonti di TonY, il suo framework per l’esecuzione TensorFlow su Hadoop

0
110

Zero

LinkedIn giovedì annuncerà un nuovo progetto open source che punta a fornire il supporto nativo per l’esecuzione di TensorFlow lavori su Hadoop.

TensorFlow è il Google-costruito open-source di machine learning library, che è diventata una delle più popolari piattaforme per la creazione di machine learning e apprendimento profondo applicazioni. Hadoop è un framework software open-source per la memorizzazione di dati e le applicazioni in esecuzione su cluster di hardware. Ottenere questi due sistemi per funzionare nativamente è spesso un ostacolo per i dati tecnici e scienziati, secondo LinkedIn.

Nei passaggi TonY, LinkedIn framework per eseguire in modo nativo TensorFlow su Hadoop. L’idea di base è di eseguire TensorFlow lavori come affidabile e flessibile come altri cittadini di prima classe su Hadoop tra MapReduce e Scintilla, LinkedIn, ha detto.

“Abbiamo voluto un flessibile e sostenibile per colmare il divario tra l’analitica poteri distribuiti TensorFlow e il ridimensionamento dei poteri di Hadoop,” Jonathan Appeso, un software engineer senior su Hadoop team di sviluppo di LinkedIn, ha scritto in un post sul blog.

“In modo simile a come MapReduce fornisce il motore per l’esecuzione di Maiale/Alveare script su Hadoop, e Scintilla fornisce il motore per l’esecuzione di codice scala che utilizza la Scintilla Api, TonY mira a fornire lo stesso di prima classe di supporto per l’esecuzione di TensorFlow lavori su Hadoop da attività di manipolazione, come risorsa di negoziazione e di contenitore di configurazione dell’ambiente di” Hung, ha spiegato.

pasted-image-0.png

Oltre a supportare questa funzionalità di base, TonY offre anche funzionalità che mirano a migliorare l’esperienza di correre su larga scala di formazione, compresa la GPU di pianificazione, a grana fine, richieste di risorse, TensorBoard di supporto, e la tolleranza di errore.

TonY è disponibile su GitHub-che, come LinkedIn, è anche ora di proprietà di Microsoft, a partire da oggi.

RELATIVI COPERTURA:

Microsoft del futuro CEO di GitHub’ parla di Atomo, mantenendo GitHub indipendente e più

Presto-a-essere GitHub CEO Nat Friedman ha preso i Riflettori e per provare a rispondere a sviluppatore domande e timori su Microsoft piani per il servizio.

LinkedIn lancia la funzione di traduzione che si basa su Microsoft AI technologies

Microsoft LinkedIn unità ha sviluppato una nuova dinamica servizio di traduzione per i posti in LinkedIn feed di notizie, e utilizzato alcuni di Microsoft cognitivo di servizi per la costruzione di esso.

Open source: Perché è il momento di essere più aperti su come progetti

La sicurezza non è l’unica considerazione come valutare quali progetti open source contare che su governance, comunità e professionalità importa troppo.

Argomenti Correlati:

Enterprise Software

Linux

Sviluppatore

Sicurezza

0