Spell DLOps-architectuur op hoog niveau
Credit: Spell
De productcategorie machine learning operations (MLOps) is snel in beweging, vooral in het afgelopen jaar, en er zijn verschillende platforms ontstaan om het op te pakken. Cloudproviders, waaronder AWS en Microsoft, analysespelers zoals Databricks en Cloudera, MLOps pure plays zoals Algorithmia en zelfs open source-projecten zoals MLflow, bieden geïntegreerde platforms voor het beheren van machine learning-modelexperimenten, implementatie, monitoring en uitlegbaarheid. Nu biedt Spell, een MLOps-startup uit New York City, een MLOps-platform dat specifiek is gericht op deep learning. Als zodanig verwijst Spell naar zijn platform, dat vorige week werd aangekondigd, als het faciliteren van “DLOps”.
Lees ook:
Databricks verhoogt AI-ante met nieuwe AutoML-engine en feature store< sterk>Het MLOps-platform van Cloudera brengt governance en beheer naar datawetenschapspijplijnen
Cloudera Machine Learning MLOps-suite algemeen beschikbaar omdat het modellen en analyses wil beheren
ZDNet sprak met het hoofd marketing van Spell, Tim Negris, evenals met zijn CEO en mede-oprichter, Serkan Piantino (die eerder werkzaam was als Director of Engineering bij Facebook AI Research en die het kantoor van Facebook in New York City opende). Het duo legde uit dat de meeste van de huidige prominente MLOps-platforms zich richten op conventionele machine learning (classificatie, regressie, clustering en dergelijke) en niet op deep learning, dat modellen bouwt door meerdere neurale netwerkstructuren in een ensemble te stapelen. Dat gat in de markt is de motivatie achter Spell's DLOps-platform.
Speciale vereisten
Waarom ziet Spell DLOps als een aparte categorie? Piantini en Negris legden uit dat deep learning vooral goed van toepassing is op scenario's met natuurlijke taalverwerking (NLP), computervisie en spraakherkenning. Deep learning-modellen zijn doorgaans complexer dan hun conventionele tegenhangers van ML-modellen en zullen waarschijnlijk niet worden getraind op de laptop van een datawetenschapper. In plaats daarvan profiteert deep learning-modeltraining van aanvullende – en krachtigere – cloudgebaseerde hardware, waaronder CPU-gebaseerde compute, maar vooral ook GPU-gebaseerde compute. Dit laatste kan behoorlijk duur zijn als het gaat om experimenten en training met deep learning-modellen, dus een MLOps-platform dat in staat is om dergelijke hardware in de cloud te ruziën en kosten te beheersen, is van cruciaal belang.
Piantino en Negris beschreven het Spell-platform en wezen erop hoe zorgvuldig het de beschikbaarheid en kosten van CPU- en GPU-gebaseerde clusterknooppunten beheert. Een bijzonder interessante mogelijkheid van het Spell-platform is dat het pools van cloudspot-instanties kan maken en deze op aanvraag beschikbaar kan stellen aan gebruikers. Spell Virtual On-Demand Instances bieden daarom on-demand gebruik tegen spot-instantieprijzen, wat aanzienlijke besparingen voor klanten betekent, vooral in het geval van GPU-bronnen voor het trainen van complexe deep learning-modellen.
Omdat spot-instances vaak onderbroken kunnen worden en vaak worden onderbroken, is het Spell-platform ontworpen om veerkrachtig te zijn in datzelfde scenario, waardoor langlopende trainingstaken kunnen worden uitgevoerd, zelfs in het geval van voorrang, zonder tussenkomst van de gebruiker. Spell doet dit door zijn vermogen om een diepgaande leeromgeving op een nieuwe instantie te reconstrueren, waarbij het volledige ontstaan en de afstamming van dergelijke omgevingen zorgvuldig wordt gevolgd. Deze aanpak helpt ook bij de reproduceerbaarheid van modellen en het opnieuw trainen van modellen onder dezelfde configuraties als die van hun initiële trainingsomgevingen.
DLOps versus MLOps
De Spell-mensen bespraken niet alleen hun platform, ze demonstreerden het ook. Terwijl ze dit deden, werd het duidelijk dat veel van de uitrustingen van standaard MLOps (en zelfs AutoML) – inclusief experimentbeheer, een modelrepository, afstamming, monitoring en uitlegbaarheid – ook aanwezig zijn in Spell's DLOps-platform. Als zodanig lijkt het erop dat DLOps een superset is van conventionele MLOps, en ik vroeg Piantino en Negris of dat het geval was. De twee waren het erover eens dat mijn vermoeden technisch gezien correct was, maar legden uit dat Spell zich desalniettemin specifiek richt op deep learning use-cases. Spell ziet het deep learning-segment van AI als het segment met het meeste momentum en de meeste actie.
Negris en Piantino legden uit dat conventionele MLOps-platforms uiteindelijk worden geadopteerd zodra organisaties volwassen zijn geworden tot een bepaalde schaal en omvang van machine learning-werk. Maar de meeste klanten die deep learning doen, legden het paar uit, hebben echt een ops-platform nodig vanaf dag 1. Dit verklaart dat whey Spell echt op deze markt is gericht – omdat het dringende vereisten heeft en niet hoeft te worden opgeleid om te begrijpen waarom het uiteindelijk zal worden een pijnpunt om te verhelpen. In plaats daarvan voelen deep learning-klanten onmiddellijk de kneep.
Met dit in gedachten lijkt het erop dat MLOps en DLOps niet zo verschillend zijn, maar dat deep learning een MLOps-platform zwaarder test dan traditionele machine learning. In wezen kunnen de DLOps-vereisten van vandaag de conventionele MLOps-vereisten van morgen worden. Of de twee subcategorieën daarom ooit zullen samensmelten is onduidelijk; wat wel duidelijk is, is dat Spell zijn platform inzet op een legitieme en aangetoonde behoefte om deep learning te optimaliseren en te operationaliseren in de mainstream van de onderneming.
Verwante onderwerpen:
Cloud Digital Transformation CXO Internet of Things Innovatie Enterprise Software 