De Domino Model Monitor-interface in Domino 4.6
Tegoed: Domino Data Lab
MLOps is de tegenhanger van machine learning-bewerkingen van DevOps en DataOps. Maar in de hele branche kunnen definities voor MLOps variëren. Sommigen zien MLOps als gericht op het beheer van ML-experimenten. Anderen zien de kern van MLOps als het opzetten van CI/CD-pijplijnen (continuous integratie/continuous delivery) voor modellen en data op dezelfde manier als DevOps doet voor code. Andere leveranciers en klanten zijn van mening dat MLOps zich moet richten op zogenaamde feature-engineering – het gespecialiseerde transformatieproces voor de gegevens die worden gebruikt om ML-modellen te trainen. Voor anderen gaat MLOps over alles na de modelontwikkeling, inclusief het onderhouden van modellen in een repository, het implementeren ervan en het bewaken van hun operationele gezondheid, prestaties en nauwkeurigheid.
Domino's, van begin tot eind
Een paar leveranciers zien MLOps als al het bovenstaande. Een van die leveranciers is Domino Data Lab, dat vandaag een nieuwe release – Domino 4.6 – van zijn end-to-end MLOps-platform aankondigt. En omdat Domino zich richt op alle facetten van machine learning-activiteiten, heeft het geen nieuwe toegevoegd, maar een aantal ervan aanzienlijk verbeterd: modelbewaking, cloudimplementatie en ondersteunde gedistribueerde computeromgevingen voor modelontwikkeling en training.
De monitoringverbeteringen vertellen het verhaal van twee MLOps-steden. In één, live klanten die ML nog steeds in hun bedrijf introduceren of zelfs ML's banden schoppen. Voor hen is de loutere aanwezigheid van monitoring voldoende. Aan de andere kant live klanten die zijn afgestudeerd om ML op schaal te doen, met honderden of zelfs duizenden geïmplementeerde modellen. Voor dit cohort moet monitoring worden geschaald.
Monitoring en cloud en compute, oh my
ZDNet sprak met Domino Data Lab mede-oprichter en CEO Nick Elprin, die ons de details over Domino 4.6 gaf. Hij legde eerst uit, voor die groep die krachtige modelmonitoring nodig heeft, dat Domino Model Monitor (DMM – afgebeeld in de bovenstaande schermafbeelding) is verbeterd om elastisch en schaalbaar te zijn. Volgens Elprin zullen gebruikers zelfs genieten van een schaalverbetering tot 100x in de prestaties van Domino's datadrift- en modeldriftdetectie. Driftdetectie is van cruciaal belang om modellen nauwkeurig en eerlijk te houden. In marketingtoepassingen kan dat leiden tot een hogere klanttevredenheid. Andere scenario's zijn onder meer een meer verantwoorde goedkeuring van uitkeringen en claims, of nauwkeurigere fraudedetectie.
Domino 4.6 ondersteunt ook cloudimplementatie naar Microsoft Azure en Google Cloud, in tegenstelling tot alleen Amazon Web Services. Met name verbinding met gegevens in Azure Data Lake Storage (ADLS) en Google Cloud Storage (GCS) wordt nu ondersteund naast gegevens in Amazon S3. Bovendien strekt monitoring zich uit tot modellen die zijn geïmplementeerd in de Infrastructure as a Service (Iaas) en Kubernetes-lagen van alle drie de cloudproviders. Elprin legde uit dat deze mogelijkheden zijn toegevoegd als directe reactie op de vraag van klanten met multi-cloudstrategieën, die willen voorkomen dat ze zich vastklampen aan een specifieke cloudprovider.
Ten slotte, als antwoord op de steeds grotere behoefte aan rekenkracht om meer modellen sneller te kunnen trainen, breidt Domino de rekenondersteuning uit met Ray en Dask, in plaats van alleen Apache Spark. Ray is een gedistribueerd uitvoeringsraamwerk dat workloads kan parallelliseren over CPU's en cores op één machine, over cloudinfrastructuur of op Kubernetes-clusters. Dask is een Python-bibliotheek voor parallelle computergebruik die geschaalde, parallelle versies van veelgebruikte Python-datawetenschapsbibliotheken zoals NumPy, Pandas en scikit-learn implementeert. Ray en Dask kunnen afzonderlijk worden gebruikt of, met de toepasselijke naam Dask op Ray, worden gecombineerd.
De code doorbreken
In zijn discussie met ZDNet heeft Elprin enkele van de belangrijkste verschillen, zoals hij ze ziet, tussen DevOps en MLOps. Ik zal mijn best doen om die uitleg hier samen te vatten.
Om te beginnen zijn ML-modellen niet louter code; ze gebruiken meer data en hebben veel intensievere rekenkracht nodig dan typische applicatie- en servergebaseerde code. Bovendien is datawetenschap als onderzoek: datawetenschappers moeten experimenteren, veel Python- (of R)-bibliotheken, verschillende algoritmen en, meer in het algemeen, verschillende benaderingen of ideeën uitproberen, voordat ze iets krijgen dat werkt. Dit is vergelijkbaar met de manier waarop natuurwetenschappers verschillende hypothesen in hun eigen werk moeten toetsen. Met modellen kun je ook niet alleen unit-tests schrijven, omdat modellen meer probabilistisch dan deterministisch zijn.
Met dit alles in gedachten is de stap van Domino om zijn monitoringmogelijkheden te verbeteren en tal van cloud- en computeromgevingen te ondersteunen volkomen logisch. Gegevenswetenschappers hoeven niet alleen hun code te debuggen en ervoor te zorgen dat deze werkt. Ze moeten ermee experimenteren, het volgen, inzetten en voortdurend de doeltreffendheid ervan evalueren. Dat is waarom MLOps zijn eigen categorie is, en ogenschijnlijk waarom Domino een scorecardbenadering hanteert voor MLOps-mogelijkheden, in plaats van een checklistbenadering.
Domino zegt dat bestaande klanten onmiddellijk kunnen upgraden naar de 4.6-release.
< h3>Verwante onderwerpen:
Big Data Analytics Digitale transformatie CXO Internet of Things Innovatie Enterprise Software 