X-Coördinaat ondersteuning in de MLflow user interface
Credit: Databricks
Een jaar geleden, op de 2018 Vonk en AI Summit in San Francisco, Matei Zaharia, Databricks’ mede-oprichter/Chief Technologist en schepper van Apache Vonk, presenteerde zijn nieuwe focus van de ontwikkeling, een open source project genaamd MLflow. Vandaag heeft het project bereikt een belangrijke looptijd mijlpaal, met de release van de volledige versie 1.0 voor de algemene beschikbaarheid.
Lees ook: Apache Vonk makers te standaardiseren verdeeld machine learning-training, uitvoering en implementatie
Om van entropie
De data science workflow die tot op deze dag, is boordevol van ad hoc taken in de autonome ontwikkeling omgevingen. Terwijl dingen zijn langzaam aan het veranderen, het is maar al te vaak voor gegevens wetenschappers sleutelen aan hun laptops, met algoritmen en hyperparameter waarden, totdat ze een getraind ML model dat ze willen, en dan handmatig implementeren van de productie.
MLflow wil op te leggen strengheid op dit proces, waardoor elke training iteratie te worden aangemeld en het model van implementatie tot een aantal cloud-of privé-omgevingen, worden geautomatiseerd. Dit kunnen de werkzaamheden worden gedetecteerd door andere gegevens wetenschappers (die hopelijk zal voorkomen dat ze opnieuw hetzelfde werk) en voor de automatisering van de omscholing en de daaropvolgende herschikking van het model.
V1 nagels naar beneden
MLflow stelt dit werk gedaan moet worden op de commando-regel, door middel van een user interface, of via een API (application programming interface). Alle drie van deze interfaces zijn onder voorbehoud van significante veranderingen tijdens MLflow het eerste jaar van de ontwikkeling, maar met deze 1.0 versie, ontwikkelaars kunnen een beroep doen op deze interfaces zijn stabiel vanaf hier.
Daarnaast MLflow 1.0 biedt een aantal nieuwe functies. Hoewel sommige van deze zijn vrij technisch korrelig, ik zal proberen om ze samen te vatten:
Ondersteuning voor de Hadoop Distributed File System (HDFS) als een “Artefact te Slaan”, waardoor MLFlow voor het opslaan van de bestanden in lokale Hadoop-clusters, in aanvulling op de cloud storage, lokale schijf, Network File System (NFS) opslag-en Secure FTP
Ondersteuning voor de ONNX (de Open Neurale Netwerk eXchange) machine learning model-indeling — oorspronkelijk back (en gebruikt) door Microsoft, Amazon en Facebook — als een MLflow model “smaak”van de Verbeterde zoekmogelijkheden, waarmee een SQL-achtige syntax om te worden gebruikt voor het filter expressies op basis van attributen en tags, in aanvulling op de gegevens en parametersSupport voor het bijhouden van de gegeven waarden zijn gebaseerd op progressies andere dan de tijd (officieel wordt aangeduid als “Ondersteuning voor X-Coördinaten in het Tracking API”). Dit wordt geïllustreerd in de figuur op de top van deze post, laat zien hoe de MLflow UI kunt de X-as van de Gegevens visualisatie te worden ingesteld op Stap, in aanvulling op de twee varianten van de Tijd.Meerdere gegevens kan worden vastgelegd in het “batch”, wat betekent dat ze kunnen worden opgenomen via een enkele API-aanroep, in plaats van bellen per metric-waarde paar.
Respect als een standaard, met meer in de pijplijn
Dat is een mooie set van functies, en er is meer te komen. De MLflow stappenplan bevat een model register dat kan vergemakkelijken continue integratie/implementatie (CI/CD), model controleren/code review, evenals inzicht in het gebruik en de effectiviteit van de verschillende model-versies. Er zijn plannen voor multi-stap workflow ondersteunen.
Databricks zegt MLflow heeft nu meer dan 100 medewerkers, en is ingezet bij duizenden bedrijven. Toevoegen aan dat de deelname van Microsoft en ondersteuning voor MLflow in de Azuurblauwe Machine Learning platform, en dit project lijkt te hebben bereikt de status van een standaard, in een discipline sterk in dat ze nodig zijn.
Lees ook: Microsoft om mee MLflow project toevoegen native ondersteuning van Azure Machine Learning
Verwante Onderwerpen:
Cloud
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software