Construirea unui model de învățare automată este relativ ușoară. Crearea a sute sau mii de modele și repetarea celor existente este dificilă.
Este ușor să te pierzi în haos. Acest haos se înrăutățește atunci când lucrați în echipă, deoarece acum trebuie să urmăriți ceea ce face toată lumea. Aducerea ordinii în haos necesită ca întreaga echipă să urmeze un proces și să-și documenteze activitățile. Aceasta este esența MLOps.
Cuprins
Ce este MLOps?
Sursa: ml-ops.org
Potrivit MLOps.org, Machine Learning Operationalization încearcă să construiască un proces de dezvoltare a Machine Learning end-to-end pentru a proiecta, construi și gestiona software-ul ML reproductibil, testabil și evolutiv. În esență, MLOps este principiile DevOps aplicate învățării automate.
La fel ca DevOps, ideea cheie a MLOps este automatizarea pentru a reduce pașii manuali și a crește eficiența. De asemenea, ca și DevOps, MLOps include atât Integrarea continuă (CI) cât și Livrarea continuă (CD). Pe lângă cele două, include și Training Continuu (CT). Aspectul suplimentar al CT implică recalificarea modelelor cu date noi și redistribuirea acestora.
MLOps este, prin urmare, o cultură inginerească care promovează o abordare metodică a dezvoltării modelelor de învățare automată și automatizarea diferiților pași ai metodei. Procesul implică în primul rând extragerea datelor, analiza, pregătirea, instruirea modelului, evaluarea, servirea modelului și monitorizarea.
Avantajele MLOps
În general, avantajele aplicării principiilor MLOps sunt aceleași cu avantajele de a avea Proceduri de Operare Standard. Avantajele sunt următoarele:
- Un proces bine definit oferă o foaie de parcurs a tuturor pașilor cruciali care trebuie parcurși în dezvoltarea modelului. Acest lucru asigură că nu sunt ratați pași critici.
- Etapele procesului care pot fi automatizate pot fi identificate și automatizate. Acest lucru reduce cantitatea de muncă repetitivă și crește viteza de dezvoltare. De asemenea, elimină erorile umane, reducând în același timp cantitatea de muncă care trebuie făcută.
- Devine mai ușor să evaluați progresul în dezvoltarea unui model știind în ce stadiu al conductei se află modelul.
- Este mai ușor pentru echipe să comunice, deoarece există un vocabular comun pentru pașii care trebuie parcurși în timpul dezvoltării.
- Procesul poate fi aplicat în mod repetat pentru dezvoltarea multor modele, oferind o modalitate de a gestiona haosul.
Deci, în cele din urmă, rolul MLOps în învățarea automată este de a oferi o abordare metodică a dezvoltării modelelor care poate fi automatizată cât mai mult posibil.
Platforme pentru construirea conductelor
Pentru a vă ajuta să implementați MLOps în conductele dvs., puteți utiliza una dintre numeroasele platforme pe care le vom discuta aici. Deși caracteristicile individuale ale acestor platforme pot fi diferite, ele vă ajută în esență să faceți următoarele:
- Stocați toate modelele dvs. împreună cu metadatele modelului asociate – cum ar fi configurații, cod, precizie și experimente. De asemenea, include diferite versiuni ale modelelor dvs. pentru controlul versiunilor.
- Stocați metadatele setului de date, cum ar fi datele care au fost folosite pentru a antrena modele.
- Monitorizați modelele în producție pentru a detecta probleme precum deviația modelului.
- Implementați modele în producție.
- Construiți modele în medii low-code sau fără cod.
Să explorăm cele mai bune platforme MLOps.
MLFlow
MLFlow este probabil cea mai populară platformă de management al ciclului de viață de învățare automată. Este gratuit și open source. Acesta oferă următoarele caracteristici:
- urmărire pentru înregistrarea experimentelor de învățare automată, a codului, a datelor, a configurațiilor și a rezultatelor finale;
- proiecte pentru ambalarea codului într-un format ușor de reprodus;
- implementare pentru implementarea învățării automate;
- un registru pentru stocarea tuturor modelelor într-un depozit central
MLFlow se integrează cu biblioteci populare de învățare automată, cum ar fi TensorFlow și PyTorch. De asemenea, se integrează cu platforme precum Apache Spark, H20.asi, Google Cloud, Amazon Sage Maker, Azure Machine Learning și Databricks. De asemenea, funcționează cu diferiți furnizori de cloud, cum ar fi AWS, Google Cloud și Microsoft Azure.
Azure Machine Learning
Azure Machine Learning este o platformă de învățare automată end-to-end. Acesta gestionează diferitele activități ale ciclului de viață al mașinii din conducta dvs. MLOP. Aceste activități includ pregătirea datelor, construirea și formarea modelelor, validarea și implementarea modelelor și gestionarea și monitorizarea implementărilor.
Azure Machine Learning vă permite să construiți modele folosind IDE-ul și cadrul preferat, PyTorch sau TensorFlow.
De asemenea, se integrează cu ONNX Runtime și Deepspeed pentru a vă optimiza antrenamentul și inferența. Acest lucru îmbunătățește performanța. Utilizează infrastructura AI pe Microsoft Azure care combină GPU-uri NVIDIA și rețeaua Mellanox pentru a vă ajuta să construiți clustere de învățare automată. Cu AML, puteți crea un registru central pentru a stoca și partaja modele și seturi de date.
Azure Machine Learning se integrează cu Git și GitHub Actions pentru a crea fluxuri de lucru. De asemenea, acceptă o configurare hibridă sau multi-cloud. De asemenea, îl puteți integra cu alte servicii Azure, cum ar fi Synapse Analytics, Data Lake, Databricks și Security Center.
Google Vertex AI
Google Vertex AI este o platformă unificată de date și AI. Vă oferă instrumentele de care aveți nevoie pentru a construi modele personalizate și pregătite în prealabil. De asemenea, servește ca o soluție end-to-end pentru implementarea MLOps. Pentru a fi mai ușor de utilizat, se integrează cu BigQuery, Dataproc și Spark pentru un acces fără probleme la date în timpul antrenamentului.
Pe lângă API, Google Vertex AI oferă un mediu de instrumente low-code și fără cod, astfel încât să poată fi utilizat de non-dezvoltatori, cum ar fi analiștii și inginerii de afaceri și de date. API-ul permite dezvoltatorilor să-l integreze cu sistemele existente.
Google Vertex AI vă permite, de asemenea, să creați aplicații AI generative folosind Generative AI Studio. Face implementarea și gestionarea infrastructurii ușor și rapid. Cazurile de utilizare ideale pentru Google Vertex AI includ asigurarea pregătirii datelor, ingineria funcțiilor, instruirea și reglarea hiperparametrilor, difuzarea modelelor, reglarea și înțelegerea modelului, monitorizarea modelului și gestionarea modelului.
Databricks
Databricks este un lac de date care vă permite să pregătiți și să procesați date. Cu Databricks, puteți gestiona întregul ciclu de viață al învățării automate, de la experimentare la producție.
În esență, Databricks oferă MLFlow gestionat, oferind funcții cum ar fi versiunea publicitară de înregistrare a datelor a modelelor ML, urmărirea experimentelor, difuzarea modelelor, un registru de model și urmărirea valorilor publicitare. Registrul de modele vă permite să stocați modele pentru reproductibilitate, iar registrul vă ajută să urmăriți versiunile și stadiul ciclului de viață în care se află.
Implementarea modelelor folosind Dataricks se poate face cu un singur clic și veți avea puncte finale API REST pe care să le utilizați pentru a face predicții. Printre alte modele, se integrează bine cu modelele de limbaj generative și mari existente pre-antrenate, cum ar fi cele din biblioteca de transformatoare de față îmbrățișată.
Dataricks oferă notebook-uri Databricks colaborative care acceptă Python, R, SQL și Scala. În plus, simplifică gestionarea infrastructurii prin furnizarea de clustere preconfigurate care sunt optimizate pentru sarcinile de învățare automată.
AWS SageMaker
AWS SageMaker este un serviciu AWS Cloud care vă oferă instrumentele de care aveți nevoie pentru a dezvolta, instrui și implementa modelele dvs. de învățare automată. Scopul principal al SageMaker este de a automatiza munca manuală obositoare și repetitivă implicată în construirea unui model de învățare automată.
Drept urmare, vă oferă instrumente pentru a construi o conductă de producție pentru modelele dvs. de învățare automată folosind diferite servicii AWS, cum ar fi instanțe Amazon EC2 și stocare Amazon S3.
SageMaker funcționează cu notebook-uri Jupyter instalate pe o instanță EC2 împreună cu toate pachetele și bibliotecile comune necesare pentru a codifica un model de învățare automată. Pentru date, SageMaker este capabil să extragă date din Amazon Simple Storage Service.
În mod implicit, obțineți implementări ale algoritmilor obișnuiți de învățare automată, cum ar fi regresia liniară și clasificarea imaginilor. SageMaker vine, de asemenea, cu un monitor de model pentru a oferi reglaj continuu și automat pentru a găsi setul de parametri care oferă cea mai bună performanță pentru modelele dvs. De asemenea, implementarea este simplificată, deoarece vă puteți implementa cu ușurință modelul pe AWS ca punct final HTTP securizat pe care îl puteți monitoriza cu CloudWatch.
DataRobot
DataRobot este o platformă MLOps populară care permite gestionarea în diferite etape ale ciclului de viață al învățării automate, cum ar fi pregătirea datelor, experimentarea ML, validarea și modelele de guvernare.
Are instrumente pentru a automatiza experimentele de rulare cu diferite surse de date, a testa mii de modele și pentru a le evalua pe cele mai bune pentru a le implementa în producție. Acceptă modele de construire pentru diferite tipuri de modele AI pentru rezolvarea problemelor din Time Series, Natural Language Process și Computer Vision.
Cu DataRobot, puteți construi folosind modele ieșite din cutie, astfel încât nu trebuie să scrieți cod. Alternativ, puteți opta pentru o abordare bazată pe cod și să implementați modele folosind cod personalizat.
DataRobot vine cu notebook-uri pentru a scrie și edita codul. Alternativ, puteți utiliza API-ul pentru a putea dezvolta modele într-un IDE la alegere. Folosind GUI, puteți urmări experimentele modelelor dvs.
Rulați AI
Rulați AI încearcă să rezolve problema subutilizarii infrastructurii AI, în special a GPU-urilor. Rezolvă această problemă prin promovarea vizibilității întregii infrastructuri și asigurându-se că este utilizată în timpul antrenamentului.
Pentru a realiza acest lucru, Run AI se află între software-ul dvs. MLOps și hardware-ul companiei. În timp ce se ocupă acest strat, toate lucrările de antrenament sunt apoi executate folosind Run AI. Platforma, la rândul său, programează când fiecare dintre aceste joburi este executată.
Nu există nicio limitare în ceea ce privește dacă hardware-ul trebuie să fie bazat pe cloud, cum ar fi AWS și Google Cloud, local sau o soluție hibridă. Oferă un strat de abstractizare echipelor de Machine Learning, funcționând ca o platformă de virtualizare GPU. Puteți rula sarcini din Jupyter Notebook, terminalul bash sau PyCharm de la distanță.
H2O.ai
H2O este o platformă de învățare automată distribuită, open source. Acesta permite echipelor să colaboreze și să creeze un depozit central pentru modele în care oamenii de știință de date pot experimenta și compara diferite modele.
Ca platformă MLOps, H20 oferă o serie de caracteristici cheie. În primul rând, H2O simplifică, de asemenea, implementarea modelului pe un server ca punct final REST. Oferă diferite subiecte de implementare, cum ar fi testul A/B, modelele Champoion-Challenger și implementarea simplă, cu un singur model.
În timpul antrenamentului, stochează și gestionează date, artefacte, experimente, modele și implementări. Acest lucru permite modelelor să fie reproductibile. De asemenea, permite gestionarea permisiunilor la nivel de grup și utilizator pentru a guverna modelele și datele. În timp ce modelul rulează, H2O oferă, de asemenea, monitorizare în timp real pentru deviația modelului și alte valori operaționale.
Paperspace Gradient
Gradient ajută dezvoltatorii în toate etapele ciclului de dezvoltare a Machine Learning. Oferă notebook-uri alimentate de Jupyter cu sursă deschisă pentru dezvoltarea de modele și antrenament în cloud folosind GPU-uri puternice. Acest lucru vă permite să explorați și să prototipați rapid modele.
Canalele de implementare pot fi automatizate prin crearea de fluxuri de lucru. Aceste fluxuri de lucru sunt definite prin descrierea sarcinilor în YAML. Utilizarea fluxurilor de lucru face ca crearea de implementări și modele de servire să fie ușor de replicat și, prin urmare, scalabilă.
În ansamblu, Gradient oferă containere, mașini, date, modele, metrici, jurnale și secrete pentru a vă ajuta să gestionați diferitele etape ale conductei de dezvoltare a modelelor de învățare automată. Conductele tale rulează pe clustere Gradiet. Aceste clustere sunt fie pe Paperspace Cloud, AWS, GCP, Azure sau orice alte servere. Puteți interacționa cu Gradient folosind CLI sau SDK în mod programatic.
Cuvinte finale
MLOps este o abordare puternică și versatilă pentru construirea, implementarea și gestionarea modelelor de învățare automată la scară. MLOps este ușor de utilizat, scalabil și sigur, ceea ce îl face o alegere bună pentru organizațiile de toate dimensiunile.
În acest articol, am abordat MLOP-urile, de ce este important să le implementăm, ce este implicat și diferitele platforme populare MLOps.
În continuare, poate doriți să citiți comparația noastră dintre Dataricks și Snowflake.