Kas yra MLOps? | „NVIDIA“ tinklaraštis

„MLOps“ gali skambėti kaip apgaubto, vienaakio pabaisos vardas, tačiau iš tikrųjų tai yra trumpinys, apibūdinantis sėkmę įmonės AI.

Mašininio mokymosi operacijų stenografija „MLOps“ yra geriausios praktikos rinkinys, skirtas įmonėms sėkmingai valdyti dirbtinį intelektą.

MLOps yra gana nauja sritis, nes pats komercinis intelekto naudojimas yra gana naujas.

MLOps: „Enterprise AI“ įtraukimas

Didysis dirbtinio intelekto sprogimas nuskambėjo 2012 m., Kai mokslininkas, naudodamasis giliu mokymusi, laimėjo įvaizdžio atpažinimo konkursą. Raibuliavimas greitai išsiplėtė.

Šiandien AI verčia tinklalapius ir automatiškai nukreipia klientų aptarnavimo skambučius. Tai padeda ligoninėms skaityti rentgeno nuotraukas, bankai apskaičiuoja kredito riziką, o mažmenininkų atsargų lentynos optimizuoja pardavimus.

Trumpai tariant, mašininis mokymasis, viena iš plataus intelekto srities dalių, turėtų tapti tokia pat pagrindine, kaip ir programinės įrangos programos. Štai kodėl ML vykdymo procesas turi būti toks pat mygtukas kaip ir IT sistemų valdymas.

Mašininis mokymasis, susidedantis iš „DevOps“

MLOps yra sukurtas pagal esamą „DevOps“ discipliną, šiuolaikinę efektyvaus įmonės programų rašymo, diegimo ir vykdymo praktiką. „DevOps“ savo veiklą pradėjo prieš dešimtmetį kaip būdas kovoti su programinės įrangos kūrėjų gentimis („Devs“) ir IT operacijų komandomis („Ops“).

„MLOps“ komandai prideda duomenų mokslininkus, kurie kuruoja duomenų rinkinius ir kuria juos analizuojančius AI modelius. Tai taip pat apima ML inžinierius, kurie tuos modelių rinkinius valdo disciplinuotais, automatizuotais būdais.

Tai didelis iššūkis neapdorotai veiklai ir valdymo griežtumui. Duomenų rinkiniai yra dideli ir auga, jie gali keistis realiuoju laiku. PG modeliai reikalauja kruopštaus sekimo per eksperimentų ciklus, derinimą ir perkvalifikavimą.

Taigi, MLOps reikalinga galinga dirbtinio intelekto infrastruktūra, kuri galėtų būti plečiama augant įmonėms. Šiam pagrindui daugelis įmonių naudoja „NVIDIA DGX“ sistemas, „CUDA-X“ ir kitus programinės įrangos komponentus, kuriuos galima rasti „NVIDIA“ programinės įrangos centre „NGC“.

Duomenų mokslininkų gyvenimo ciklo stebėjimas

Esant intelekto intelekto infrastruktūrai, įmonės duomenų centras gali suskaidyti šiuos MLOps programinės įrangos krūvos elementus:

• Duomenų šaltiniai ir iš jų sukurti duomenų rinkiniai
• AI modelių, pažymėtų jų istorija ir atributais, saugykla
• Automatizuotas ML vamzdynas, valdantis duomenų rinkinius, modelius ir eksperimentus per jų gyvenimo ciklus
• Programinės įrangos talpyklos, paprastai pagrįstos „Kubernetes“, siekiant supaprastinti šių darbų vykdymą

Tai svaiginantis susijusių darbų rinkinys, susipinantis į vieną procesą.

Duomenų mokslininkams reikia laisvės iškirpti ir įklijuoti duomenų rinkinius iš išorinių šaltinių ir vidinių duomenų ežerų. Vis dėlto jų darbą ir tuos duomenų rinkinius reikia kruopščiai paženklinti ir stebėti.

Jie taip pat turi eksperimentuoti ir kartoti, norėdami sukurti puikius modelius, kurie gerai sukonstruoti užduotį. Taigi jiems reikalingos lanksčios smėlio dėžės ir tvirtos saugyklos.

Jiems reikia būdų, kaip dirbti su ML inžinieriais, kurie valdo duomenų rinkinius ir modelius per prototipus, bandymus ir gamybą. Tai procesas, reikalaujantis automatikos ir dėmesio detalėms, kad modelius būtų lengva interpretuoti ir atkurti.

Šiandien šios galimybės tampa prieinamos kaip debesų kompiuterijos paslaugų dalis. Įmonės, kurios mašininį mokymąsi laiko strateginiu, kuria savo intelektinės nuosavybės kompetencijos centrus, naudodamos MLOps paslaugas ar įrankius iš vis daugiau pardavėjų.

Duomenų mokslas gamybos mastu

Pirmosiomis dienomis tokios bendrovės kaip „Airbnb“, „Facebook“, „Google“, NVIDIA ir „Uber“ turėjo pačios kurti šias galimybes.

„Mes stengėmės kuo daugiau naudoti atvirojo kodo kodus, tačiau daugeliu atvejų nebuvo sprendimo, ką norėjome padaryti masto mastu”, – sakė NVIDIA dirbtinio intelekto infrastruktūros direktorius Nicolas Koumchatzky.

„Kai pirmą kartą išgirdau terminą„ MLOps “, supratau, kad tai yra tai, ką mes dabar statome ir ką aš anksčiau kūriau„ Twitter “, – pridūrė jis.

Koumchatzky komanda NVIDIA sukūrė „MagLev“, „MLOps“ programinę įrangą, kurioje yra „NVIDIA DRIVE“, mūsų platforma autonominėms transporto priemonėms kurti ir išbandyti. Kaip savo MLOps įkūrimo dalį, jis naudoja „NVIDIA Container Runtime“ ir „Apollo“, komponentų rinkinį, sukurtą NVIDIA, kad valdytų ir stebėtų didžiuliuose klasteriuose veikiančius „Kubernetes“ konteinerius.

MLOps fondo kūrimas NVIDIA

Koumchatzky komanda dirba naudodama NVIDIA vidinę dirbtinio intelekto infrastruktūrą, pagrįstą GPU grupėmis, vadinamomis DGX POD. Prieš pradedant darbus, infrastruktūros įgula patikrina, ar jie naudojasi geriausia patirtimi.

Pirma, „viskas turi vykti talpykloje – tai atgauna neįtikėtinai daug skausmo vėliau ieškant bibliotekų ir vykdymo laiko, kurio reikia AI programai“, – sakė Michaelas Houstonas, kurio komanda kuria NVIDIA AI sistemas, įskaitant „Selene“, neseniai DGX „SuperPOD“ reitingą. galingas pramoninis kompiuteris JAV

Tarp kitų komandos kontrolės punktų darbai turi:

• Paleiskite konteinerius su patvirtintu mechanizmu
• Įrodykite, kad užduotis gali būti vykdoma keliuose GPU mazguose
• Parodykite našumo duomenis, kad nustatytumėte galimas kliūtis
• Rodyti profiliavimo duomenis, kad įsitikintumėte, jog programinė įranga buvo derinta

Šiandien versle naudojamų MLOps praktikos branda labai skiriasi, teigia duomenų mokslininkas Edwinas Websteris, prieš metus pradėjęs MLOps konsultavimo praktiką „Neal Analytics“ ir parašęs straipsnį, apibrėžiantį MLOps. Kai kuriose įmonėse duomenų mokslininkai vis dar vingiuoja savo asmeninių nešiojamųjų kompiuterių modelius, kiti kreipiasi į didžiuosius debesies paslaugų teikėjus, norėdami gauti sriubos-riešutų paslaugą.

Dvi MLOps sėkmės istorijos

Websteris pasidalijo dviejų savo klientų sėkmės istorijomis.

Vienas iš jų yra susijęs su dideliu mažmenininku, kuris naudojo MLOps galimybes viešojoje debesų tarnyboje, kad sukurtų dirbtinio intelekto paslaugą, kuri sumažintų atliekų kiekį 8–9 proc., Atsižvelgiant į dienos prognozes, kada papildyti lentynas greitai gendančiomis prekėmis. Mažmeninėje prekyboje besikurianti duomenų mokslininkų komanda sukūrė duomenų rinkinius ir sukūrė modelius; debesų tarnyba pagrindinius elementus supakavo į konteinerius, tada vykdė ir valdė dirbtinio intelekto darbus.

Kitas dalykas susijęs su kompiuterių gamintoju, kuris sukūrė programinę įrangą, naudodamas AI, kad numatytų, kada jo nešiojamiesiems kompiuteriams reikės priežiūros, kad galėtų automatiškai įdiegti programinės įrangos atnaujinimus. Naudodamas nusistovėjusias MLOps praktikas ir vidaus specialistus, OEM parašė ir išbandė savo AI modelius 3 000 sąsiuvinių parke. Kompiuterių gamintojas dabar teikia programinę įrangą savo stambiausiems klientams.

Daugelis, bet ne visos, „Fortune 100“ kompanijos naudojasi MLOps, sakė Shubhangi Vashisthas, vyriausiasis analitikas, stebintis „Gartner“ sritį. „Tai gauna garą, bet tai nėra pagrindinė sritis”, – sakė ji.

Vashisthas yra baltojo knygos, kurioje išdėstyti trys žingsniai norint pradėti MLOps, bendraautoriai: Suderinkite suinteresuotuosius su tikslais, sukurkite organizacinę struktūrą, apibrėžiančią, kas ką turi, tada apibrėžkite atsakomybę ir vaidmenis – „Gartner“ išvardija tuziną jų.

Saugokitės „Buzzwords“: AIOps, DLOps, DataOps ir dar daugiau

Negalima pasiklysti pamiškių miške, užaugusiame palei šį prospektą. Pramonė aiškiai sujungė savo energiją aplink MLOps.

Priešingai, AIOps yra siauresnė mašininio mokymosi praktika IT funkcijoms automatizuoti. Viena AIOps dalis yra IT operacijų analizė arba ITOA. Jo užduotis yra ištirti duomenis, kuriuos generuoja AIO, kad išsiaiškintų, kaip pagerinti IT praktiką.

Panašiai kai kurie sukūrė terminus „DataOps“ ir „ModelOps“, norėdami nurodyti žmones ir procesus, atitinkamai kuriant ir valdant duomenų rinkinius ir AI modelius. Tai yra dvi svarbios bendros MLOps galvosūkio dalys.

Įdomu tai, kad kiekvieną mėnesį tūkstančiai žmonių ieško DLOps prasmės. Jie gali įsivaizduoti, kad DLOps yra giluminio mokymosi IT operacijos. Tačiau pramonė naudoja terminą MLOps, o ne DLOps, nes gilus mokymasis yra platesnės mašininio mokymosi srities dalis.

Nepaisant daugybės klausimų, jums bus sunku rasti ką nors internete apie „DLOps“. Priešingai, tokie namų ūkių vardai kaip „Google“ ir „Microsoft“, taip pat naujos kompanijos, tokios kaip „Iguazio“ ir „Paperspace“, MLOps paskelbė išsamias baltąsias knygas.

MLOps: plečiama programinė įranga ir paslaugos „Smorgasbord“

Tie, kurie nori leisti kitam tvarkyti savo MLO, turi daug galimybių.

Pagrindiniai debesų paslaugų teikėjai, tokie kaip „Alibaba“, AWS ir „Oracle“, yra vieni iš kelių, kurie siūlo visapusiškas paslaugas, prieinamas patogiai naudojantis klaviatūra.

Vartotojams, kurie skleidžia savo darbą keliuose debesyse, „DataBricks“ MLFlow palaiko MLOps paslaugas, kurios veikia su keliais tiekėjais ir keliomis programavimo kalbomis, įskaitant „Python“, „R“ ir „SQL“. Kitos debesų agnostikos alternatyvos yra atviro kodo programinė įranga, tokia kaip „Polyaxon“ ir „KubeFlow“.

Įmonės, kurios tiki, kad dirbtinis intelektas yra strateginis šaltinis, kurio nori už savo užkardos, gali rinktis iš gausėjančio trečiųjų šalių „MLOps“ programinės įrangos tiekėjų sąrašo. Palyginti su atvirojo kodo kodu, šie įrankiai paprastai prideda vertingų funkcijų ir yra lengviau naudojami.

Šešių iš jų „NVIDIA“ sertifikuoti produktai yra „DGX-Ready“ programinės įrangos programos dalis:

• „Allegro AI“
• cnvrg.io
• Pagrindinė mokslinė
• „Domino“ duomenų laboratorija
• Iguazio
• Dokumentų erdvė

Visi šeši pardavėjai teikia programinę įrangą, skirtą valdyti duomenų rinkinius ir modelius, kurie gali veikti su „Kubernetes“ ir NGC.

„MLOps“ programinei įrangai vis dar yra ankstyvos dienos.

„Gartner“ stebi apie tuziną pardavėjų, siūlančių MLOps įrankius, įskaitant „ModelOp“ ir „ParallelM“, kurie dabar yra „DataRobot“ dalis, sakė analitikas Vashisthas. Saugokitės aukų, kurios neapima viso proceso, perspėja ji. Jie verčia vartotojus importuoti ir eksportuoti duomenis tarp programų, kurias vartotojai turi susieti patys – tai varginantis ir linkęs į klaidas procesas.

Tinklo kraštas, ypač iš dalies sujungtų ar neprijungtų mazgų atveju, yra dar viena nepakankamai aptarnaujama MLOps sritis, sakė „Neal Analytics“ žiniatinklis.

Koumchatzky iš NVIDIA savo bendruomenės norų sąrašo viršuje pateikia įrankius duomenų rinkiniams tvarkyti ir valdyti.

„Gali būti sunku pažymėti, sujungti ar suskirstyti duomenų rinkinius ar peržiūrėti jų dalis, tačiau vis daugiau MLOps ekosistemos tai sprendžia. „NVIDIA“ sukūrė juos viduje, bet manau, kad pramonėje jis vis dar nepakankamai vertinamas “. jis pasakė.

Ilgainiui MLOps reikia lygiaverčio IDE, integruotos programinės įrangos kūrimo aplinkos, tokios kaip „Microsoft Visual Studio“, nuo kurios priklauso programų kūrėjai. Tuo tarpu Koumchatzky ir jo komanda kuria savo įrankius, kad galėtų vizualizuoti ir derinti AI modelius.

Geros naujienos yra tai, kad yra daugybė produktų, skirtų pradėti dirbti MLOps.

Be savo partnerių programinės įrangos, NVIDIA pateikia daugumą atvirojo kodo įrankių, skirtų dirbtinio intelekto valdymui, remiantis jos DGX sistemomis, valdyti ir tai yra MLOps pagrindas. Šie programinės įrangos įrankiai apima:

Daug jų galima rasti NGC ir kitose atvirojo kodo saugyklose. Šiuos ingredientus paversdamas sėkmės receptu, NVIDIA pateikia pamatinę architektūrą GPU grupėms, vadinamoms DGX POD, kurti.

Galų gale kiekviena komanda turi rasti MLOps produktų ir praktikos derinį, kuris geriausiai tinka jos naudojimo atvejams. Jie visi turi bendrą tikslą sukurti automatinį būdą, kaip dirbtinį intelektą valdyti sklandžiai kaip kasdienę įmonės skaitmeninio gyvenimo dalį.