Kas yra gilus mokymasis?

Paskutinį kartą atnaujinta 2020 m. Rugpjūčio 14 d

Gilus mokymasis yra mašininio mokymosi pogrupis, susijęs su algoritmais, kuriuos įkvėpė vadinamoji smegenų struktūra ir funkcija dirbtiniai neuroniniai tinklai.

Jei tik pradedate giluminio mokymosi sritį arba prieš kurį laiką turėjote patirties su neuroniniais tinklais, galite būti sutrikęs. Aš žinau, kad iš pradžių buvau sutrikęs, taip pat ir daugelis mano kolegų ir draugų, kurie 1990-aisiais ir 2000-ųjų pradžioje išmoko ir naudojo neuroninius tinklus.

Šios srities vadovai ir ekspertai turi idėjų, kas yra gilus mokymasis, o šios specifinės ir niuansuotos perspektyvos daug nušviečia tai, kas yra gilus mokymasis.

Šiame įraše sužinosite, kas yra gilus mokymasis, išgirdę daugybę šios srities ekspertų ir lyderių.

Pradėkite savo projektą su savo nauja knyga „Gilus mokymasis su Python“, įskaitant nuoseklios pamokos ir „Python“ šaltinio kodas visų pavyzdžių failai.

Pasinerkime.

Kas yra gilus mokymasis?
Kirano Fosterio nuotrauka, kai kurios teisės saugomos.

Gilus mokymasis yra dideli neuroniniai tinklai

Andrew Ng iš „Coursera“ ir „Baidu Research“ vyriausiasis mokslininkas oficialiai įkūrė „Google Brain“, kuris galiausiai paskatino gilaus mokymosi technologijas daugelyje „Google“ paslaugų.

Jis daug kalbėjo ir rašė apie tai, kas yra gilus mokymasis, ir yra gera vieta pradėti.

Ankstyvose diskusijose apie gilųjį mokymąsi Andrew apibūdino gilųjį mokymąsi tradicinių dirbtinių neuroninių tinklų kontekste. 2013 m. Pokalbyje „Gilus mokymasis, savamokslis mokymasis ir neprižiūrimas savybių mokymasis“ jis gilaus mokymosi idėją apibūdino taip:

Naudodamiesi smegenų modeliavimais, tikėkitės:

– Padarykite mokymosi algoritmus daug geresnius ir lengviau naudojamus.

– Padarykite revoliucinę pažangą mašininio mokymosi ir dirbtinio intelekto srityje.

Manau, kad tai geriausias mūsų žingsnis į priekį siekiant tikro intelekto

Vėliau jo komentarai tapo niuansuoti.

Gilaus mokymosi esmė, pasak Andrew, yra ta, kad dabar turime pakankamai greitą kompiuterį ir pakankamai duomenų, kad iš tikrųjų mokytume didelius neuroninius tinklus. Aptardamas, kodėl dabar yra tas laikas, kai „ExtractConf 2015“ prasideda giluminis mokymasis, pokalbyje „Kokius duomenis mokslininkai turėtų žinoti apie giluminį mokymąsi“, jis pakomentavo:

labai didelius neuroninius tinklus, kuriuos dabar galime turėti, ir … didžiulį kiekį duomenų, prie kurių turime prieigą

Jis taip pat pakomentavo svarbų dalyką, kad visa tai susiję su mastu. Kai mes kuriame didesnius neuroninius tinklus ir mokome juos gauti vis daugiau duomenų, jų našumas ir toliau didėja. Paprastai tai skiriasi nuo kitų mašininio mokymosi metodų, pasiekiančių plokščią našumą.

daugeliui senų kartų mokymosi algoritmų skonių … našumas bus plokščias. … gilus mokymasis … yra pirmoji algoritmų klasė …, kurią galima keisti. … našumas vis gerėja, kai pateikiate jiems daugiau duomenų

Savo skaidrėse jis pateikia gražų to animacinį filmą:

Kodėl reikia giliai mokytis?
Andrew Ng skaidrė, visos teisės saugomos.

Galiausiai jis aiškiai nurodo, kad giluminio mokymosi nauda, ​​kurią matome praktiškai, gaunama iš prižiūrimo mokymosi. Iš 2015 m. „ExtractConf“ pokalbio jis pakomentavo:

beveik visa šiandieninė giluminio mokymosi vertė yra prižiūrimas mokymasis arba mokymasis iš paženklintų duomenų

Anksčiau 2014 m. Pokalbyje su Stanfordo universitetu „Gilus mokymasis“ jis pateikė panašų komentarą:

viena iš priežasčių, kodėl gilus mokymasis pakilo beprotiškai, yra tai, kad jis yra puikus stebint mokymąsi

Andrius dažnai mini, kad turėtume ir matysime daugiau naudos iš neprižiūrimos trasų pusės, nes laukas bręsta kovoti su turima nepažymėtų duomenų gausa.

Jeffas Deanas yra vedlys ir „Google“ vyresnysis bendradarbis „Google“ sistemų ir infrastruktūros grupėje ir dalyvavo ir galbūt iš dalies atsakingas už giluminio mokymosi mastą ir pritaikymą „Google“. Jeffas dalyvavo „Google Brain“ projekte ir plataus masto gilaus mokymosi programinės įrangos „DistBelief“, o vėliau ir „TensorFlow“ kūrime.

2016 m. Pokalbyje „Gilus mokymasis kuriant intelektualias kompiuterines sistemas“ jis panašiai komentavo, kad gilus mokymasis iš tikrųjų yra susijęs su dideliais neuroniniais tinklais.

Išgirdę gilaus mokymosi terminą, tiesiog pagalvokite apie didelį gilų neuroninį tinklą. „Deep“ reiškia paprastai sluoksnių skaičių, todėl toks populiarus terminas, kuris buvo priimtas spaudoje. Manau, kad jie apskritai yra gilūs neuroniniai tinklai.

Jis keletą kartų pasakė šią kalbą ir toje pačioje kalboje modifikuotame skaidrių rinkinyje jis pabrėžia neuroninių tinklų mastelis nurodant, kad rezultatai gerėja turint daugiau duomenų ir didesnių modelių, o tai savo ruožtu reikalauja daugiau skaičiavimų, kad būtų galima mokytis.

Rezultatai gerėja turint daugiau duomenų, didesnių modelių ir daugiau skaičiavimų
Jeff Dean skaidrė, visos teisės saugomos.

Gilus mokymasis yra hierarchinis funkcijų mokymasis

Be mastelio, dar vienas dažnai nurodomas giluminio mokymosi modelių pranašumas yra jų gebėjimas atlikti automatinį funkcijų išskyrimą iš neapdorotų duomenų, dar vadinamą funkcijų mokymusi.

Yoshua Bengio yra dar viena giluminio mokymosi lyderė, nors ji labai domėjosi automatiniu funkcijų mokymu, kurį gali pasiekti dideli neuroniniai tinklai.

Gilų mokymąsi jis apibūdina kaip algoritmų gebėjimą atrasti ir išmokti gerų reprezentacijų naudojant funkcijų mokymąsi. Savo 2012 m. Dokumente „Gilus atstovų mokymasis be priežiūros ir perkėlimo“ jis komentavo:

Gilaus mokymosi algoritmai siekia išnaudoti nežinomą įvesties paskirstymo struktūrą, kad būtų galima atrasti geras reprezentacijas, dažnai keliais lygmenimis, su aukštesnio lygio išmoktomis savybėmis, apibrėžtomis žemesnio lygio ypatybėmis

Išplėstinė giluminio mokymosi perspektyva šiomis kryptimis yra pateikta jo 2009 m. Techninėje ataskaitoje pavadinimu „Mokymasis dėl giliųjų intelektinių intelektų architektūrų“, kur jis pabrėžia hierarchijos svarbą mokantis funkcijų.

Gilaus mokymosi metodais siekiama mokytis ypatybių hierarchijų su ypatybėmis iš aukštesnių hierarchijos lygių, kurias formuoja žemesnio lygio ypatybių sudėtis. Automatiškai išmokstamos funkcijos įvairiais abstrakcijos lygiais leidžia sistemai išmokti sudėtingų funkcijų, atvaizduojančias įvestį į išvestį tiesiai iš duomenų, visiškai nepriklausomai nuo žmogaus sukurtų funkcijų.

Netrukus pasirodysiančioje knygoje „Gilus mokymasis“, kurios autoriai yra Ian Goodfellow ir Aaron Courville, jie gilų mokymąsi apibrėžia pagal modelių architektūros gylį.

Sąvokų hierarchija leidžia kompiuteriui išmokti sudėtingų sąvokų jas kuriant iš paprastesnių. Jei nupiešsime grafiką, parodantį, kaip šios sąvokos yra pastatytos viena ant kitos, grafikas yra gilus, su daugybe sluoksnių. Dėl šios priežasties šį požiūrį į dirbtinį intelektą vadiname giliuoju mokymusi.

Tai yra svarbi knyga ir tikriausiai kurį laiką taps galutiniu šios srities šaltiniu. Knygoje toliau aprašomi daugiasluoksniai perceptronai, kaip algoritmas, naudojamas gilaus mokymosi srityje, suteikiant mintį, kad gilus mokymasis užgožė dirbtinius neuroninius tinklus.

Esminis giluminio mokymosi modelio pavyzdys yra giluminis tinklas arba daugiasluoksnis perceptronas (MLP).

Peteris Norvigas yra „Google“ tyrimų direktorius ir garsus dirbtinio intelekto vadovėliu „Dirbtinis intelektas: šiuolaikinis požiūris“.

2016 m. Pokalbyje jis pavadino „Gilus mokymasis ir suprantamumas, palyginti su programinės įrangos inžinerija ir tikrinimu“. Jis apibrėžė gilų mokymąsi labai panašiai kaip Yoshua, sutelkdamas dėmesį į abstrakcijos galią, leidžiamą naudojant gilesnę tinklo struktūrą.

mokymosi rūšis, kai jūsų suformuota reprezentacija turi kelis abstrakcijos lygius, o ne tiesioginį indėlį į išvestį

Kodėl tai reikia vadintiGilus mokymasis„?
Kodėl ne tik „Dirbtiniai neuroniniai tinklai„?

Geoffrey Hintonas yra pradininkas dirbtinių neuroninių tinklų srityje ir kartu paskelbė pirmąjį straipsnį apie daugiasluoksnių perceptronų tinklų treniravimo algoritmą.

Galbūt jis pradėjo įvesti frazes „giliai“Apibūdinti didelių dirbtinių neuroninių tinklų plėtrą.

Jis kartu su 2006 m. Parašė straipsnį „Greito mokymosi giliųjų tikėjimo tinklų mokymosi algoritmas“, kuriame aprašomas požiūris į ribotų „Boltzmann“ mašinų „gilųjį“ (kaip ir daugelio sluoksnių tinkle) mokymą.

Naudodamiesi vienas kitą papildančiais priorais, mes gauname greitą, godų algoritmą, kuris gali išmokti gilius, nukreiptus įsitikinimų tinklus po vieną, jei du viršutiniai sluoksniai sudaro nenukreiptą asociatyvią atmintį.

Šis straipsnis ir susijęs straipsnis, kurį Geoffas kartu su „Deep Boltzmann Machines“ parašė nenukreiptame giluminiame tinkle, gerai įvertino bendruomenę (dabar cituojama daug šimtų kartų), nes tai buvo sėkmingas godaus sluoksniuoto tinklų mokymo pavyzdys, leidžiantis daug daugiau sluoksnių pažangiuose tinkluose.

„Science“ bendraautorio straipsnyje „Duomenų matmenų mažinimas neuroniniais tinklais“ jie laikėsi to paties „giluminio“ aprašymo, kad apibūdintų savo požiūrį į tinklų kūrimą su daug daugiau sluoksnių, nei buvo įprasta anksčiau.

Apibūdiname efektyvų svorių inicijavimo būdą, kuris leidžia giliųjų automatinių kodų tinklams išmokti mažų matmenų kodus, kurie veikia daug geriau nei pagrindinių komponentų analizė, kaip įrankį duomenų matmenims sumažinti.

Tame pačiame straipsnyje jie pateikia įdomų komentarą, susidedantį iš Andrew Ng komentaro apie neseniai padidėjusią skaičiavimo galią ir prieigą prie didelių duomenų rinkinių, kurie atskleidė neišnaudotą neuroninių tinklų galimybes, kai jie naudojami didesniu mastu.

Nuo devintojo dešimtmečio buvo akivaizdu, kad dauginimasis giliaisiais automatais būtų labai efektyvus netiesiniam matmenų mažinimui, jei kompiuteriai yra pakankamai greiti, duomenų rinkiniai pakankamai dideli ir pradiniai svoriai yra pakankamai artimi geram sprendimui. Visos trys sąlygos dabar yra įvykdytos.

2016 m. Pokalbyje su „Royal Society“ pavadinimu „Gilus mokymasis“ Geoffas pakomentavo, kad „Deep Belief Networks“ buvo gilaus mokymosi pradžia 2006 m. Ir kad pirmasis sėkmingas šios naujos gilaus mokymosi bangos pritaikymas kalbai atpažinti buvo 2009 m. Akustinis modeliavimas naudojant „Deep Belief Networks“ “, pasiekiant pažangiausių rezultatų.

Būtent rezultatai privertė kalbos atpažinimą ir neuroninių tinklų bendruomenes atkreipti dėmesį į tai, kad ankstesnių neuroninių tinklų metodų naudojimas „giliai“ kaip diferenciatorius tikriausiai lėmė pavadinimo pasikeitimą.

Karališkosios draugijos pokalbio giluminio mokymosi aprašymai yra labai orientuoti į dauginimąsi, kaip jūs tikėjotės. Įdomu tai, kad jis pateikia keturias priežastis, kodėl paskutinis propagavimas (skaitykite „giluminis mokymasis“) paskutinį kartą 1990 m. Pirmieji du taškai atitinka aukščiau esančio Andrew Ng komentarus apie per mažus duomenų rinkinius ir per lėtus kompiuterius.

Kas iš tikrųjų buvo klaidinga 1986 m.
Geoffo Hintono skaidrė, visos teisės saugomos.

Gilus mokymasis kaip keičiamas mokymasis visose srityse

Gilus mokymasis išsiskiria probleminėse srityse, kur įvestys (ir net išvestis) yra analogiškos. Tai reiškia, kad jie nėra keli dydžiai lentelių formatu, bet yra pikselių duomenų atvaizdai, tekstinių duomenų dokumentai arba garso duomenų failai.

Yannas LeCunas yra „Facebook Research“ direktorius ir yra tinklo architektūros, pasižyminčios objekto atpažinimu vaizdų duomenyse, vadinamas „Convolutional Neural Network“ (CNN), tėvas. Ši technika yra labai sėkminga, nes, kaip ir daugiasluoksnio perceptrono perduoti neuroniniai tinklai, technika skalaujama atsižvelgiant į duomenų ir modelio dydį ir gali būti mokoma naudojant propagamaciją.

Tai neobjektyviai apibūdina jo gilaus mokymosi apibrėžimą kaip labai didelių CNN kūrimą, kurie puikiai pasisekė atpažįstant objektus nuotraukose.

2016 m. Lawrence’o Livermore’o nacionalinės laboratorijos pokalbyje pavadinimu „Supratimo supratimas: gilus mokymasis, intelektualios programos ir GPU“ jis apibūdino gilųjį mokymąsi kaip hierarchinių reprezentacijų mokymąsi ir apibrėžia kaip mastelio metodą kuriant objektų atpažinimo sistemas:

gilus mokymasis [is] … modulių, kuriuos visus galima mokyti, vamzdynas. … giliai, nes [has] keli etapai objekto atpažinimo procese ir visi šie etapai yra mokymo dalis “

Gilus mokymasis = mokymasis hierarchinių reprezentacijų
Skaidrė Yann LeCun, visos teisės saugomos.

Jurgenas Schmidhuberis yra kito populiaraus algoritmo, kuris, pavyzdžiui, MLP ir CNN, taip pat skalės su modelio dydžiu ir duomenų rinkinio dydžiu, gali būti mokomas naudojant proporcijas, tačiau yra pritaikytas mokymuisi …