Tóth Bálint Pál
Deep Learning a gyakorlatban Python és LUA alapon Hogyan tovább?
http://smartlab.tmit.bme.hu
Jogi nyilatkozat Jelen előadás diái a „Deep Learning a gyakorlatban Python és LUA alapon” című tantárgyhoz készültek és letölthetők a http://smartlab.tmit.bme.hu honlapról. A diák nem helyettesítik az előadáson való részvételt, csupán emlékeztetőül szolgálnak. Az előadás diái a szerzői jog védelme alatt állnak. Az előadás diáinak vagy bármilyen részének újra felhasználása, terjesztése, megjelenítése csak a szerző írásbeli beleegyezése esetén megengedett. Ez alól kivétel, mely diákon külső forrás külön fel van tüntetve. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
2/47
Vélemény
http://bit.ly/vitmav45-velemeny
Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon
3/52
Tárgy célkitűzése • Gépi tanulás új paradigmája. Óriási potenciál! • Gyakorlati tudás vállalkozáshoz vagy munkavállaláshoz. • A tárgy elvégzése 5-ös érdemjeggyel presztízs értékű! Vonzó a cégek számára! • „Junior” deep learning mérnök: • 1 komplex feladat, • 20-80 tanítás.
• „Senior” deep learning szakember: • legalább 8-10 komplex feladat, • 2000-3000 tanítás.
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
4/47
Miről volt szó a kurzuson? 1.
Neurális hálózatok alapjai, back-propagation, L1 és L2 regularizáció, momentum módszer, dropout, normalizálás, standardizálás, Numpy implementáció.
2.
Numpy és LUA alapok.
3.
Gépi szövegfelolvasás, előrecsatolt mély neurális hálózatok, ReLU, LReLU, PReLU, súly inicializálás. Implementációs részletek.
4.
Előrecsatolt hálóval XOR és SinX modellezés Numpy, Torch, TensorFlow és Keras alapon.
5.
SoftMax, keresztentrópia, optimizációs algoritmusok (SGD, ADAM, RMSProp, ADAGRAD).
6.
Egy és kétdimenziós konvolúciós hálózatok, transfer learning, vizualizációs technikák.
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
5/47
Miről volt szó a kurzuson? 7.
2D konvolúció TensorFlow alapon.
8.
1D konvolúció, felhasználói viselkedés modellezése szenzoradatok alapján.
9.
Aggregált (ensemble) mély neurális modellek.
10. Rekurrens neurális hálózatok, LSTM és fajtái. 11. Szövegszintézis karakter alapon Keras-ban. 12. Autoencoder, Variational AE.
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
6/47
Miről volt szó a kurzuson? 7.
GAN.
8.
Ajánló rendszerek.
9.
Nyelvi modellezés, természetes nyelvfeldolgozás alapok. Szó beágyazások (word embedding).
10. Szó beágyazások Keras-al és TensorFlow-val. 11. End-to-End beszédfelismerés. 12. Pénzügyi alkalmazási lehetőségek.
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
7/47
Tárgy követelményei • Előadáson, gyakorlaton való részvétel • Gyakorlatok 70%-án való részvétel • Kis házi feladatok (+1 jegy) • Nagy házi feladat (aláírás, megajánlott jegy) • Kahoot! (+1 jegy) • Vizsga: írásbeli + szóbeli
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
8/47
Nagy házi feladat leadás http://smartlab.tmit.bme.hu/oktatas-deeplearning-nagy-hazi
CSAPATNEVEK README.MD-BEN!!! Aláírás:
• Határidő: 2017. december 8. 23:59 • Github: forráskód, readme.md, beszámoló PDF • Megajánlott jegy esetén is!!!
Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon
9/46
Nagy házi feladat leadás http://smartlab.tmit.bme.hu/oktatas-deeplearning-nagy-hazi Megajánlott jegy:
• Határidő: 2017. december 13. 23:59 • I és II mérföldkő teljesítése határidőre • Github-on az utolsó commit-ot fogjuk nézni. • A csapat egyszerre jön vizsgára és 10 percben bemutatják a munkájukat • Ha szakdolgozat vagy diploma védéshez szükséges a jegy, akkor írjatok külön emailt, hogy előre vegyük a nagy házitok javítását! Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon
10/46
Vizsga • Írásbeli + szóbeli • Írásbeli: • Például:
• Ismertesd az általad ismert aktivációs függvényeket és tulajdonságaikat. • Mi az a „transfer learning”? • Mi az LSTM és milyen célokra használják? • Milyen adatstruktúrával tanítjuk a CNN és LSTM hálókat? • Miért van szükség standardizálásra és normalizálásra? • Miben különbözik és miben hasonlít az 1D és 2D CNN? Melyiket mire használjuk? • Stb.
• Szóbeli:
• Mindenkinek: magyarázd el a backpropagation algoritmust. (+ L1, L2 regularizáció, momentum, stb.) • Az írásbelivel és házi feladatokhoz kapcsolódó kérdések. • Az egész témából kérdések. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
11/47
Első NVIDIA DLI Online Lab Meetup 2017. december 14., 17:00, IB210 Regisztráció + LAPTOP szükséges http://bit.ly/DLIOnlineLabMeetup-DEC2017 2018-ban egész napos Workshop-ok és Meetup-ok
Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon
12/46
Ajánlott tárgyak • Neurális hálózatok (VIMIJV07) Dr. Horváth Gábor, tavaszi félév • 'Big Data' elemzési eszközök nyílt forráskódú platformokon (VITMAV15) Prekopcsák Zoltán, Gáspár Csaba • Média- és szövegbányászat (VITMM275), Dr. Szűcs Gábor, Dr. Tikk Domonkos • Adatbányászati technikák (VISZM185), Dr. Katona Gyula, Dr. Pintér Márta Barbara, Dr. Sali Attila • A lineáris algebra numerikus módszerei (VIMAD041) Dr. Pach Péter Pál, tavaszi félév • Mátrixanalízis (doktori képzés, VIMAD569) Dr. Pach Péter Pál, őszi félév Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
13/47
WTF? What’s the future?
Mesterséges intelligencia jövője • Paradigmaváltás • Számítási kapacitás + adat
Forrás: http://www.motherjones.com/media/2013/05/robots-artificial-intelligence-jobs-automation Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
15/47
Tech Giants Are Paying Huge Salaries for Scarce A.I. Talent https://www.nytimes.com/2017/10/22/technology/artificial-intelligence-experts-salaries.html
12/15/2016
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
16/47
Órára jövet…. … összefutottam tavalyi hallgatóval, szóbeli tájékoztatás: Nyáron gyakornoknak jelentkezett deep learning-es céghez, most végez, hosszú távra tervez, főállású munka. A tárgy és a házifeladatok sokat segítettek a felvételinél, szerinte ha nem végzi el a tárgyat, lehet nem veszik fel.
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
17
Munkalehetőségek 1. Hazai Külföldi
• Google Research (New York/Montain View, USA) • Facebook Research Center (Párizs, Franciaország) • Yann LeCun: https://www.quora.com/Is-getting-a-mastersor-a-PhD-necessary-to-get-into-top-AI-ML-research-groupslike-FAIR-or-DeepMind/answer/Yann-LeCun
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
18/47
Munkalehetőségek 2. • Baidu (Sunnyvale, USA) • Twitter • IBM • OpenAI • Stb.
• NIPS-en pénzügyi cégek titokban „vadásznak” a deep learning mérnökökre (témaindító cikk: http://news.efinancialcareers.com/uken/267380/machine-learning-conference-banking/) • Freelancer Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
19/47
Hogyan tovább? Tanuljátok tovább: 1. Kódoljatok minden nap… de mit? • Alap, jól körbejárt példák nulláról való felépítése, • Saját alkalmazás (pl. macskariasztó), • Kaggle vagy egyéb versenyben részvétel • Pl: https://www.kaggle.com/c/the-nature-conservancy-fisheries-monitoring
2. Szoftverfrissítésekkel, újdonságokkal tartsatok lépést (CUDA, cudnn, TF, Keras, PyTorch, stb.).
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
20/47
Hogyan tovább? 3. Olvassatok: • • • • • •
Könyvek (DLBook, DLinPractice, Sutton RL könyv) www.arxiv.org és http://www.arxiv-sanity.com/ Konferenciák (NIPS, ICLR, stb.) Twitter feedek Quora, Reddit, Gitter, Google Groups Tárgy honlapján linkek
4. Írjatok, publikáljatok, commitoljatok.
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
21/47
Önlab, szakmai gyakorlat, szakdoga, diploma • Elméleti és/vagy gyakorlati téma: • Közösen átbeszélve, érdeklődésnek megfelelően választunk témát.
• Folyó kutatásba és/vagy ipari projektbe való bekapcsolódás is lehetséges. • Pl. gyengén koherens idősorok vizsgálata
• Cél: • elméleti esetben tudományosan legyen új megközelítés, ami segíti a deep learning alkalmazásokat, • gyakorlati esetben legyen a munka végére működő prototípus. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
22/47
Önlab, szakmai gyakorlat, szakdoga, diploma • GPU erőforrás, folyamatos konzultáció (NVidia GEC, NVidia DLI). • Oktatásban való részvételi lehetőség • Kézzel fogható, ipari tudás
• TDK, hazai vagy nemzetközi konferencia, PhD
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
23/47
Hallgatói és projekt témák • WaveNet alapú TTS és általános regresszió • Személyi asszisztens (pl. repülőjegy foglalás, intelligens autó vezérlés), „chatbot” • Deep reinforcement learning • Kriptovaluta ármozgás modellezése • Szenzoradatok klasszifikációja • Önvezető autó, mobil alkalmazás • Elméleti deep learning, deep reinforcement learning
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
24/47
PhD
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016 25/47
Miért éri meg PhD-zni deep learningből? • Nagyon pörgős és izgalmas téma, óriási potenciál! • Ipar vs PhD (szakmai tapasztalat, fizetési szint)
• Egyetemi kutatás és az ipari megoldások összeérnek, ipar érdekelt a PhD képzés támogatásában. • Egyre nagyobb érdeklődés!
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
26/47
Miért éri meg PhD-zni deep learningből? • Ösztöndíj lehetőségek • Hazai és külföldi • Céges, pl: • NVIDIA Graduate Fellowship Program 50000 USD / PhD hallgató https://research.nvidia.com/relevant/graduate-fellowship-program • Facebook Fellowship Program 37000 USD / PhD hallgató / év + 5000 USD konferenciákra https://research.facebook.com/programs/fellowship/
• Kiváló gyakornoki pozíciók (pár hónap külföld) Facebook, Google / DeepMind, OpenAI, Twitter, IBM, stb.
Pl. https://www.facebook.com/careers/university/internships/engineering
• PhD-val jobb munkalehetőségek és jobb fizetés a célterületen! (de más területen is) Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
27/47
Deep Learning PhD a BME-n • 4 év • Állami ösztöndíj: 180.000.- Ft / hó • Részletek: https://www.vik.bme.hu/page/917/ Témák nálunk: • Elméleti és gyakorlati deep learning (ahogy korábban) • Knowledge Representation and Reasoning in Deep Learning • Deep Reinforcement Learning based Optimization Method • Joint Modeling of Heterogeneous Data with Deep Learning Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
28/47
A Te témád!
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
29/47
További infók (nem csak PhD) http://smartlab.tmit.bme.hu/phd-deep-learning
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
30/47
Kutatási-fejlesztési témák - Szaszák György •
• •
Félig felügyelt és felügyelet nélküli gépi tanulás (deep learning) Szemantikus információkinyerés, -ábrázolás Komplex AI modellek (kommunikációs, tartalmi modellek, humán percepció, viselkedés, empátia, stb.) Mailto:
[email protected]
Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon
12/15/2016
31/47
Önlab témák – Csapó Tamás Gábor • IEEE/ACM Transactions on Audio, Speech, and Language Processing 2017. november különszám: • „Biosignal-Based Spoken Communication” • • • •
Agy – idegrendszer Izommozgások Légzőrendszer Beszédképző szervek
• Azaz nem csak a beszédjelet érdemes vizsgálni!
Deep Learning a gyakorlatban Python és LUA alapon
32/47
Bioszignál példák
Deep Learning a gyakorlatban Python és LUA alapon
33/47
Artikuláció -> beszéd, deep learning • Mi a nyelvmozgás és a keletkezett beszédjel kapcsolata?
• Nyelvmozgás alapján, ultrahang képből beszéd generálása deep learning módszerekkel
Deep Learning a gyakorlatban Python és LUA alapon
34/47
CNN és ultrahang • Mi volt a kimondott hang? Csak ultrahang kép alapján
Deep Learning a gyakorlatban Python és LUA alapon
35/47
• NKFIH Fiatal Kutatói pályázat: „Artikulációs mozgás alapú beszédgenerálás” • Együttműködés: BME +
Deep Learning a gyakorlatban Python és LUA alapon
36/47
Köszönjük a figyelmet! {toth.b,szaszak,csapo.t}@tmit.bme.hu
http://smartlab.tmit.bme.hu
