25. janvārī LU MII notika kārtējais zinātniskais seminārs- “Algoritmu mācīšanās ar dziļajiem neironu tīkliem”. Semināru vadīja Dr. Kārlis Freivalds.
Lekcijas ievada daļā tika apskatīts, kāpēc dziļā mašīnmācīšanās izrādījusies tik sekmīga (spēja apstrādāt milzīgus datu apjomus, diferencējamība – nodrošina spēju efektīvi mācīties, izmantojot gradient descent), kā pāriet no datu klasificēšanas un transformācijas uzdevumiem pie spējas mācīties algoritmus, spēja vispārināt algoritmus no maziem piemēriem uz lieliem.
Lekcijas galvenā daļa sastāvēja no 3 sadaļām:
1) Neural GPU model and its extensions.
Tika prezentēts grupas pētījums, kura rezultātā tika uzlabota Neural GPU arhitektūra, ko piedāvāja Kaiser and Sutskever no Google un kas spēj iemācīties vienkāršus algoritmus (skaitļu saskaitīšanu un reizināšanu, masīvu kārtošanu) no maziem piemēriem.
Piedāvātie arhitektūras uzlabojumi iespaidīgi paātrina tīklu apmācības procesu un to vispārināšanas spēju. Par šo sasniegumu grupas referāts nozares starptautiskā konferencē 2018.gadā saņēma best paper award.
2) Shuffle network model.
Kur tika izklāstīta literatūrā piedāvāta perspektīva ideja [shuffle – kāršu jaukšana] jaunai tīklu arhitektūrai,
kas spēj ātri mācīties algoritmus: vienkāršus algoritmus šie tīkli iemācās no maziem piemēriem un vispārina uz lieliem, bet sarežģītus algoritmus spēj iemācīties, trenējoties uz jebkura nepieciešamā izmēra datiem.
3) Towards differentiable symbolic computing.
Tika aplūkota problēma, kas neironu tīkliem sagādā grūtības: tīkli ir diferencējami (t.i. balstīti uz nepārtraukto matemātiku),
bet simbolu apstrādes uzdevumi ir būtiski diskrēti. Kā šīs problēmas risināšanas ceļš literatūrā tiek piedāvāta t.s. ģeneratīvā arhitektūra. Lekcijā tika parādīti vairāki piemēri jauniem, agrāk nerisinātiem uzdevumiem, ko ar šīs arhitektūras palīdzību var risināt, tai skaitā tik neparasts uzdevums kā informācijas atņemšana (nevis pievienošana).
Lekcija beidzās ar lozungu: The Future is in Differentiable Symbolic Computing.