Metody automatycznego generowania architektur sieci neuronowych
Seminarium poprowadzi Krzysztof Maziarz (https://www.linkedin.com/in/krzysztof-maziarz-b880bbb5)
# Abstrakt
Ręczne projektowanie sieci neuronowych dla danego problemu (czyli wybór zarówno dokładnej architektury, jak i hiperparametrów) wymaga dużo czasu, i najlepiej też ekspertyzy w danej dziedzinie. Podczas prezentacji zajmiemy się alternatywą która automatyzuje część tego wysiłku - tzw metodami "Architecture Search".
Na początku zarysuję problem, i pokrótce wprowadzę pojęcia które przydadzą się do zrozumienia dalszej części prezentacji:
* rekurencyjne sieci neuronowe
* Reinforcement Learning
Następnie powiem o dwóch najpopularniejszych podejściach do Architecture Search: podejściu używającym meta-sieci neuronowej, i podejściu ewolucyjnym.
Na koniec pokażę hybrydę tych dwóch podejść, zaprojektowaną tak, aby zachować najlepsze cechy obu z nich. Jest to projekt nad którym pracowałem kilka miesięcy temu podczas pracy w Google.
# Poziom trudności
Będę zakładał podstawową znajomość uczenia maszynowego i sieci neuronowych. Pojęcie sieci rekurencyjnych wprowadzę bardzo krótko, więc warto je wcześniej znać.
# Czego się nauczysz?
* jak można automatycznie szukać architektury sieci neuronowych
* jakie zalety ma podejście używające meta-sieci, a jakie podejście ewolucyjne
* jak połączyć te dwa podejścia w jedno