Neuronowe równania różniczkowe zwyczajne (NeurIPS 2018)
Abstrakt:
Podczas prezentacji omówię pracę pod tytułem "Neural Ordinary Differential Equations" (NeuralODEs), która wprowadza nowy rodzaj sieci neuronowych pozwalających na połączenie standardowych metod rozwiązywania równań różniczkowych z głębokim uczeniem. Praca ta zdobyła nagrodę najlepszej pracy na prestiżowej konferencji NeurIPS 2018. NeuralODEs posiadają wiele ciekawych własności np. za ich pomocą możemy konstruować bardzo głębokie sieci neuronowe przy prawie zerowym zużyciu pamięci. Dodatkowo sieci te nadają się idealnie do problemów wymagających predykcji procesów będących funkcją czasu jak np. symulacje fizyczne. W trakcie prezentacji przejdę przez różne przykłady zastosowania NeuralODEs od prostych problemów optymalizacyjnych po nową (uciągloną w czasie) wersję przepływów normalizacyjnych.
Poziom trudności
Poziom trudności prezentacji oceniam na średnio zaawansowany. Prezentacja będzie miała charakter akademicki z przykładowymi fragmentami kodu który będzie ilustrował użycie omawianej techniki. W trakcie prezentacji będę zakładał, że słuchacz wie czym są sieci neuronowe, zejście gradientowe, wie czym są równania różniczkowe zwyczajne. Mile widziana jest znajomość tematyki przepływów normalizacyjnych (vide moje poprzednie prezentacje).
Czego się nauczysz?
- czym są black-box solvery służące do rozwiązywania równań różniczkowych,
- jak taki solver napisać w Tensorflow i następnie użyć go do całkowania funkcji zadanej siecią neuronową,
- czym się różni NeuralODE od zwykłych sieci neuronowych i jakie są jego potencjalne zastosowania,
- jak liczyć gradienty przez sieć zdefiniowaną za pomocą równania różniczkowego tj. metoda adjoint sensitivity (metoda równań sprzężonych),
- czym są Continuous Normalizing Flow - czyli różniczkowy odpowiednik przepływów normalizacyjnych
Jedna referencja:
[1] Neural Ordinary Differential Equations: https://arxiv.org/pdf/1806.07366.pdf