Stream Processing of Versioned Data with Delta Lake and Apache Spark

Spotykamy się w Sages / Stacja IT na Nowogrodzkiej, aby zgłębić tajniki Delta Lake (https://delta.io/) jako źródła danych do przetwarzania strumieni w Spark Structured Streaming.

Celem spotkania jest napisanie kilku aplikacji w języku Scala z Apache Spark, które korzystają z danych w tabelach w Delta Lake. Użyjemy modułów Spark SQL oraz Spark Structured Streaming.

Korzystamy z IntelliJ IDEA Community Edition (z wtyczką do Scali), sbt, oraz Apache Spark 2.4.4. Proszę o zainstalowanie IDEA i sbt przed spotkaniem (daj znać, gdybyś potrzebował(a) pomocy).

Zakładamy podstawową wiedzę dotyczącą programowania w Scali oraz korzystania z sbt. Jeśli którekolwiek z podanych jest Ci obce, a chciał(a)byś to zmienić, to meetup w sam raz dla Ciebie!

W razie pytań i wątpliwości (np. czy meetup jest dla Ciebie), skorzystaj z możliwości komentowania poniżej.

Official language: Polish + Scala