Stream Processing of Versioned Data with Delta Lake and Apache Spark

Wydarzenie:

Stream Processing of Versioned Data

Typ wydarzenia:

Spotkanie

Kategoria:

Tematyka:

scala

Data:

04.02.2020 (wtorek)

Godzina:

18:00

Język:

polski

Wstęp:

Bezpłatne

Miasto:

Warszawa

Miejsce:

Stacja.IT / Sages

Adres:

ul. Nowogrodzka 62c

Zgłoś zmiany w wydarzeniu

Zaloguj się, by zgłosić zmianę.

Opis:

Spotykamy się w Sages / Stacja IT na Nowogrodzkiej, aby zgłębić tajniki Delta Lake (https://delta.io/) jako źródła danych do przetwarzania strumieni w Spark Structured Streaming.

Celem spotkania jest napisanie kilku aplikacji w języku Scala z Apache Spark, które korzystają z danych w tabelach w Delta Lake. Użyjemy modułów Spark SQL oraz Spark Structured Streaming.

Korzystamy z IntelliJ IDEA Community Edition (z wtyczką do Scali), sbt, oraz Apache Spark 2.4.4. Proszę o zainstalowanie IDEA i sbt przed spotkaniem (daj znać, gdybyś potrzebował(a) pomocy).

Zakładamy podstawową wiedzę dotyczącą programowania w Scali oraz korzystania z sbt. Jeśli którekolwiek z podanych jest Ci obce, a chciał(a)byś to zmienić, to meetup w sam raz dla Ciebie!

W razie pytań i wątpliwości (np. czy meetup jest dla Ciebie), skorzystaj z możliwości komentowania poniżej.

Official language: Polish + Scala

Uczestnicy (1):