Data Has Power

Zapraszamy na otwarte dwudniowe warsztaty z Data Engineering: Przetwarzanie strumieni danych za pomocą Sparka i Kafki.

W ostatnim czasie coraz częściej możemy usłyszeć o zjawisku jakim są wszechobecne i tajemnicze strumienie danych.

Czy czasami zastanawiasz się gdzie te strumienie mają swoje źródło i dokąd zmierzają? Którędy płyną i czy da się je okiełznać? Jeśli tak, to zapraszamy do świata nieustannie zmieniających się informacji.

Na Data Has Power dowiesz się:

-Co to jest przetwarzanie strumieniowe i czym różni się od przetwarzania wsadowego.

-Jakie są plusy i minusy przetwarzania strumieniowego

-Jakich technologii używamy

-Jak za pomocą Pythona podłączyć się do strumienia danych

-Wszystko co możemy Wam przekazać o structured streaming w Apache Spark

Jako danie główne zaplanowaliśmy wykonanie aplikacji “strumieniowej” w oparciu o realny przypadek. A na deser oczywiście kafka... Apache Kafka

Na koniec kilka dobrych praktyk, które pomogą nam zachować spokój ducha podczas pracy z kodem i strumieniami danych

Technologie używane podczas kursu:

-Python

-Apache Spark (PySpark)

-Apache Kafka

-Docker

-Pytest

Aby wziąć udział należy zgłosić się i wykonać zadanie testowe.

Formularz zgłoszeniowy:

https://forms.gle/5qH1q9coEHAL89Ea6

Link do opisu zadania:

https://bit.ly/34NEae0

Zgłoszenia przyjmujemy do 28.02 natomiast odpowiedzi zwrotne na temat zakwalifikowania się poszczególnych uczestników będziemy wysyłać do końca marca.