Spark Declarative Pipelines in Apache Spark 4.1

Apache Spark 4.1 wydany i możemy przyjrzeć się Spark Declarative Pipelines w oficjalnym wydaniu.

Czego się nauczysz (dowiesz podczas kodowania na żywo) o Spark Declarative Pipelines:

1. Zbudujesz i uruchomisz prostą aplikację ETL do przetwarzania danych wsadowo
2. Użyjesz SQL i Python (zgodnie z Twoimi upodobaniami)
3. Wczytasz dane z lokalnych plików na Twoim dysku
4. Uruchomisz Apache Kafka i zbudujesz bardziej wyrafinowaną aplikację ETL do przetwarzania danych strumieniowo

Pomysł dla odważnych: Jeśli chciał(a)byś całość kodować u Ciebie na żywo (z moją pomocą słowną), odezwij się wcześniej lub bezpośrednio na początku spotkania.

W razie pytań, sugestii lub chcesz pomóc, skontaktuj się ze mną na [email protected]. Każda pomoc mile widziana!

Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!