Spark Declarative Pipelines with Unity Catalog and Delta Lake

Udało nam się uruchomić Spark Declarative Pipelines (SDP) (w najnowszej wersji Apache Spark 4.1.1) z Delta Lake i teraz przyszła pora przyjrzeć się Unity Catalog!

Podczas nadchodzącego spotkania przyjrzymy się przetwarzaniu strumieniowemu danych w SDP (streaming ETL / streaming data processing pipelines) z danymi w tabelach w formacie Delta Lake, które będą zarejestrowane w katalogu w Unity Catalog! To naprawdę działa!

Czego się nauczysz (dowiesz podczas kodowania na żywo) o Spark Declarative Pipelines (SDP):

1. Zbudujesz i uruchomisz aplikację ETL do przetwarzania danych strumieniowo z i do Delta Lake.
2. Użyjesz SQL i Python (zgodnie z własnymi upodobaniami).
3. Postawisz Unity Catalog do katalogowania tabel delta ze Spark Declarative Pipelines.

Protip: Jeśli chciał(a)byś całość kodować u siebie na żywo (z moją pomocą słowną), odezwij się wcześniej lub bezpośrednio na początku spotkania. Ty prezentujesz, ja opowiadam. Brzmi ciekawie? Wchodzisz w to?

W razie pytań, sugestii lub jeśli chcesz pomóc, skontaktuj się ze mną na [email protected]. Każda pomoc mile widziana!

Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!