Spark Declarative Pipelines with Unity Catalog and Delta Lake
Udało nam się uruchomić Spark Declarative Pipelines (SDP) (w najnowszej wersji Apache Spark 4.1.1) z Delta Lake i teraz przyszła pora przyjrzeć się Unity Catalog!
Podczas nadchodzącego spotkania przyjrzymy się przetwarzaniu strumieniowemu danych w SDP (streaming ETL / streaming data processing pipelines) z danymi w tabelach w formacie Delta Lake, które będą zarejestrowane w katalogu w Unity Catalog! To naprawdę działa!
Czego się nauczysz (dowiesz podczas kodowania na żywo) o Spark Declarative Pipelines (SDP):
- Zbudujesz i uruchomisz aplikację ETL do przetwarzania danych strumieniowo z i do Delta Lake.
- Użyjesz SQL i Python (zgodnie z własnymi upodobaniami).
- Postawisz Unity Catalog do katalogowania tabel delta ze Spark Declarative Pipelines.
Protip: Jeśli chciał(a)byś całość kodować u siebie na żywo (z moją pomocą słowną), odezwij się wcześniej lub bezpośrednio na początku spotkania. Ty prezentujesz, ja opowiadam. Brzmi ciekawie? Wchodzisz w to?
W razie pytań, sugestii lub jeśli chcesz pomóc, skontaktuj się ze mną na [email protected]. Każda pomoc mile widziana!
Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!
Widzisz błąd w opisie lub danych wydarzenia?
Zaloguj się, by zgłosić zmianę.