Delta Live Tables in Databricks (online)
Ostatnimi czasy sporo czasu spędzam z platformą Databricks i pomyślałem, aby usłyszeć Wasze zdanie na temat sensowności zastosowania Databricks, a szczególnie Delta Live Tables, w Waszych rozwiązaniach.
Na nadchodzącym meetupie przedstawię rozwiązanie (framework) o nazwie Delta Live Tables (DLTs), które korzysta z dobrodziejstw Apache Spark, Spark SQL, Spark Structured Streaming oraz Delta Lake w "wizualny" sposób (UI z drag-and-drop), i umożliwia pisanie strumieni w SQL i Pythonie.
Jeśli ktoś oczekuje sporej koderki w Scali (jak to miało miejsce w samym Apache Spark), to Delta Live Tables nie są dla niego. Databricks postawiło na klikanie, aby programowanie było przystępne dla wszystkich (w sposób przypominający Scratch'a, czyli wizualnie).
Jest coś jeszcze przykuwające uwagę do Delta Live Tables - podobieństwo do innego rozwiązania SQL-only, tj. dbt. Podobnie jak w dbt, DLTs stawiają na SQL i Pythona. Nie mieliśmy przyjemności przyjrzeć się dbt, ale może znajdą się użytkownicy dbt, którzy chętnie podzielą się spostrzeżeniami po prezentacji DLT.
Więcej podczas meetupu. Zapraszam!
Czegoś brakuje? Coś niejasne? Masz pytania, sugestie lub chcesz pomóc, skontaktuj się ze mną na [email protected]. Każda pomoc mile widziana!
Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!