Data Quality in Databricks Workflows with Pydantic cntd.
- 5 minut rogrzewki na luźne pomysły na ten i przyszłe meetupy
- 50 minut Live coding session, a w nim:
- Za pomocą Databricks Asset Bundles (DAB), uruchomisz Databricks job z notebookiem z libką w Pythonie z Pydantic (takie tam "hello world"). Wszystko z pomocą uv do zarządzania projektem.
- Stworzymy UDFa do walidacji rekordów, którego "uzbroimy" w pydantic'a. To główny cel meetupu, którego osiągnięcie będzie naszym "najosobityczniejszym" sukcesem.
- Może coś jeszcze, ale nie zdradzę teraz.
- Q&A / Zbieranie pomysłów na kolejne edycje (5 minut)
2 days before a meetup! Cóż za progres! Very impressive, indeed!
Kontynuujemy poprzedni meetup, w którym udało nam się poznać z pydantic i uv, ale jedynie bardzo przelotnie. Należy nam się uporządkowanie tej wiedzy.
Zakładamy, że mamy 2 projekty. Pierwszy projekt z pydantic (libka w Pythonie), a drugi to "hello world" Databricks Asset Bundle project z przykładowym job'em. Nic specjalnie wyrafinowanego. Od tego zaczniemy.
Wiedza o Databricks, Pythonie, pydantic, uv nie jest konieczna. Wręcz oczekiwany jest jej całkowity brak, bo wtedy można zmaks(ymaliz)ować zyski.
Prelegent chętnie odpowie na każde pytanie (w miarę swoich możliwości). Publika też nie zawodzi, więc ktoś z odpowiedzią się znajdzie.
Zaczynamy punktualnie o 18:00.
(Daj znać przy rejestracji na meetup, czy tematyka jest OK i co tam dalej rozważyć w ramach rozpoznawania Databricks i Data Engineering w ogólności).
Do zobaczenia!
---
Czegoś brakuje? Coś niejasne? Masz pytania, sugestie lub chcesz pomóc, skontaktuj się ze mną na [email protected]. Każda pomoc mile widziana!
Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!
