99. Spotkanie Data Community Śląsk

Zapraszamy serdecznie na najbliższe spotkanie śląskiej grupy Data Community. W programie jak zwykle ciekawi goście, inspirujące tematy, pyszna pizza i interesujący networking.

Abstrakty sesji:

Sesja 1: Delta Lake Demystified: Wprowadzenie do Formatu z przykładami w Sparku

Format Delta Lake stanowi kluczowy krok w zrozumieniu nowoczenej koncepcji przechowywania i zarządzania danymi. Delta Lake to innowacyjny format, który daje możliwość zarządzania danymi w sposób plikowy wraz z zastosowaniem transakcyjności oraz innych mechanizmów znanych z relacyjnych baz danych.

W trakcie sesji przedstawimy fundamentalne cechy formatu Delta Lake, wskazując jego zastosowanie i korzyści w kontekście przetwarzania danych w silniku Spark. Poprzez praktyczne przykłady, omówimy kluczowe funkcje Delta Lake, takie jak zarządzanie wersjami, transakcyjność, time traveling oraz wiele innych. Sesja ma na celu rozwianie tajemnic wokół formatu Delta Lake i dostarczyć solidnej podstawy dla chcących zgłębić świat Lakehouse dostępny w Microsoft Fabric oraz Azure Databricks.

Prelegenci:

Wojciech Bukowski: Entuzjasta oraz "Rzemieślnik" Danych. Zajmuje się architekturą (w tym infrastrukturą) rozwiązań platformy danych, głównie w chmurze Azure. Związany z obszarem danych od 2012 roku, a być może wcześniej, ponieważ ukończył studia z "informatyki i ekonometrii" na Uniwersytecie Ekonomicznym w Krakowie. Rozpoczął swoją podróż od Excela, poprzez bazy danych on-prem, aż do rozwiązań w chmurze, w tym Snowflake i Databricks. Obecnie pracuje głównie w obszarze Azure Databricks, projektując kolejne Lakehouse-y i zgłębiając niuanse Sparka w przerwach między tworzeniem diagramów w Visio (i draw.io). Prywatnie mąż i ojciec, fan siatkówki (zarówno aktywnie, jak i biernie).

Adrian Chodkowski: Wyróżniony tytułem Microsoft Most Valuable Professional z zakresu Data Platform ekspert z zakresu platformy danych i business intelligence. Autor bloga seequality.net na co dzień pracujący w charakterze lidera technicznego w firmie Elitmind z całym przekrojem narzędzi firmy Microsoft zarówno On-premise jak i w chmurze Azure. Uwielbia dzielić się wiedzą, dlatego też dużo pisze i mówi na tematy związane z technologiami bazodanowymi i Business Intelligence. Prelegent na takich konferencjach jak SQLDay, SQLSaturday czy też Data Science Summit. W sferze zawodowej interesują go wszelkie technologie związane z przetwarzaniem i składowaniem danych. Posiadacz licznych certyfikatów takich jak Microsoft Certified Solutions Expert, Azure Data Engineer czy też Microsoft Certified Trainer.

Sesja 2: Azure Policy - niedoceniany komponent skalowalnej platformy danych

Podczas sesji przedstawię, w jaki sposób usługa Azure Policy może stać się kluczowym narzędziem podczas budowy skalowalnej platformy danych w chmurze Azure – przyspieszając naszą pracę i podnosząc jakość dostarczanego rozwiązania.

Sesja rozpocznie się od krótkiej historii wyjaśniającej skąd podczas budowy platformy danych pojawiło się u nas zainteresowanie tematami związanymi z Cloud Adoption Framework i Cloud-Scale Analytics Framework, jak wpłynęły na jej architekturę i jakie postawiły przed nami wyzwania.

Następnie omówię podstawy usługi Azure Policy, która pozwoliła nam sprawnie wdrożyć część z powstałych wymagań. Przejdziemy przez podejście Azure Policy as Code, Inicjatywy, oraz różne typy zasad, ze szczególnym uwzględnieniem zasad DINE.

Wszystko to w kontekście usług używanych w większości projektów Data takich jak ADLS, Azure Databricks, Azure Data Factory oraz standardowych wymagań, które pojawiają się na projektach z tego obszaru.

Prelegent: Tomasz Kostyrka - Data Platform Architect @GetInData | Part of Xebia Od 10 lat w projektach z obszaru Data opartych w większości o platformę Microsoft. Ostatnie lata chętnie uciekający w tematy związane z Architekturą i DevOps.