116. Spotkanie Data Community, Warszawa

• 18:00 - 18:15 Powitanie
• 18:15 - 19:15 Oskari Heikkinen - New capabilities of Azure Data Factory v2

Azure Data Factory v1 has not been considered a full blown ETL solution by the market. Data Factory v2 has been lately introduced to fill in the gaps. I will deliver the understanding of the different capabilities of both versions as well as a summary comparison between the two. I will also demonstrate the latest and greatest capabilities by orchestrating an end-to-end pipeline with Data Factory v2 including machine learning workloads with Azure DataBricks.

• 19:15 - 19:45 Networking, luźne rozmowy, i zapewne poczęstunek
• 19:45 - 20:15 Michał Gołoś - sp_generate_merge

Szybko i sprawnie wygeneruj instrukcję MERGE z danymi, która na podstawie klucza PK ze źródła wykona INSERT / UPDATE / DELETE w tabeli docelowej.

Typowe przypadki użycia:

• Wygeneruj skrypty dla słowników statycznych, zapisz plik .sql w repozytorium kodu i dalej wykorzystaj do wdrożeń Dev/Test/Prod
• Wygeneruj dane ze środowiska Prod, aby odtworzyć je na swoim środowisku Dev/Test
• Wygenerowane skrypty można modyfikować i ponownie uruchamiać, aby migrować zmiany między środowiskami
• Wprowadź dane testowe na środowisku Dev, a następnie wygeneruj skrypt, aby zawsze można było odtworzyć bazę danych testowych z poprawnymi przykładowymi danymi

• 20:15 - 20:45 Bartosz Ratajczyk - OLEDB: Kiedy Fast load nie jest takie Fast

Niedawno analizowałem przypadek bardzo dużego spowolnienia jednego zasilania tabeli za pomocą pakietu SSIS. Problem udało się szybko namierzyć i rozwiązać (ustawienia OLEDB Destination), a sam problem okazał się wewnętrznie na tyle interesujący, że przyjrzałem mu się dokładniej. Pokażę na czym polegał problem, jak został rozwiązany oraz pokażę kilka ciekawostek związanych z OLEDB Destination.

• Oskari Heikkinen

Oskari Heikkinen is an expert in using Azure for data analytics on a large scale. He has been architecting and implementing numerous projects for some of the largest companies in finance, media, telecom, insurance and ICT sectors in the Nordics.

Oskari is also part of the Azure Advisors group which enables tight collaboration, feedback and an inside track into where Azure is heading. As a Microsoft Certified Trainer (MCT), Oskari holds classes for BIGDATAPUMP's subject-matter experts and consultants internally as well as gives external customer training sessions. He is also an active speaker on community events.

Oskari holds the MCSE: Data Management and Analytics certification and is the only Advanced Analytics Microsoft P-TSP in Finland.

• Michał Gołoś

Konsultant SQL Server związany z 7N. Absolwent Warszawskiej Wyższej Szkoły Informatyki.

Od 2008 roku skutecznie łączy pasję z drogą zawodową zajmując się programowaniem i projektowaniem baz danych na platformie MS SQL Server począwszy od wersji 2005.

• Bartosz Ratajczyk:

Konsultant SQL Server związany z 7N. Programista aplikacji i baz danych, ze szczególnym naciskiem na SQL Server, C# i SSIS. Fan automatyzowania powtarzalnych czynności i szukania sposobów przyspieszania zbyt wolnych zapytań do baz danych. Ostatnie kilkanaście lat spędził na tworzeniu i rozwoju systemów raportujących i rozliczających oraz hurtowni danych opartych głównie o technologie Microsoft. Posiada certyfikaty MCT, MCTS SQL Server oraz MCSE Data Platform.

Wstęp wolny, ale konieczna jest rejestracja, która skończy się w dzień spotkania, przed południem.