Nie ma schemy - nie ma problemu? - warsztaty Big Data
Podczas projektowania systemu do zbierania i przetwarzania dużej ilości danych potrzebujemy podjąć kilka ważnych decyzji, które będą miały wpływ na późniejszy rozwój i wykorzystanie tego systemu. Dlatego warto spędzić nad nimi trochę czasu.
Jedną z takich decyzji jest to jak będzie wyglądała struktura naszych danych.
Na tych warsztatach postaram się przybliżyć problem wyboru formatu danych, czyli wyboru formatu pliku oraz schematu danych i konsekwencji tych wyborów.
Będzie Wam potrzebna podstawowa znajomość języka python i pySpark.
W planie mamy:
- Dyskusję nt. dostępnych rozwiązań i kryteriów wyboru
- Pracę z plikami Avro
- Pracę z plikami Parquet
Warsztat odbędzie się w języku polskim, a poprowadzi go Monika Puchalska.
Monika pracuje jako Programista, Data Engineer, Team Leader. Women in Technology poznała przy okazji drugiej edycji programu Tech Leaders, gdzie miała zaszczyt wystąpić w roli mentora. Uwielbia rozwiązywać zagadki i od 5 lat zajmuję się tymi związanymi z BigData. Aktualnie odkrywa świat danych CRM w Base i opiekuję się platformą analityczną.
Wydarzenie odbędzie się w centrum konferencyjnym w budynku Orange Office Park, ul. Klimeckiego 1.
Zapraszamy wszystkich! Każdy może być uczestnikiem, liczy się tylko kolejność zgłoszeń. Liczba miejsc jest ograniczona, zapisujemy na listy rezerwowe.
