Allegro Tech Live #34 - Cloud: duże dane = duży problem?

Rejestracja: https://evenea.pl/pl/wydarzenie/allegro-tech-talk-34

Allegro Tech Live to w 100% zdalna odsłona naszych stacjonarnych meetupów Allegro Tech Talks. Zazwyczaj spotykaliśmy się w naszych biurach, ale tym razem to my zagościmy u Was :) A więc usiądźcie wygodnie na kanapie, zaopatrzcie się w ulubiony napój i odpalcie nasz live stream.

Zapraszamy Was online na YouTubie i Facebooku Allegro Tech -> https://www.youtube.com/c/AllegroTechBlog/streams

Temat wydarzenia: Cloud: duże dane = duży problem?

Data: 16.02 (czwartek)

Godz: 18:00 - 19:40

Miejsce: Live stream będzie dostępny w chwili rozpoczęcia na Facebooku i Youtube Allegro Tech

Opis spotkania: "On data we rely" - to jedno z haseł bliskie społeczności Allegro Tech, ale wykraczające daleko poza technologię i dotykające wszystkich obszarów naszej firmy. Zanim jednak zaczniemy wierzyć w dane musimy nauczyć się je przetwarzać. W tym odcinku skupimy się właśnie na tym i to nie byle gdzie, bo w dwóch popularnych chmurach publicznych: Microsoft Azure i Google Cloud Platform.

W pierwszej prezentacji posłuchamy o aspekcie, który od czasu do czasu dotyka każdego inżyniera, a mowa o migracjach danych. Na przykładzie Azure Cosmos DB, Paweł Piwowarczyk opowie nam jak wyglądał ten proces w Allegro Pay.

Druga prezentacja skupi się na ważnym aspekcie pracy z chmurą - kosztach. Kuba Demianowski opowie nam jak szybko i tanio przetwarzać dane w Apache Spark, Google Dataflow i Google BigQuery.

Opisy prezentacji:

• Paweł Piwowarczyk - Migracje danych w świecie Azure Cosmos DB

Migracje danych nie są częstym zadaniem programistycznym, jednak od czasu do czasu przychodzi ten moment, w którym zespół nie ma już innego wyjścia i podejmuje się tego, często dość traumatycznego, zadania. Zmiana struktury danych, zmiana technologii, błędna konfiguracja, wymagania HA, itd.

Z przerwą techniczną czy bez? W nocy czy w dzień? A co z rollbackiem? Z jakich narzędzi skorzystać? Czy wszystko zmigrowaliśmy? Czy dane są poprawne? Bazując na doświadczeniach prowadzenia takich projektów w Allegro Pay, postaram się opowiedzieć Wam o tych i innych aspektach migracji, a przy okazji pokazać Wam rozwiązania, które sami wykorzystaliśmy. Wszystko to w świecie Azure Cosmos DB, ale do zastosowania również w innych technologiach.

• Jakub Demianowski - Szybko i tanio - Twój pipeline Big Data

Spojrzenie okiem inżyniera na to, w jaki sposób można zoptymalizować przetwarzania danych, aby były szybkie i tanie. Co to znaczy szybkie i tanie? Jak to zrobić? O tym opowiemy podczas prezentacji przedstawiając przykłady strategii optymalizacji pipelinów w Apache Spark, Google Dataflow i Google BigQuery.

Pokażemy różne drogi do osiągnięcia tego samego - wydajnego pipeline’u przetwarzającego dane. Zaczynając od zmian w kodzie, przechodząc poprzez zmiany parametrów silnika, aż po dostosowanie typu procesora.

W spotkaniu udział wezmą:

• Paweł Piwowarczyk - Principal Software Engineer w Allegro Pay Development (zespół platformowy). W codziennej pracy zajmuje się dostarczaniem rozwiązań platformowych oraz wsparciem zarówno technicznym jak i na poziomie designu rozwiązań dla zespołów realizacyjnych. Programista i inżynier oprogramowania z ponad 10-letnim doświadczeniem, głównie w aplikacjach biznesowych osadzonych w stosie technologicznym .NET. Pasjonat czystego kodu, dobrej architektury, czytelnych testów i refaktoryzacji kodu legacy.

Prywatnie tata 3 dzieci, zapalony sim-racer (głównie F1, GT7, ACC), uwielbia sporty zimowe - szczególnie snowboard i splitboard, biega za piłką i śmiga na rowerze.

• Jakub Demianowski - Senior Software Engineer w zespole Data Engineering and Governance. Zadaniem tego zespołu jest dostarczanie rozwiązań z zakresu przetwarzania, udostępniania oraz wyszukiwania danych. Dbamy o to, aby nasi inżynierowie oraz analitycy mogli w łatwy sposób dostarczać sprawdzone dane do swoich odbiorców oraz aby dostarczane dane były łatwe do odnalezienia przez konsumentów. Fan języków opartych na JVM, Big Data oraz wspinaczki sportowej.
• Spotkanie poprowadzi Kamil Sobolewski - Lider zespołu technicznego odpowiedzialnego za pozyskiwanie płatnego ruchu z wykorzystaniem narzędzi takich jak Google Ads czy Facebook Ads. W pracy (z różnym skutkiem) walczy z przekleństwem założeń. Prywatnie fan Formuły 1 i właściciel dwóch kotów - chociaż relacja właścicielstwa nie jest tutaj taka oczywista.

Do zobaczenia! :)