Allegro Tech Live #7

Allegro Tech Live to nowa (w 100% zdalna) odsłona naszych stacjonarnych meetupów Allegro Tech Talks. Zazwyczaj spotykaliśmy się w naszych biurach, ale tym razem to my zagościmy u Was :)

A więc usiądźcie wygodnie na kanapie, zaopatrzcie się w ulubiony napój i odpalcie nasz live stream. Widzimy się na czacie!

OPIS

1. Przetwarzania Realtime na GCP z wykorzystaniem Apache Beam - Marcin Kuthan (Allegro)

Podczas jednego z poprzednich wystąpień w ramach “Allegro Tech talks” (https://youtu.be/ALDx__TGT70) opowiadałem o przetwarzaniach realtime opartych o Kafka Streams, Spark, Druid i Turnilo uruchamianych w data centers Allegro. Pod koniec prezentacji wspomniałem o nowym projekcie realizowanym w oparciu o technologie publicznej chmury i właśnie przyszedł czas żeby podzielić się z Wami nowymi doświadczeniami.

Tematem rozmowy będą ponownie przetwarzania realtime, ale tym razem oparte o technologie dostępne wyłącznie w chmurze Google-a: PubSub, Dataflow i BigQuery. Dowiecie się jak za ich pomocą zrealizowaliśmy projekt analityki do automatyzacji treści, która jest wyświetlana na stronach Allegro, a wkrótce trafi też do naszych aplikacji mobilnych.

Marcin Kuthan - inżynier BigData, lider jednego z zespołów tworzących platformę analityczną Allegro. Brał aktywny udział w produkcyjnym wdrożeniu przetwarzań realtime opartych o Spark Streaming, Kafka Streams a ostatnio Apache Beam. Poza zagadnieniami “backend” rozwija Turnilo (https://github.com/allegro/turnilo) ponieważ jest przekonany, że nawet cenne dane są niewiele warte bez ich dobrej prezentacji.

2. Big challenges in the world of data - Darek Eliasz (Allegro)

Tematem rozmowy będą wyzwania jakie przed organizacjami takimi jak Allegro stawia przetwarzanie danych. Wolumeny przetwarzanych danych rosną nieliniowo, a sposoby konsumpcji danych dawno wykroczyły poza świat raportów i dashboardów. Dzisiaj to funkcjonalności oparte o dane są głównym motorem napędowym rozwoju platform przetwarzania danych - popularyzacja ML stawia coraz wyższe wymagania co do szybkości, elastyczności i jakości ekosystemu przetwarzania danych. O tych wyzwaniach i o tym jak sobie z nimi radzimy w Allegro opowiem w swojej prezentacji.

Darek Eliasz - główne zainteresowania to architektura rozwiązań big data i data governance. Entuzjasta skalowalnych rozwiązań rozproszonych, przetwarzania dużych zbiorów danych i ciągłego szukania ulepszeń.

Zapraszamy również do dołączenia do wydarzenia na FB:

https://www.facebook.com/events/643206099794352/