Kafka Streams w przykładach (online)
Cześć,
Tu Łukasz i Jacek, którzy zapraszają Cię na prezentację Łukasza o Kafka Streams w przykładach.
Łukasz chciałby zaprezentować autorski projekt narzędzia do przetwarzania danych bazujący na Kafka Streams.
Narzędzie:
- filtruje dane na podstawie określonych kryteriów
- wyznacza średni kurs walut na podstawie notyfikacji o zmianach kursów walut
- wyznacza średni kurs w jednominutowym oknie czasowym, ale przepuszcza tylko jedną średnią na minutę (suppress)
W trakcie prezentacji przedstawię topologię powyższych programów: operacje bezstanowe (filter, map, flatMap) i stanowe (count, reduce, aggregate, join).
Warto zwrócić uwagę na to, jak Kafka Streams przechowuje stan (RocksDB) i jak zapewnia jego trwałość (changelog topic). Szczególnie ciekawa jest sama biblioteka kafka-streams-test-utils, która umożliwia przetestowanie aplikacji Kafka Streams bez potrzeby stawiania pełnej infrastruktury Kafki.
Narzędzie powstało w oparciu o projekt kafka-streams-examples.
Wymagania:
- podstawowa znajomość Kafki i Javy
Zapraszamy!
Czegoś brakuje? Coś niejasne? Masz pytania, sugestie lub chcesz pomóc, skontaktuj się ze mną na [email protected]. Każda pomoc mile widziana!
Proszę o nagłośnienie meetupu wśród Twoich znajomych. Dziękuję i zapraszam!
Więcej informacji: https://www.meetup.com/warsaw-data-engineering/events/290129227/