Projekt
Rozwój platformy przetwarzającej duże ilości danych (strumieniowo i Batchowo). Platforma składała się z rozwiązań BigData (Spark, Jupyter Notebook, Python Pandas), wielu różnych baz danych (FoundationDB, Presto, Postgress, Elastic Search), strumieniowania danych (Flink, Protobuf), narzędzi automatyzacyjnych (Tekton, AirFlow, GitLab) oraz narzędzi Machine Learning, które aktualnie budujemy. Całość działa na Kubernetes i postawiona jest w 100% na AWS. Repozytorium kodu jest zrobione jako monorepo z użyciem narzędzia Bazel.
Bardzo duża swoboda działania zespołu i doboru narzędzi (sami projektujemy architekturę, tworzymy i wdrażamy).
Wymagania
- Bardzo dobra znajomość Kubernetes (min. 2 lata doświadczenia)
- AWS
- Doświadczenie w CI/CD
- Mile widziana znajomość Pythona
- Mile widziana znajomość narzędzi do Infrastructure as a Code (i.e. Terraform)
