SysOps/DevOps Warszawa MeetUp #67

UWAGA! ZMIANA AGENDY!

Prelekcja #1: “APIM ❤️ Azure OpenAI” - Marek Grabarz

Podczas tej sesji odkryjecie korzyści płynące z wykorzystania Azure API Management w projektach z Azure Open AI. Marek przedstawi metody obsługi przy pomocy APIM kluczowych zagadnień, takich jak: Load Balancing, Access Controlling, Token Rate Limiting, Semantic Caching Response Streaming, Vector Searching, Built-in Logging, Function Calling, Content Filtering i wiele innych. Te funkcje mogą znacząco zwiększyć efektywność i bezpieczeństwo Waszych projektów, zapewniając jednocześnie lepszą skalowalność i zarządzanie zasobami.

Marek Grabarz - pasjonat technologii i rozwiązań chmurowych, Technology Advisor w Protopia, Microsoft Azure MVP oraz Microsoft Certified Trainer.

___________________________________________________________________

Prelekcja #2: “Zarządzanie zasobami GPU na środowiskach Kubernetes” - Piotr Wlazło

Praca z modelami genAI jest łatwa, gdy są hostowane na chmurze korzystając z serwisów typu Azure AI studio, Vertex AI od GCP. Natomiast prawdziwa zabawa zaczyna się dopiero, gdy trzeba takie modele wdrożyć i pracować nad nimi w środowiskach on-premise na serwerach klienta. Powstają wtedy pytania o kartę graficzną: dlaczego jej potrzebujemy, jaką wybrać oraz jak zarządzać jej mocą? Jak sprawić, aby kontenery, np. na Kubernetes, mogły skorzystać z mocy obliczeniowej karty graficznej, w jaki sposób wirtualizować kartę graficzną i czy warto to robić oraz jak optymalizować zużycie karty graficznej przez model? Podczas prezentacji dowiecie się więcej o oprogramowaniu NVIDII wspierającym pracę na z kartami graficznymi na różnych platformach.

Piotr Wlazło - architekt rozwiązań obecnie pracujący z rozwiązaniami AI firm IBM i NVIDIA. Ex-IBMer. Jego praca polega głównie na konsultacjach technicznych z klientami i integratorami zainteresowanymi dołączeniem do swoich projektów rozwiązań wyżej wymienionych dostawców. Pracował z szerokim przekrojem technologii - poczynając od zarządzania danymi i AI, po monitorowanie środowisk aplikacyjnych, kończąc na platformach kontenerowych i automatyzacji procesów biznesowych.

Regulamin SO/DO MeetUpów stacjonarnych: https://bit.ly/RegulaminSODO