AI & Tech Talks #8: Large Language Models

18:00 – 18:10 Start

18:10 – 19:10

Co i jak z LLM, od typów i przypadków użycia, przez (do)trenowanie po deployment.

Prowadzący: Krzysztof Sopyła

W trakcie prezentacji zostanie przedstawiony obecny obraz przykładów wykorzystania, narzędzi, bibliotek oraz sposobów deploymentu LLM’ów. Będzie mowa o typach LLM wraz ze wskazaniem w jakich przypadkach użycia się nadają, kiedy warto skorzystać z OpenAI, a kiedy lepiej z modelu Open-source. Będzie krótko o datasetach, narzędziach i bibliotekach do treningu. Na koniec zaprezentowane zostaną narzędzia, które pozwolą uruchomić LLM na lokalnym komputerze oraz jako inference server. Przedstawimy także wyniki naszego porównania po względem szybkości dwóch inference servers (TGI, vLLM).

19:10 – 19:20 Przerwa

19:20 – 19:50

Jeden tensor wyraża więcej niż tysiąc słów.

Prowadząca: Izabela Krysińska

Podczas prezentacji zostaną omówione różne metody wykorzystania modeli foundational do rozwiązywania zadań downstreamowych. Przedstawione zostaną alternatywy do fine-tuningu, które sprawdzą się, jeśli nie macie wystarczającego zbioru treningowego albo Wasze zasoby nie pozwalają na hostowanie kilku modeli do różnych zadań downstreamowych. Omówione zostaną metody takie jak P-tuning, soft prompting i prefix tuning.

19:50 – 20:10 Quiz

20:10 – 21:00 Networking i pizza