SQL w aplikacjach Big Data
- 17:00 – Wprowadzenie: Specyfikacja danych w systemach Big Data
- 17:30 – Apache Hive & Impala
- 18:30 – Pizza & Networking
- 19:00 – Analiza dużych zbiorów danych
- 19:30 – Przykładowe zastosowania w systemach produkcyjnych
- 20:00 – Zakończenie warsztatów
Liczba miejsc ograniczona.
Skontaktujemy się mailowo celem potwierdzenia uczestnictwa.
Na początku był HDFS, a ludzie programowali joby Map Reduce w Javie…
Na szczęście te czasy są już za nami i aplikacje Big Data działające na klastrach obliczeniowych oferują całą gamę interfejsów, dostosowanych do potrzeb różnych użytkowników. Szczególnie prostym, powszechnie znanym i elastycznym jest SQL, pozwalający implementować niemalże wszystkie aspekty Big Data, od pozyskiwania danych, przez złożone funkcje analityczne i transformacje, po prezentowanie danych klientom. Wydajne silniki danych, takie jak Hive 2, Impala czy BigQuery zapewniają wydajne wykonanie zapytań nawet na bardzo rozproszonych danych. Te warsztaty przedstawią różne zastosowania języka SQL w systemach Big Data i nauczą radzić sobie z nimi w praktyce.
Wymagania:
- podstawowa znajomość standardowego języka SQL
- znajomość języka Java
Wymagania techniczne:
- laptop z min. 8GB RAMu
- 2-4 rdzenie
- min. 10GB wolnej przestrzeni dyskowej
- zainstalowany docker z min. 6GB zaalokowanej pamięci RAM (włączone --- wsparcie dla wirtualizacji w BIOS’ie)
- ściągnięty obraz cloudery na docker’a („docker pull cloudera/quickstart:latest”)