SylabUZ
Nazwa przedmiotu | Technologie big data |
Kod przedmiotu | 11.3-WE-BEP-TBD |
Wydział | Wydział Informatyki, Elektrotechniki i Automatyki |
Kierunek | Biznes elektroniczny |
Profil | praktyczny |
Rodzaj studiów | pierwszego stopnia z tyt. inżyniera |
Semestr rozpoczęcia | semestr zimowy 2018/2019 |
Semestr | 3 |
Liczba punktów ECTS do zdobycia | 6 |
Typ przedmiotu | obowiązkowy |
Język nauczania | polski |
Sylabus opracował |
|
Forma zajęć | Liczba godzin w semestrze (stacjonarne) | Liczba godzin w tygodniu (stacjonarne) | Liczba godzin w semestrze (niestacjonarne) | Liczba godzin w tygodniu (niestacjonarne) | Forma zaliczenia |
Wykład | 30 | 2 | 18 | 1,2 | Zaliczenie na ocenę |
Projekt | 30 | 2 | 18 | 1,2 | Zaliczenie na ocenę |
Głównym celem przedmiotu jest zaznajomienie studentów z istniejącymi rozwiązaniami do składowania oraz przetwarzaniu dużych zbiorów danych (big data) oraz wykształceniu w nich umiejętności racjonalnego doboru istniejących technologii pod względem dopasowania do rozpatrywanego problemu. Studenci zapoznają się z następującymi technologiami: SQL, Apache Hadoop, Apache Spark, ElasticSearch oraz SAS. Rozpatrywane przykłady użycia technologii będą dotyczyły takich problemów jak: transfer, składowanie oraz przetwarzanie big data, koszt wdrożenia oraz utrzymania infrastruktury, skalowalność oraz niezawodność rozwiązań.
Projektowanie i programowanie obiektowe.
Geneza oraz charakterystyka big data. Zastosowanie big data w inteligencji biznesowej oraz analityce. Techniki składowania dużych wolumenów danych. Systemy relacyjne typu SQL (MySQL). Dedykowane technologie oraz platformy do przetwarzania oraz analizy big data (Apache Hadoop, Apache Spark, ElasticSearch oraz SAS). Przetwarzanie równoległe z wykorzystaniem paradygmatu MapReduce. Rozproszone bazy kolumnowe typu NoSQL (Hbase).
Przykłady wykorzystania technologii big data. Analiza strumieni danych, składowanie oraz przetwarzanie dużych wolumenów danych w trybie wsadowym, analityka w czasie rzeczywistym (w pamięci).
Analiza funkcjonalności platform big data. Dzielenie, repliki, balansowanie obciążeniem, odporność na uszkodzenia podczas składowania/udostępniania danych. Techniki dostępu do danych. Wizualizacja oraz eksploracja danych w czasie rzeczywistym z wykorzystaniem platformy ElasticSearch, Apache Spark oraz SAS Visual Analytics.
Omówienie problemów związanych z kosztem wdrożenia oraz utrzymania infrastruktury, skalowalności oraz niezawodności omawianych rozwiązań.
Zrozumienie zasad pracy rozproszonych baz danych typu NoSQL (Hadoop oraz ElasticSearch). Stworzenie aplikacji (w Javie) strumieniującej dane do powyższych systemów. Stworzenie prostego algorytmu MapReduce do równoległego przetwarzania danych.
Wykład - wykład konwencjonalny z wykorzystaniem wideoprojektora.
Laboratorium - zajęcia praktyczne w laboratorium komputerowym.
Opis efektu | Symbole efektów | Metody weryfikacji | Forma zajęć |
Wykład - sprawdzian w formie pisemnej i/lub ustnej, realizowany na koniec semestru.
Laboratorium – ocena końcowa stanowi sumę ważoną ocen uzyskanych za realizację poszczególnych ćwiczeń laboratoryjnych oraz sprawdzianów kontrolnych weryfikujących przygotowanie merytoryczne do ćwiczeń.
Ocena końcowa = 50 % oceny zaliczenia z formy zajęć wykład + 50 % oceny zaliczenia z formy zajęć laboratorium.
White, T., Hadoop: The Definitive Guide, 3rd Edition, O'Reilly Media/Yahoo Press, 2012.
George, L., HBase: The Definitive Guide, O'Reilly Media, 2011.
Stanton, J.M.: Introduction to Data Science, e-book, 2013.
Zmodyfikowane przez prof. dr hab. inż. Dariusz Uciński (ostatnia modyfikacja: 28-04-2018 10:54)