1. SylabUZ
2. Wydział Nauk Inżynieryjno-Technicznych
3. semestr zimowy 2023/2024
4. Informatyka - drugiego stopnia z tyt. magistra inżyniera
5. Technologie Big Data

Wygeneruj PDF dla tej strony

Technologie Big Data - opis przedmiotu

Cel przedmiotu

Nauczenie studentów doboru odpowiednich technik analizy danych w zależności od skali rozpatrywanego problemu oraz rodzaju przeprowadzanej analizy.

Nauczenie studentów pracy z wykorzystaniem nowoczesnych platform do składowania i przetwarzania danych.

Zapoznanie studentów z wybranymi technikami analizowania dużych zbiorów danych, głównie tekstowych.

Wymagania wstępne

Zapisz zmiany

Bazy danych.

Znajomość podstaw statystyki.

 

Zakres tematyczny

Big Data: wprowadzenie do zagadnienia przetwarzania wielkich ilości danych.

Nierelacyjne bazy danych: Przypomnienie podstawowych zagadnień związanych z relacyjnymi bazami danych. Zalety i wady tych baz danych. Podstawowe problemy związane z wykorzystaniem relacyjnych baz danych do składowania i przetwarzania coraz większych ilości danych coraz bardziej rozproszonych. Skalowanie poziome oraz pionowe baz danych. Nowa koncepcja baz nie opartych o tradycyjny model relacyjny. Teoria CAP oraz BASE. Agregacyjne modele danych. Bazy danych typu klucz-wartość, kolumnowe, dokumentowe, grafowe. Replikacja oraz sharding baz danych. Współdzielenie zasobów w bazach danych. Metodologia Map-Reduce. Przedstawienie kilku wybranych systemów baz danych nierelacyjnych (np. MongoDB, Cassandra, Redis, Neo4J, Oracle NoSQL Database).

Wybrane systemy informatyczne: Analityka biznesowa na dużą skalę: nowoczesne rozwiązania wykorzystywane do przesyłania, składowania oraz przetwarzania dużych zbiorów danych. Przetwarzanie danych z wykorzystaniem platformy Elasticsearch.

Text Mining: Wprowadzenie do tematyki Text Mining. Wstępne przetwarzanie dokumentów tekstowych (ang. preprocessing). Organizacja dokumentów w postaci macierzy term-dokument (ang. term-document matrix, TDM) i podstawowe analizy z jej wykorzystaniem. Analiza wydźwięku (ang. sentimental analysis). Modele wektorowe tekstów (ang. word embeddings). Systemy rekomendacyjne ( item-based, user-based). Omówienie wybranych narzędzi informatycznych do realizacji zadań z dziedziny Text Mining.

Metody kształcenia

Wykład konwencjonalny, ćwiczenia laboratoryjne, praca w zespole

Efekty uczenia się i metody weryfikacji osiągania efektów uczenia się

Opis efektu	Symbole efektów	Metody weryfikacji	Forma zajęć

Warunki zaliczenia

Wykład - warunkiem zaliczenia jest uzyskanie pozytywnej oceny z egzaminu przeprowadzonego w formie zaproponowanej przez prowadzącego

Laboratorium - warunkiem zaliczenia jest uzyskanie ocen pozytywnych z wszystkich ćwiczeń laboratoryjnych oraz przeprowadzanych sprawdzianów

Składowe oceny końcowej = wykład: 50% + laboratorium: 50%

 

Obciążenie pracą	Studia stacjonarne (w godz.)	Studia niestacjonarne (w godz.)
Godziny kontaktowe (udział w zajęciach; konsultacjach; egzaminie, itp.)	60	36
Samodzielna praca studenta (przygotowanie do: zajęć, kolokwium, egzaminu; studiowanie literatury przygotowanie: pracy pisemnej, projektu, prezentacji, raportu, wystąpienia; itp.)	65	89
Łącznie	125	125
Punkty ECTS	Studia stacjonarne	Studia niestacjonarne
Zajęcia z udziałem nauczyciela akademickiego	3	3
Zajęcia bez udziału nauczyciela akademickiego	2	2
Łącznie	5	5

Literatura podstawowa

1. Guy Harrison: NoSQL, NewSQL i BigData. Bazy danych następnej generacji, Helion, 2019
2. Sadalage P. J., Fowler M.: NoSQL. Kompendium wiedzy, 2014
3. Larose D.T.: Metody i modele eksploracji danych, PWN, Warszawa, 2008
4. Markov Z., Larose D.T.: Eksploracja zasobów internetowych, PWN, Warszawa, 2009
5. Oryginalna dokumentacja systemu Elasticsearch
6. Dokumentacja systemu R
7. Oryginalna dokumentacja baz MongoDB, Redis, Cassandra, Neo4J

Literatura uzupełniająca

Uwagi

Zmodyfikowane przez dr hab. inż. Artur Gramacki, prof. UZ (ostatnia modyfikacja: 17-03-2023 10:17)