1. SylabUZ
2. Faculty of Computer Science, Electrical Engineering and Automatics
3. winter term 2016/2017
4. E-business - First-cycle studies leading to Engineer's degree
5. System integration

Generate PDF for this page

System integration - course description

Aim of the course

Prezentacja oprogramowania wykorzystywanego do integracji danych. Przedstawienie typowych źródeł danych. Prezentacja metod czyszczenia i transformacji danych. Zapoznanie słuchaczy z architekturą systemów typu ETL (ang. Extract, Transform, Load). Wykształcenie praktycznych umiejętności obsługi wybranych systemów wspierających procesy ETL. Przedstawienie architektury sfederowanych baz danych. Przegląd systemów wspierających budowę sfederowanych baz danych. Prezentacja przykładów wykorzystania sfederowanych baz danych w e-biznesie.  

 

Prerequisites

Save changes

Bazy danych, Hurtownie danych i raportowanie.

Scope

Przegląd i charakterystyka oprogramowania wykorzystywanego do integracji danych. Metody dostępu do baz danych z poziomu oprogramowania do integracji danych. Charakterystyka typowych źródeł danych podlegających integracji. Metody synchronizacji danych. Problem integracji dużych wolumenów danych.

Zagadnienie jakości danych. Metody oceny jakości danych. Przegląd podstawowych przyczyn powstawania błędów w danych. Zagadnienie profilowania danych. Przegląd strategii zarządzania jakością danych w firmie. Definiowanie danych podstawowych. Zasady zarządzania danymi podstawowymi. Ćwiczenia praktyczne mające na celu ocenę jakości danych i przygotowanie strategii zarządzania jakością dla wybranego przedsięwzięcia z zakresu e-biznesu.

Przegląd metod czyszczenia danych. Przegląd typowych metod transformacji danych. Przegląd typowych problemów integracji danych.  Architektura systemów ETL. Narzędzia informatyczne wspierające budowę procesów ETL. Ćwiczenia praktyczne z wykorzystaniem poznanych metod czyszczenia i transformacji danych z użyciem narzędzi ETL

Definicja pojęcia integracji semantycznej. Przykłady konfliktów semantycznych w heterogenicznych źródłach danych. Wykorzystanie ontologii w integracji danych.  Przegląd języków zapisu ontologii. Przegląd systemów wspierających integrację danych opartych na ontologiach. Architektura systemów integracji danych w oparciu o ontologie. Przykłady zastosowań integracji semantycznej w biznesie.

Definicja problemu migracji danych w firmie. Migracja danych w ujęciu technologicznym i biznesowym. Budowa zespołu do realizacji zadania migracji danych. Rodzaje strategii migracji danych.  Pielęgnacja danych po procesie migracji danych. Ćwiczenie praktyczne z zakresu przygotowania procesu migracji danych dla wybranego przedsięwzięcia z zakresu e-biznesu.

Definicja systemów sfederowanych baz danych. Podstawowa architektura sfederowanej bazy danych. Problem fragmentacji, replikacji i zarządzania transakcjami. Systemy zarządzania sfederowanymi bazami danych. Generowanie zapytań do sfederowanych systemów baz danych. Przegląd możliwości wykorzystania sfederowanych baz danych w e-biznesie. Ćwiczenia praktyczne mające na celu utworzenie projektu systemu sfederowanych baz danych a następnie jego implementację.

Teaching methods

Wykład - wykład konwencjonalny z wykorzystaniem wideoprojektora.
Laboratorium - ćwiczenia praktyczne w laboratorium komputerowym

Learning outcomes and methods of theirs verification

Outcome description	Outcome symbols	Methods of verification	The class form

Assignment conditions

Wykład - pozytywna ocena z testu realizowanego w sesji egzaminacyjnej.
Laboratorium - otrzymanie pozytywnych ocen z realizowanych w trakcie semestru ćwiczeń laboratoryjnych i prezentacji
Ocena końcowa = 50% oceny zaliczenia z formy zajęć wykład + 50% oceny zaliczenia z formy zajęć laboratorium

Recommended reading

1. Górski, T., Platformy integracyjne. Zagadnienia wybrane, Warszawa, PWN, 2012.
2. Kimball, R., Caserta J., The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data, Wiley, 2004.
3. AnHai, D., Halevy A., Ives Z., Principles of Data Integration, Morgan Kaufman, 2012.
4. Maydanchik, A., Data Quality Assessment, Technics Publications, 2007.
5. Morris, J., Practical Data Migration, The British Computer Society, 2012.
6. Ozsu, T., Valduriez P., Principles of Distributed Database Systems, Springer, 2011.
7. Ehrig, M., Ontology Alignment: Bridging the Semantic Gap, Springer, 2006.

Further reading

1. Cody, R.: Cody's Data Cleaning Techniques Using SAS, SAS Press, 2008.
2. Egger, N., Fiechter, J-M. R., Salzmann R., Sawicki R, Thielen T., SAP BW Data Retrieval: Mastering the ETL Process, SAP Press, 2006.
3. Bobak, A.: Connecting the Data: Data Integration Techniques for Building an Operational Data Store (ODS), Technics Publications LLC, 2012.
4. Aspin, A., SQL Server 2012 Data Integration Recipes: Solutions for Integration Services and Other ETL Tools, APress, 2012.
5. McGilvray, D., Executing Data Quality Projects: Ten Steps to Quality Data and Trusted Information, Morgan Kaufmann, 2008.

Notes

Modified by dr hab. inż. Marcin Mrugalski, prof. UZ (last modification: 30-09-2016 13:03)