1. SylabUZ
2. Wydział Informatyki, Elektrotechniki i Automatyki
3. semestr zimowy 2018/2019
4. WIEiA - oferta ERASMUS / Automatyka i robotyka - Program Erasmus drugiego stopnia
5. Machine vision in robotics and automation

Wygeneruj PDF dla tej strony

Machine vision in robotics and automation - opis przedmiotu

Cel przedmiotu

· Familiarize students with the successive stages of the vision system (from the acquisition process to the result of the classification algorithm)
· Develop the ability to use the vision system, configure its basic parameters and use information from the system in the robot control.

Wymagania wstępne

Zapisz zmiany

Basics of Robotics, Digital Signal Processing, Decision Supporting Systems

Zakres tematyczny

Characteristics and architecture of the video system. Camera Configurations: "Eye in the hand" and "Eye off the hand". Basic parameters of the vision system. Potential applications.  Challenges and problems. Integration of the vision system with executive devices (robots). Standard tasks (pick and place, quality control, etc).

Optics: lens construction, lens parameters: focal length, brightness, abberations, distortion, vignetting. Focusing methods. Depth of field.

Acquisition of images. Range of visible light, infrared and ultraviolet bands. Photosensitivity. Parameters of sensors (resolution, dimensions
and proportions). CMOS, CCD and others sensors. RGGB filters (Beyer mesh). ISO sensitivity. Exposition.

Backlighting systems: "backlight", "light-field", "diffuse-light" (axial diffuse-light). Operating modes: continuous and triggered.

Image transmition standards and protocols.

Digital representation of the image. Image file formats: RAW, TIF and JPEG. Lossy and lossless representation. Color models: RGB, CMYK, HSV, xyz and others. Conversions between color models.

Image processing. Histogram operations (normalization, alignment, stretching). Noncontext operations: arithmetic, non-linear (gamma correction). Contextual operations (filtration): lowpass filters (averaging, smoothing), high pass (sharpening, directional, detecting edges), median filter. Application 2D Fourier transform in image processing.  

 

Morphological operations. Erosion and dilation. Closing and opening. Hit Or Miss, Top-Hat, Bottom-Hat operations. Edge extraction. Skeletonization. Morphological operations for images in shades of gray.

Methods of object segmentation. Recall. Otsu algorithm.

Basics of extraction and selection of features of objects. Basic pattern recognition methods. Template matching method.

Calibration of the camera. Location and orientation of the camera in the robot base layout.

Control of the industrial manipulator using information from the video system. 

Metody kształcenia

Lecture: conventional lecture, discussion

Laboratory: laboratory exercises

Efekty uczenia się i metody weryfikacji osiągania efektów uczenia się

Opis efektu	Symbole efektów	Metody weryfikacji	Forma zajęć

Warunki zaliczenia

Wykład – warunkiem zaliczenia jest uzyskanie pozytywnych ocen z sprawdzianów wiedzy w formie pisemnej, przeprowadzonych co najmniej raz w semestrze

Laboratorium – warunkiem zaliczenia jest realizacja co najmniej 80% przewidzianych ćwiczeń laboratoryjnych i uzyskanie pozytywnych ocen ze sprawdzianów weryfikujących wiedzę i umiejętności zdobyte podczas ćwiczeń

Składowe oceny końcowej = wykład: 50% + laboratorium: 50%

Literatura podstawowa

1.        P. I. Corke, Robotics, Vision and Control Fundamental Algorithms in MATLAB, Springer, 2019, www.petercorke.com (available online)

2.   P. I. Corke, VISUAL CONTROL OF ROBOTS: High-Performance Visual Servoing,

3.        B. K. P. Horn, Robot Vision, MIT Press, McGraw–Hill, 1986

4. R. C. Gonzales, P. Wintz, Digital Image Processing, Addison–Wesley, London, 1977.

Literatura uzupełniająca

1. E.R. Davies,  Machine Vision, Elsevier, 2005

2.        D. H. Ballard, C. M. Brown, Computer Vision, Prentice–Hall, New York, 1982.

 

Uwagi

Zmodyfikowane przez dr hab. inż. Wojciech Paszke, prof. UZ (ostatnia modyfikacja: 01-05-2020 10:46)