- Docente: Gianluigi Zavattaro
- Crediti formativi: 6
- SSD: INF/01
- Lingua di insegnamento: Inglese
- Moduli: Gianluigi Zavattaro (Modulo 1) Luca Benini (Modulo 2)
- Modalità didattica: Convenzionale - Lezioni in presenza (Modulo 1) Convenzionale - Lezioni in presenza (Modulo 2)
- Campus: Bologna
- Corso: Laurea Magistrale in Artificial Intelligence (cod. 9063)
Conoscenze e abilità da conseguire
Al termine dell'attività formativa, lo studente ha una comprensione approfondita dei requisiti computazionali di workload dei metodi di machine learning. Lo studente conosce le principali architetture per accelerare tali workload, le principali architetture eterogenee per embedded machine learning, e le principali piattaforme in ambiente cloud per fornire supporto specifico ad applicazioni di machine/deep learning.
Contenuti
Module 1:
Introduction to parallel programming.
Parallel programming patterns: embarassingly parallel, decomposition, master/worker, scan, reduce, ...
Shared-Memory programming with OpenMP.
OpenMP programming model: the “omp parallel” costruct, scoping costructs, other work-sharing costructs.
Some examples of applications.
Module 2:
- From ML to DNNs - a computational perspective
- Introduction to key computational kernels (dot-product, matrix multiply...)
- Inference vs training - workload analysis characterization
- The NN computational zoo: DNNs, CNNs, RNNs, GNNs, Attention-based Networks
- Running ML workloads on programmable processors
- recap of processor instruction set architecture (ISA) with focus on data processing
- improving processor ISAs for ML: RISC-V and ARM use cases
- fundamentals of parallel processor architecture and parallelization of ML workloads
- Algorithmic optimizations for ML
- Key bottlenecks taxonomy of optimization techniques
- Algorithmic techniques: Strassen, Winograd, FFT
- Topology optimization: efficient NN models - depthwise convolutions, inverse bottleneck, introduction to Neural Architectural Search
Testi/Bibliografia
Refer to Virtuale
Metodi didattici
Frontal Lectures for theory. In addition, both Module 1 and Module 2 will include hands-on sessions requiring a student laptop.
Modalità di verifica e valutazione dell'apprendimento
Module 1: Project work
Module 2: Written exam with oral discussionStrumenti a supporto della didattica
Refer to Virtuale. For module 2, refer to Module 1 of the course: https://www.unibo.it/en/teaching/course-unit-catalogue/course-unit/2022/455264
Orario di ricevimento
Consulta il sito web di Gianluigi Zavattaro
Consulta il sito web di Luca Benini
SDGs

L'insegnamento contribuisce al perseguimento degli Obiettivi di Sviluppo Sostenibile dell'Agenda 2030 dell'ONU.