Deep learning: van theorie tot praktijk
In de snel evoluerende wereld van artificiële intelligentie staat deep learning centraal als een krachtige technologie die een revolutie teweegbrengt in diverse domeinen, variërend van computer vision en natuurlijke taalverwerking tot robotica, bio-informatica en gezondheidszorg. Deze reeks van lessen
biedt een diepgaand inzicht in de fundamentele concepten, architectuur en toepassingen van deep learning.
Praktische info:
Inschrijven?
- Inschrijvingen: tot 14 okt 2024
- Voorwaarden: programmeerervaring met Python of een aanverwante programmeertaal
- Prijs: € 1600
Deelnameprijs omvat lesgeld, hand-outs, frisdranken, koffie en broodjes.
De lessen worden on campus gegeven van 16u30 tot 20u, in 2 delen, gescheiden door een broodjesmaaltijd.
Georganiseerd door:
Gedurende deze reeks zullen we onze reis beginnen met het verkennen van de basisprincipes van neurale netwerken, de bouwstenen van deep learning. We zullen begrijpen hoe deze netwerken werken en hoe ze in staat zijn om complexe patronen te leren en te generaliseren vanuit gegevens. Na het opdoen van een stevige basis zullen we ons richten op enkele van de meest invloedrijke en baanbrekende toepassingen van deep learning. We zullen de opkomst van convolutionele neurale netwerken (CNN's) bespreken voor beeldherkenning, recurrente neurale netwerken (RNN's) en transformers voor sequentieel leren, en generatieve modellen voor creatieve toepassingen beeldgeneratie en stijltransfer. Tijdens de laatste lesavonden focussen we op enkele specifieke toepassingsdomeinen waar deep learning een meerwaarde heeft.
Naast de theoretische achtergrond, wordt daarom in deze opleiding ook aandacht besteed aan het verwerven van praktisch inzicht via hands-on ervaring. Er wordt een overzicht gegeven van de verschillende deep learning principes en technieken, de valkuilen en de best-practices. Via oefeningen leren we ook de essentiële praktische know-how aan, die u zal kunnen gebruiken om zelf met deep learning aan de slag te gaan voor uw projecten.
In parallel met de verschillende lessen, kan je ook vrijblijvend deelnemen aan een diepgaander project je (alleen of in groep) alle tot dan toe geziene technieken kan combineren en gebruiken om een praktisch probleem op te lossen. Je werkt zelfstandig aan dit project, maar we voorzien ook een sessie om de deelnemers feedback te geven over dit project.
Doelpubliek
De lessen zijn bedoeld voor iedereen die een goede professionele vertrouwdheid met informatica heeft en die graag praktisch, via hands-on sessies, aan de slag wil met machine learning. Deelnemers hebben een hogere opleiding in de informatica gevolgd of hebben een gelijkwaardige ervaring opgebouwd. Voor deelnemers die nog niet vertrouwd zijn met machine learning, raden we aan om eerst de opleiding “Machine learning: van theorie tot praktijk” te volgen, vooraleer zich in te schrijven voor “Deep learning: van theorie tot praktijk”.
Deelnemers dienen programmeerervaring met Python of een aanverwante programmeertaal te hebben. Tijdens de lessenreeks zullen we vooral gebruik maken van de Pytorch-bibliotheek.
Er wordt gewerkt met eigen laptop. Deze moet krachtig genoeg zijn (minimum 8GB RAM) en deelnemers moeten administratierechten hebben voor het installeren van de nodige programma’s.
Pre-assessment quiz
Via een vrijblijvende en anomieme test kunt u inschatten of u voldoende voorkennis heeft: pre-assessment quiz. Een score van 8/14 of meer beschouwen we als voldoende om te kunnen deelnemen aan de practica.
Programma
1. Inleiding tot neurale netwerken
In deze eerste les herhalen we enkele basisprincipes van machine learning, zoals overfitting, de bias-variance trade-off en feature engineering. Verder bespreken we volledig-geconnecteerde neurale netwerken (Eng. Fully-connected neural networks). We staan stil bij de optimalisatie-algoritmen om neurale netwerken te trainen, en we leggen uit hoe hyperparameters kunnen ingesteld worden.
Datum: 15 oktober 2024
Lesgever: Willem Waegeman
2. Convolutionele neurale netwerken
In deze les duiken we dieper in de wereld van convolutionele neurale netwerken (CNN's), een krachtige techniek binnen machine learning voor beeldherkenning en -analyse. Tijdens deze les zullen we de fundamentele concepten van CNN's verkennen, waaronder convolutielagen, pooling-lagen en volledig verbonden lagen. We zullen de architectuur van CNN's onderzoeken en begrijpen hoe ze in staat zijn om complexe visuele patronen te leren en te herkennen. Daarnaast zullen we enkele populaire CNN-modellen bespreken, zoals LeNet, AlexNet en VGGNet, en hun toepassingen in verschillende domeinen.
Datum: 22 oktober 2024
Lesgever: Willem Waegeman
3. Recurrente neurale netwerken en long-short-term memory netwerken
Deze les bespreekt hoe RNN's werken en hoe ze worden toegepast in sequentieel georiënteerde taken, zoals natuurlijke taalverwerking, tijdreeksvoorspelling en spraakherkenning. We zullen de architectuur van RNN's verkennen, inclusief de terugkerende aard van hun verbindingen en de uitdagingen van het leren van lange-termijnafhankelijkheden. Vervolgens zullen we de LSTM-architectuur introduceren als een oplossing voor het omgaan met het probleem van het 'vergeten' van relevante informatie over lange periodes.
Datum: 5 november 2024
Lesgever: Willem Waegeman
4. Generatieve modellen
We duiken de fascinerende wereld van generatieve modellen in, met een specifieke focus op variational autoencoders (VAE's). Generatieve modellen zijn een krachtige klasse van neurale netwerken die in staat zijn om nieuwe gegevenspunten te genereren die lijken op een bepaalde dataset. Tijdens deze les zullen we de theoretische grondslagen van generatieve modellen verkennen en begrijpen hoe ze kunnen worden gebruikt voor taken zoals beeldgeneratie, anomaliedetectie en het aanvullen van ontbrekende gegevens. We zullen eerst auto-encoders introduceren, vooraleer de architectuur van variational autoencoders (VAE's) te bespreken. We zullen de intuïtie achter VAE's begrijpen en hoe ze probabilistische concepten gebruiken om de complexiteit van de gegevens te modelleren. Tot slot zullen we praktische voorbeelden behandelen en werken aan hands-on oefeningen om VAE's te implementeren en te trainen voor specifieke generatieve taken.
Datum: 12 november 2024
Lesgever: Willem Waegeman
5. Transformer architecturen
Deze les behandelt transformer architecturen, origineel ontwikkeld binnen het domein van natuurlijke taalverwerking, maar tegenwoordig ook essentieel in bijvoorbeeld computer visie, spraakverwerking en bio-informatica.We beginnen met de basis bouwblokken van deze modellen (zoals het ‘self-attention’ mechanisme) en gaan dan over naar een aantal standaard architecturen, geïllustreerd met invloedrijke modellen zoals BERT en GPT. De voordelen en beperkingen van dergelijke modellen zullen worden besproken, ook ten opzichte van voorlopers zoals de RNN’s, en we ronden af met een aantal praktische voorbeelden en oefeningen.
Datum: 19 november 2024
Lesgever: Thomas Demeester
6. Focusavond inzake toepassingen binnen natuurlijke taalverwerking
Tijdens deze sessie verkennen we hoe transformer architecturen de
wereld van natuurlijke taalverwerking (NLP) hebben omgevormd. We
bespreken hoe het overheersend paradigma van ‘pretrain and finetune’ in
NLP door de komst van modellen zoals ChatGPT sinds een tweetal jaar is
vervangen door het paradigma ‘pretrain, prompt, and predict'. We
kijken specifiek naar enkele toepassingen (zoals tekst classificatie en
machine vertaling), uitbreidingen van de basisarchitecturen (bv. via
contrastieve training), technieken voor ‘finetuning’ van de
basismodellen, en het ontwerpen van prompts voor grote autoregressieve
taalmodellen. Opnieuw doen we hands-on ervaring op via een aantal
oefeningen tijdens het tweede deel van de avond.
Datum: 26 november 2024
Lesgever: Thomas Demeester
7. Focusavond inzake toepassingen binnen computer visie
Computervisie is een wetenschappelijke discipline die als doel heeft
om computersystemen in staat te stellen betekenisvolle en semantisch
rijke informatie te extraheren uit beeldmateriaal. Mede door de
beschikbaarheid van zeer grote en vlot toegankelijke datasets (zoals
bvb. ImageNet, MS Coco etc.) is dit een discipline die vandaag
grotendeels gedomineerd wordt door deep learning technieken. In deze
sessie gebruiken we basisproblemen zoals beeldclassificatie,
object-detectie, object-heridentificatie en semantische segmentatie om
te illustreren hoe neurale netwerken voor computervisie worden
opgebouwd en op een gebruiksvriendelijke manier toegankelijk zijn in
bvb. Detectron2 of de verschillende YOLO-versies. Daarnaast bekijken we
hoe, in navolging van evoluties in de NLP, transformer-architecturen
de basis zijn gaan vormen voor moderne foundation models in de
computervisie, met Segment Anything als een bekende toepassing. We
eindigen met een bespreking van generatieve AI binnen computervisie en
toepassingen zoals text-to-image. In een praktisch deel gaan de
cursisten zelf aan de slag met enkele basisnetwerken die beschikbaar
zijn in Detectron2.
Datum: 3 december 2024
Lesgever: Jan Verwaeren
8. Focusavond inzake toepassingen binnen aanbevelingssystemen
Deze sessie bespreekt een specialisatie binnen het domein van machine
learning/deep learning namelijk aanbevelingssystemen. Het zijn de
technieken die mensen assisteren bij het maken van beslissingen zoals
welke film bekijken (bv. Netflix), wat te beluisteren (bv. Spotify) of
wat aan te kopen (bv. Amazon). We bespreken de werking van
aanbevelingssystemen vertrekkende van de klassieke algoritmen zoals
content-based systemen, collaborative filtering, en matrix decompositie
methoden (meer specifiek, singular value decomposition). Het gebruik
van specifieke neurale netwerken voor aanbevelingstoepassingen komt ook
aan bod. Bij elke techniek worden de voor- en nadelen toegelicht. Via
een demo op basis van een open-source recommender toolkit wordt
aangetoond hoe aanbevelingssystemen gebruikt kunnen worden op een
realistische use-case.
Datum: 10 december 2024
Lesgever: Toon De Pessemier
Lesgevers / sprekers
Willem Waegeman
Willem Waegeman is an associate professor at Ghent University, and a member of the research unit Knowledge-based Systems (KERMIT) of the Department of Data Analysis and Mathematical Modelling. His main interests are machine learning and bioinformatics. Specific interests include multi-target prediction problems, uncertainty quantification, sequence models and deep learning.
Willem Waegeman is an author of more than 100 papers of peer-reviewed journals and conferences, and his work has won several prizes. In recent years he has served on the program committees of leading conferences in his field (ICML, NIPS, ECML/PKDD, AAAI, AISTATS, IJCAI, etc.).
Since 2008 he is lecturing a machine learning course in Ghent. Since 2014 he is also lecturing several introductory math courses in the first bachelor (> 500 students per year). Willem Waegeman is currently supervising eight PhD-students.
Thomas Demeester
Currently I am an assistant professor at the Internet Technology and Data Science Lab (IDLab), Ghent University - imec, Belgium. I'm co-leading the Text-to-Knowledge research cluster with prof. Chris Develder, where we work on natural language processing (NLP) in general, for applications in several domains (the media, biomedical applications, and economics and law). Our areas of focus in NLP are information extraction, conversational agents, and representation learning in general.
Given our expertise in neural sequence modeling, we recently started looking into the use of protein language models for drug design. Give it another year before we have something decent to show here ;). My other interests include energy-based models, combining knowledge and neural networks, and synthetic data generation.
Jan Verwaeren
Jan Verwaeren is Assistant professor at the Department of Data Analysis and Mathematical Modelling of the Faculty of Bioscience Engineering of Ghent University. He is a member of the Knowledge-based Systems research unit KERMIT. His research activities are centered on image analysis and the fusion of heterogeneous data and applied research on, among others, video-based monitoring of plants and animals and on data-driven modelling for pharmaceutical engineering.
Keywords: Image Analysis, Monitoring Biological Systems, Mathematical Modelling,, Mathematical Optimization
Toon De Pessemier
Toon De Pessemier studied at Ghent University where he received the MSc degree in computer science engineering in 2006. That same year, he joined the WiCa research group of Ghent University (now known as WAVES). From 2007 to 2011, he was a Ph.D. student of the Research Foundation—Flanders (FWO).
In 2013, he obtained a PhD on his research topic “improved online services by personalized recommendations and optimal quality of experience parameters”. In 2015, he obtained a BOF scholarship at Ghent University. The title of his research work is “Design and validation of innovative techniques to assist people in the decision making process by analyzing data of user behavior and contextual features”. His current research interests include recommender systems and personalization in general with specific focuses on context-aware, real-time, and group recommendations as well as the combination of human intelligence and recommendation algorithms. Last years, he applied the knowledge of machine learning to the domain of industry 4.0, more specifically for scheduling and machine failure prediction.
Keywords: Personalization, recommender systems, machine learning, Industry 4.0, scheduling
Gerelateerde opleidingen
ESANN 2026: European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning.
Symposium - Brugge - ESANN