![[img]](https://epub.uni-regensburg.de/style/images/fileicons/application_pdf.png) | License: Creative Commons Attribution 4.0 (7MB) |
- URN to cite this document:
- urn:nbn:de:bvb:355-epub-764232
- DOI to cite this document:
- 10.5283/epub.76423
| Item type: | Thesis of the University of Regensburg (PhD) |
|---|---|
| Open Access Type: | Primary Publication |
| Date: | 20 March 2025 |
| Referee: | Prof. Dr. Jens V. Schwarzbach and Prof. Dr. Gustavo Deco and Prof. Dr. Elmar Lang |
| Date of exam: | 4 March 2025 |
| Institutions: | Medicine > Lehrstuhl für Psychiatrie und Psychotherapie |
| Keywords: | magnetic resonance imaging, deep learning, explainable artificial intelligence |
| Dewey Decimal Classification: | 000 Computer science, information & general works > 004 Computer science 100 Philosophy & psychology > 150 Psychology 500 Science > 510 Mathematics 500 Science > 570 Life sciences |
| Status: | Published |
| Refereed: | Yes, this version has been refereed |
| Created at the University of Regensburg: | Yes |
| Item ID: | 76423 |
Abstract (English)
Humans are capable of great feats in their daily lives. Our minds receive a constant stream of information that needs to be processed and acted upon to ensure our survival. This incoming information may be processed or represented by distinct patterns of brain activity, or, in other words, by distinct brain states. In the neuroimaging domain, such brain states have been defined as patterns of ...
Abstract (English)
Humans are capable of great feats in their daily lives. Our minds receive a constant stream of information that needs to be processed and acted upon to ensure our survival. This incoming information may be processed or represented by distinct patterns of brain activity, or, in other words, by distinct brain states. In the neuroimaging domain, such brain states have been defined as patterns of (whole-) brain activity. However, to this day many cognitive tasks are still under investigation to figure out which brain areas are involved in their processing. Over the last decades, different approaches to reveal such brain states and their associated cognitive task have been proposed. The most commonly used approach has been forward inference. Here, researchers performed studies in which they could conclude that a stimulus (e.g., a visual stimulus) might have activated a specific brain area. Such analyses have commonly been done in a so-called massive univariate- or encoding analysis.
In the early 2000s a different approach, often called brain reading, decoding, or reverse inference, was introduced. In this approach researchers used, for example, machine learning (ML) algorithms to learn to label patterns of brain activity in regions of interests (ROIs) spanning an entire section of the brain or in so-called small spherical searchlights. With such ML algorithms researchers have been able to discriminate between patterns of brain activity which were associated with a given stimulus. A seminal study showed that with such approaches, differences in patterns of brain activity in the same brain areas were indicative for a given stimulus, thus suggesting that representations of stimuli are distributed but also overlapping in human cortex.
Now, with increased computational power, more complex types of ML algorithms can be used to identify brain states; specifically deep learning algorithms, e.g., so-called convolutional neural networks (CNNs). While they have been shown to outperform standard machine learning algorithms, they are considered a black box. That is, we know what the input and the predicted output is, but we do not know based on what and how a deep learning algorithm made its prediction.
However, knowing which input features were most important for a deep learning algorithm is of utmost importance for cognitive neuroscience. Only if we know whether a deep learning algorithm assigned high relevance to anatomically and functionally meaningful
1
Abstract
features (i.e., brain areas) can we make inference about which brain area or potential process were involved in a cognitive task.
A relatively new emerging field of explainable artificial intelligence (XAI) is trying to elucidate exactly that: which features of the input were important for an algorithm’s prediction? To this end, I developed a custom CNN architecture capable to discriminate between many different cognitive tasks as measured by functional magnetic resonance imaging (fMRI). I trained this CNN architecture using publicly available data from the Human Connectome Project (HCP) and compared its performance with a standard ML algorithm, a support vector machine (SVM).
This initial test was to investigate whether the CNN architecture indeed can discriminate between patterns of brain activity of different cognitive tasks. However, our main goal was to investigate whether the CNN has learned to discriminate these tasks based on anatomically and functionally meaningful features. Therefore, I used algorithms from the XAI domain, specifically the Guided Backpropagation- (GBP) and layer-wise relevance propagation (LRP) algorithms, to reveal features our CNN deemed as important for its prediction.
I found that our CNN architecture as well as the SVM can reliably discriminate between whole-brain patterns of fMRI data. It appeared that the SVM slightly outperforms the CNN architecture. However, the LRP algorithm revealed that, in some cognitive tasks, the CNN architecture used more anatomically and functionally sensible input features for its prediction compared to those used by the SVM or as identified by a univariate analysis.
Additional analyses revealed that so-called transfer learning allows the custom CNN architecture to already perform well with small sample sizes. This finding is important for neuroimagers since large datasets are commonly expensive and time consuming to acquire. Hence the transfer learning approach demonstrated that small sizes were feasible to use (at least in the HCP dataset).
Lastly, I demonstrate in the discussion section that the custom CNN architecture can decode brain states in real-time. This knowledge opens further potential experiments with therapeutic indication in patient populations with, e.g., psychiatric diseases.
Translation of the abstract (German)
Im alltäglichen Leben sind wir Menschen zu erstaunlichen Leistungen fähig. Wir sind einem ständigen Strom an Informationen ausgesetzt, die wir kognitiv verarbeiten und in Handlungen umsetzen müssen, um damit unser Überleben zu sichern. Dieser Strom an Informationen wird durch einzelne oder durch das Zusammenspiel verschiedener Gehirnregionen verarbeitet. Dieses Zusammenspiel bezeichnet man im ...
Translation of the abstract (German)
Im alltäglichen Leben sind wir Menschen zu erstaunlichen Leistungen fähig. Wir sind einem ständigen Strom an Informationen ausgesetzt, die wir kognitiv verarbeiten und in Handlungen umsetzen müssen, um damit unser Überleben zu sichern. Dieser Strom an Informationen wird durch einzelne oder durch das Zusammenspiel verschiedener Gehirnregionen verarbeitet. Dieses Zusammenspiel bezeichnet man im Bereich der neuronalen Bildgebung auch als Gehirnzustände, herkömmlicherweise auch als Muster von Gehirnaktivitäten definiert. Bis heute sind jedoch viele kognitive Prozesse Gegenstand verschiedener Experimente, um herauszufinden, welche Gehirnareale bzw. Gehirnzustände an ihrer Verarbeitung beteiligt sind. In den letzten Jahrzehnten wurden verschiedene Ansätze vorgeschlagen, um solche Gehirnzustände und ihren Zusammenhang mit kognitiven Aufgaben zu enthüllen. Der gebräuchlichste Ansatz ist dabei die sogenannte „forward inference”. Bei diesem Ansatz untersuchen Forscher, ob, z.B. ein visueller Reiz ein bestimmtes Gehirnareal aktiviert hat. Solche Analysen werden häufig in einer massiven univariaten- oder einer sogenannten Enkodierungsanalyse durchgeführt.
Anfang der 2000er Jahre wurde ein weiteres Analyseverfahren eingeführt, das oft als „brainreading“, „decoding“ oder „reverse inference“ bezeichnet wird. Bei diesem Ansatz verwenden Forscher beispielsweise maschinelle Lernalgorithmen (ML), um Muster von Gehirnaktivitäten in bestimmten Arealen (ROIs), einem gesamten Abschnitt des Gehirns, oder in sogenannten sphärischen „searchlights“ zu lernen und voneinander zu unterscheiden. Studien zeigten, dass mit solchen Ansätzen Unterschiede in Mustern der Gehirnaktivität in denselben Gehirnarealen auf einen gegebenen Reiz hinweisen. Dies deutet darauf hin, dass die Repräsentationen von Reizen im menschlichen Kortex verteilt, aber auch überlappend sind. Solche Erkenntnisse sind durch univariate Analysen nicht möglich.
Durch den dramatischen Anstieg in Computerrechenleistungen können heutzutage komplexere Arten von maschinellem Lernen zur Identifizierung von Gehirnzuständen eingesetzt werden, insbesondere Deep-Learning-Algorithmen wie die sogenannten Convolutional Neural Networks (CNNs). Es wurde gezeigt, dass diese CNNs einfacherer maschinelle Lernalgorithmen, vor allem in der Bilderkennung, übertreffen. Jedoch haben sie einen schwerwiegenden Nachteil: es ist unklar, auf welche Weise solche Deep-Learning-
3
Zusammenfassung
Algorithmen zu ihren Ergebnissen kommen. Sie werden deshalb auch oft als Black-Box- Modelle bezeichnet.
Für die kognitiven Neurowissenschaften ist jedoch von größter Bedeutung zu wissen, welche Inputs für einen Deep-Learning-Algorithmus am wichtigsten waren. Nur wenn wir wissen, ob ein Deep-Learning-Algorithmus anatomisch und funktional sinnvollen Gehirnarealen eine hohe Relevanz zugewiesen hat, können wir Rückschlüsse ziehen, ob diese Gehirnareale auch tatsächlich an einem kognitiven Prozess beteiligt waren.
Das aufstrebende Feld der „explainable artificial intelligence“ (XAI) versucht genau das zu untersuchen: Welche Merkmale des Inputs waren essenziel für die Vorhersage eines Algorithmus? Um zu untersuchen, ob CNNs für die neuronale Bildgebung nützlich sind, habe ich für diese Arbeit eine benutzerdefinierte CNN-Architektur entwickelt, die in der Lage ist, zwischen Mustern verschiedener Gehirnaktivitäten in Reaktion auf verschiedenen kognitiven Aufgaben zu unterscheiden. Um diese CNN-Architektur zu trainieren und zu evaluieren, habe ich öffentlich zugängliche funktionelle Magnetresonanz (fMRI) Daten aus dem Human Connectome Project (HCP) verwendet. Die Genauigkeit unserer CNN-Architektur, Gehirnzustände zu unterscheiden, habe ich anschließend mit der eines simpleren ML- Algorithmus, einer Support Vector Machine (SVM), verglichen.
Unser Hauptziel war zu untersuchen, ob unser CNN gelernt hat, Gehirnaktivitäten auf Basis anatomisch und funktional sinnvoller Merkmale zu unterscheiden. Hierfür habe ich Algorithmen aus dem Bereich der XAI verwendet (z.B., Guided Backpropagation- (GBP) und Layer-wise Relevance Propagation (LRP)).
Ich fand, dass unsere CNN-Architektur sowie die eine einfache SVM zuverlässig zwischen Mustern von Gehirnaktivitäten über das ganze Gehirn anhand von fMRT-Daten unterscheiden können. Die SVM schien akkurater zwischen Gehirnzuständen unterscheiden zu können als unsere CNN-Architektur. Durch den LRP-Algorithmus sahen wir jedoch, dass unsere CNN-Architektur bei einigen kognitiven Aufgaben anatomisch und funktional sinnvollere Eingangsmerkmale für die Vorhersage verwendete als die SVM.
In einer zusätzlichen Analyse untersuchten wir, ob unsere CNN-Architektur von einem „Transferlearning“ Ansatz profitiert. Hierbei wird ein neuronales Netzwerk mit (un)ähnlichen Daten trainiert und die gelernten Gewichte, werden auf ein anderes Netzwerk „transferiert“ und dann mit den relevanten Daten optimiert. Es wurde gezeigt, dass dieser Ansatz in verschiedenen Szenarien die Genauigkeit in kleineren Stichproben erhöht hat. Unsere
4
Erkenntnisse durch diese Analyse sind für Forscher in der neuronalen Bildgebung wichtig, da große Datensätze in der Regel teuer und zeitaufwendig zu erheben sind. Der „Transferlearning“-Ansatz dieser Arbeit ergab, dass optimierte CNNs mit kleineren Stichprobengrößen (zumindest im HCP-Datensatz) bessere Unterscheidungen treffen konnten als ohne Transferlearning.
Abschließend zeige ich im Diskussionsteil dieser Arbeit, dass unsere CNN-Architektur auch in der Lage ist Gehirnzustände in Echtzeit zu erkennen. Dieses Wissen eröffnet möglicherweise weitere potenzielle Experimente die therapeutischen Nutzen mit sich bringen, z.B. für Patientengruppen, die an psychiatrischen Erkrankungen wie Depressionen oder Angststörungen leiden.
Metadata last modified: 20 Mar 2025 08:43
Owner only: item control page
Download Statistics