![[img]](https://epub.uni-regensburg.de/style/images/fileicons/application_pdf.png) | License: Publishing license for publications excluding print on demand (15MB) |
- URN to cite this document:
- urn:nbn:de:bvb:355-epub-554127
- DOI to cite this document:
- 10.5283/epub.55412
| Item type: | Thesis of the University of Regensburg (PhD) |
|---|---|
| Open Access Type: | Primary Publication |
| Date: | 29 January 2024 |
| Referee: | Prof. Dr. Angelika Lingnau |
| Date of exam: | 22 January 2024 |
| Institutions: | Human Sciences > Institut für Psychologie > Lehrstuhl für Cognitive Neuroscience – Prof. Dr. Angelika Lingnau |
| Keywords: | action categorization; action observation; action recognition; fMRI; EEG |
| Dewey Decimal Classification: | 100 Philosophy & psychology > 150 Psychology 500 Science > 500 Natural sciences & mathematics |
| Status: | Published |
| Refereed: | Yes, this version has been refereed |
| Created at the University of Regensburg: | Yes |
| Item ID: | 55412 |
Abstract (English)
Objects can be classified at different hierarchical levels, ranging from the subordinate level (e.g., ‘golden delicious’), to the basic level (e.g., ‘apple’) and the superordinate level (e.g., ‘fruit’). Previous studies have shown that the basic level is crucial for object categorization, such as the number of features used for description and processing speed. Similar to objects, actions can be ...
Abstract (English)
Objects can be classified at different hierarchical levels, ranging from the subordinate level (e.g., ‘golden delicious’), to the basic level (e.g., ‘apple’) and the superordinate level (e.g., ‘fruit’). Previous studies have shown that the basic level is crucial for object categorization, such as the number of features used for description and processing speed. Similar to objects, actions can be described at different hierarchical levels, ranging from very specific (subordinate level: e.g., ‘to swim breaststroke’) to very broad (superordinate level: e.g., ‘locomotion’) information, with a mid-level of generality (basic level: e.g., ‘to swim’). However, it is not entirely clear whether the same principles that apply to objects also hold for the categorization of actions. Thus, the goals of my PhD projects are 1) to investigate the characteristics of actions at different hierarchical levels; 2) to examine the neural representation of observed actions at different taxonomic levels; 3) to explore at what point the brain represents actions at three different levels.
Three studies have been performed to address these goals. In the first study, I first had a selection of verbs from a linguistics book (Levin 1996), which had been divided into two classes. Next, based on what I selected, I asked participants to rate the semantic relationship and obtained several clusters. Then I asked the participants to name the clusters with the superordinate names. I also generated the subordinate names for each action in experiment 2. Afterwards, I asked the participants to rate how well the subordinate names fit to the superordinate names in experiment 3. Then, using these selected stimuli, I performed a feature listing task in which participants generated as many features as possible for each action at each level in a limited time. Following the feature-listing experiment, I conducted a prime effect design in experiment 5 and a rapid category verification task in experiment 6 on the actions across different taxonomic levels. The results showed that in feature-listing experiment, the actions the basic level were provided the most common features, while the actions at the subordinate level were generated more shared features in comparison with the superordinate level. The actions at the superordinate level had the most distinctive features compared to the other two levels. In experiment 5 and 6, I found that actions at the subordinate and basic levels were recognized more quickly than actions at the superordinate level. These behavioral results suggest that actions at the basic level have the maximum information, indicating that the basic level plays an important role in action categorization.
In the second study, to further explore the relationship between behavioral and neural representations of actions at different taxonomic levels, I conducted an event-related fMRI study and established models for these three levels (subordinate, basic, and superordinate). Participants were instructed to judge the semantic similarity of actions for creating a behavioral space model. Using multiple regression representational similarity analysis (RSA) in regions of interest, I found that bilateral lateral occipitotemporal cortex (LOTC) best represented the three taxonomic levels, particularly aligning with the basic level model. A whole-brain multiple regression RSA revealed that unique information at the basic level was encoded in LOTC and parietal regions. In contrast, the unique information for the subordinate level was represented in the bilateral occipitotemporal cortex, with no specific cluster capturing unique data for the superordinate level. Additionally, the behavioral action space was best represented in the LOTC and superior parietal cortex, showing the highest similarity to the basic-level model. In conclusion, the results suggest that the occipitotemporal cortex has a preference for the basic-level information and can flexibly access to both the subordinate and basic levels.
In the third study, to examine the timing of representations for actions at the subordinate, basic, and superordinate levels, I conducted an EEG experiment. I found that peak latencies in the EEG response occurred around 170 ms for actions at all three taxonomic levels. Furthermore, the EEG-fMRI fusion results indicated that action representations in LOTC were the most similar to EEG data at approximately 220 ms, which is earlier than V1. In summary, our findings suggest that actions across three taxonomic levels occur simultaneously, with the LOTC showing a later response compared to V1. This enhances our understanding of the spatiotemporal aspects of the hierarchical organization of action representations.
Translation of the abstract (German)
Objekte können auf verschiedenen hierarchischen Ebenen klassifiziert werden, von der untergeordneten Ebene (z. B. "golden delicious") über die grundlegende Ebene (z. B. "Apfel") bis zur übergeordneten Ebene (z. B. "Obst"). Frühere Studien haben gezeigt, dass die Basisebene für die Kategorisierung von Objekten entscheidend ist, z. B. für die Anzahl der zur Beschreibung verwendeten Merkmale und die ...
Translation of the abstract (German)
Objekte können auf verschiedenen hierarchischen Ebenen klassifiziert werden, von der untergeordneten Ebene (z. B. "golden delicious") über die grundlegende Ebene (z. B. "Apfel") bis zur übergeordneten Ebene (z. B. "Obst"). Frühere Studien haben gezeigt, dass die Basisebene für die Kategorisierung von Objekten entscheidend ist, z. B. für die Anzahl der zur Beschreibung verwendeten Merkmale und die Verarbeitungsgeschwindigkeit. Ähnlich wie Objekte können Handlungen auf verschiedenen hierarchischen Ebenen beschrieben werden, die von sehr spezifischen (untergeordnete Ebene: z. B. "Brustschwimmen") bis hin zu sehr allgemeinen (übergeordnete Ebene: z. B. "Fortbewegung") Informationen reichen, mit einer mittleren Ebene der Allgemeinheit (Basisebene: z. B. "Schwimmen"). Es ist jedoch nicht ganz klar, ob die gleichen Prinzipien, die für Objekte gelten, auch für die Kategorisierung von Handlungen gelten. Die Ziele meiner Doktorarbeit sind daher 1) die Untersuchung der Eigenschaften von Handlungen auf verschiedenen hierarchischen Ebenen; 2) die Untersuchung der neuronalen Repräsentation von beobachteten Handlungen auf verschiedenen taxonomischen Ebenen; 3) die Erforschung des Punktes, an dem das Gehirn Handlungen auf drei verschiedenen Ebenen repräsentiert.
Um diese Ziele zu erreichen, wurden drei Studien durchgeführt. In der ersten Studie hatte ich zunächst eine Auswahl von Verben aus einem Linguistikbuch (Levin 1996), die in zwei Klassen eingeteilt worden waren. Auf der Grundlage dieser Auswahl bat ich die Teilnehmer, die semantische Beziehung zu bewerten, und erhielt mehrere Cluster. Dann bat ich die Teilnehmer, die Cluster mit den übergeordneten Namen zu benennen. In Experiment 2 habe ich auch die untergeordneten Namen für jede Handlung erstellt. Anschließend bat ich die Teilnehmer in Versuch 3 zu bewerten, wie gut die untergeordneten Namen zu den übergeordneten Namen passen. Mit diesen ausgewählten Stimuli führte ich dann eine Aufgabe zur Auflistung von Merkmalen durch, bei der die Teilnehmer in einer begrenzten Zeit so viele Merkmale wie möglich für jede Handlung auf jeder Ebene generierten. Im Anschluss an das Feature-Listing-Experiment führte ich in Experiment 5 ein Primäreffekt-Design und in Experiment 6 eine Aufgabe zur schnellen Kategorienüberprüfung mit den Handlungen auf verschiedenen taxonomischen Ebenen durch. Die Ergebnisse zeigten, dass im Feature-Listing-Experiment die Handlungen der Basisebene die meisten gemeinsamen Merkmale aufwiesen, während die Handlungen auf der untergeordneten Ebene im Vergleich zur übergeordneten Ebene mehr gemeinsame Merkmale generierten. Die Handlungen auf der übergeordneten Ebene wiesen im Vergleich zu den anderen beiden Ebenen die meisten Unterscheidungsmerkmale auf. In Experiment 5 und 6 stellte ich fest, dass Handlungen auf der untergeordneten und der grundlegenden Ebene schneller erkannt wurden als Handlungen auf der übergeordneten Ebene. Diese Ergebnisse deuten darauf hin, dass Handlungen auf der Basisebene die meisten Informationen enthalten, was darauf hindeutet, dass die Basisebene eine wichtige Rolle bei der Kategorisierung von Handlungen spielt.
In der zweiten Studie führte ich eine ereigniskorrelierte fMRT-Studie durch, um die Beziehung zwischen dem Verhalten und den neuronalen Repräsentationen von Handlungen auf verschiedenen taxonomischen Ebenen weiter zu untersuchen, und erstellte Modelle für diese drei Ebenen (untergeordnet, grundlegend und übergeordnet). Die Teilnehmer wurden angewiesen, die semantische Ähnlichkeit von Handlungen zu beurteilen, um ein Modell für den Verhaltensraum zu erstellen. Mithilfe einer multiplen Regressionsanalyse der Repräsentationsähnlichkeit (RSA) in den interessierenden Regionen stellte ich fest, dass der bilaterale laterale okzipitotemporale Kortex (LOTC) die drei taxonomischen Ebenen am besten repräsentierte, wobei er insbesondere mit dem Modell der Basisebene übereinstimmte. Eine RSA mit multipler Regression für das gesamte Gehirn ergab, dass einzigartige Informationen auf der Basisebene im LOTC und in parietalen Regionen kodiert wurden. Im Gegensatz dazu wurden die eindeutigen Informationen für die untergeordnete Ebene im bilateralen okzipitotemporalen Kortex kodiert, wobei es keinen spezifischen Cluster gab, der eindeutige Daten für die übergeordnete Ebene enthielt. Darüber hinaus war der Handlungsraum für das Verhalten am besten im LOTC und im superioren parietalen Kortex repräsentiert, was die größte Ähnlichkeit mit dem Modell der Basisebene zeigte. Die Ergebnisse deuten also darauf hin, dass der okzipitotemporale Kortex eine Präferenz für Informationen auf der Basisebene hat und flexibel sowohl auf die untergeordnete als auch auf die Basisebene zugreifen kann.
In the third study, to examine the timing of representations for actions at the subordinate, basic, and superordinate levels, I conducted an EEG experiment. I found that peak latencies in the EEG response occurred around 170 ms for actions at all three taxonomic levels. Furthermore, the EEG-fMRI fusion results indicated that action representations in LOTC were the most similar to EEG data at approximately 220 ms, which is earlier than V1. In summary, our findings suggest that actions across three taxonomic levels occur simultaneously, with the LOTC showing a later response compared to V1. This enhances our understanding of the spatiotemporal aspects of the hierarchical organization of action representations.
Metadata last modified: 21 Jan 2025 07:35
Owner only: item control page
Download Statistics