This work provides insight into the potential of camera-based surface plasmon resonance sensors when utilising the spatial sensor by modulating the sensor response through lateral modification of surface parameters or input illumination. These modifications have to be coupled with adequate signal processing. Modelling the sensor response using Fresnel formulae allows for accurate representation of the sensor surface state, increasing confidence in measured values. Alternatively, data-based modelling approaches can be utilised which eliminate the need for approximation of a physical model to observed data but are limited by the data they are trained on.
It has been explored how, especially, deep learning models that are specialised in image processing (CNNs) can be utilised for qualitative or quantitative assessment of analytes with the help of a receptor array on an SPR surface. Notably, this approach demonstrates strong generalization capabilities, performing effectively on unseen sensors used for the same task. Preliminary experiments indicate that performance enhancements are feasible when data from different points in time during binding or debinding are used during processing.
In conclusion, deep learning-assisted spatial SPR sensors hold immense potential for diverse applications, including online quality control, anomaly detection, and biofouling quantification. However, realizing this potential hinges on carefully designed experiments that yield high-quality data. Furthermore, incorporating orthogonal data sources is crucial for more precise determination of the surface state during calibration. Suitable surface-sensitive techniques include Raman spectroscopy, ellipsometry, and impedance spectroscopy. Coupling these methods can improve knowledge on the observed state during training. This information together with the presented methods can simplify sensor development and improve performance.

Diese Arbeit gibt einen Einblick in das Potenzial kamerabasierter Oberflächenplasmonenresonanzsensoren, wenn der räumliche Sensor durch die Modulation von Sensorreaktionen durch laterale Modifikation der Oberflächenparameter oder der Eingangsbeleuchtung genutzt wird. Diese Modifikationen erzeugen eine komplexe Sensorantwort und müssen daher mit einer geeigneten Signalverarbeitung gekoppelt werden. Die Modellierung der Sensorantwort mit Hilfe von Fresnel-Formeln ermöglicht eine genaue Bestimmung des Sensoroberflächenzustands und erhöht so die Konfidenz in gemessene Werte. Alternativ können datenbasierte Modellierungsansätze angewandt werden, die eine Annäherung eines physikalischen Modells an aufgenommene Daten ersetzen können, aber durch die Daten, auf denen sie trainiert werden, begrenzt sind.
Es wurde untersucht, wie insbesondere tiefe neuronale Netze, die auf die Bildverarbeitung spezialisiert sind (CNNs), für die qualitative oder quantitative Bewertung von Analyten mit Hilfe eines Rezeptor-Arrays auf einer SPR-Oberfläche eingesetzt werden können. Insbesondere zeigt dieser Ansatz starke Generalisierungsfähigkeiten, die auch bei unbekannten (unkalibrierten) Sensoren, die für dieselbe Aufgabe verwendet werden, wirksam sind. Vorläufige Experimente deuten darauf hin, dass Genauigkeitssteigerungen möglich sind, wenn bei der Verarbeitung Daten von verschiedenen Zeitpunkten während der Bindung verwendet werden.
Zusammenfassend lässt sich sagen, dass räumliche SPR-Sensoren mit Hilfe von tiefen neuronalen Netzen immenses Potenzial für verschiedene Anwendungen haben, darunter Online-Qualitätskontrolle, Erkennung von Anomalien und Quantifizierung von Biofouling. Die Realisierung dieses Potenzials hängt jedoch von sorgfältig geplanten Experimenten ab, die qualitativ hochwertige Daten liefern. Darüber hinaus ist die Einbeziehung orthogonaler Datenquellen entscheidend für eine genauere Bestimmung des Oberflächenzustands während der Kalibrierung. Zu geeigneten oberflächensensitiven Techniken gehören Raman-Spektroskopie, Ellipsometrie und Impedanzspektroskopie. Die Kopplung dieser Methoden kann das Wissen über den beobachteten Zustand während des Trainings verbessern. Diese Informationen können zusammen mit den vorgestellten Methoden die Sensorentwicklung vereinfachen und die Leistung des Sensors in der Anwedung verbessern.