Direkt zum Inhalt

Schmid, Andreas ; Fischer, Thomas ; Weichart, Alexander ; Hartmann, Alexander ; Wimmer, Raphael

ScreenshotMatcher: Taking Smartphone Photos to Capture Screenshots

Schmid, Andreas , Fischer, Thomas, Weichart, Alexander, Hartmann, Alexander und Wimmer, Raphael (2021) ScreenshotMatcher: Taking Smartphone Photos to Capture Screenshots. In: Mensch und Computer 2021 (MuC ’21), September 5–8, 2021, Ingolstadt, Germany.

Veröffentlichungsdatum dieses Volltextes: 11 Aug 2021 04:15
Konferenz- oder Workshop-Beitrag
DOI zum Zitieren dieses Dokuments: 10.5283/epub.47814


Zusammenfassung

Taking screenshots is a common way of capturing screen content to share it with others or save it for later. Even though all major desktop operating systems come with a screenshot function, a lot of people also use smartphone cameras to photograph screen contents instead. While users see this method as faster and more convenient, image quality is significantly lower. With ScreenshotMatcher, we ...

Taking screenshots is a common way of capturing screen content to share it with others or save it for later. Even though all major desktop operating systems come with a screenshot function, a lot of people also use smartphone cameras to photograph screen contents instead. While users see this method as faster and more convenient, image quality is significantly lower. With ScreenshotMatcher, we present a system that allows for capturing a high-fidelity screenshot by taking a smartphone photo of (part of) the screen. A smartphone application sends a photo of the screen region of interest to a program running on the PC which retrieves the matching screen region and sends it back to the smartphone. Comparing four feature matching algorithms and multiple parameters, we identified a combination of ORB keypoint detection (feature limit 2000) and a brute force feature matcher using Hamming distance as the best solution for this task (success rate: 85%, processing time: 90 ms). This raw performance results in a real-world success rate of 47% and a mean response time per screenshot of 878 ms as measured in a remote user study (N=19). Released as open-source code, ScreenshotMatcher may be used as a basis for applications and research prototypes that bridge the gap between PC and smartphone.



Beteiligte Einrichtungen


Details

DokumentenartKonferenz- oder Workshop-Beitrag (Paper)
ISBN978-1-4503-8645-6
Titel eines Journals oder einer ZeitschriftProceedings of the Mensch und Computer 2021
Buchtitel:MuC '21: Proceedings of Mensch und Computer 2021
Verlag:Association for Computing Machinery
Ort der Veröffentlichung:New York, United States
Seitenbereich:S. 44-48
Datum5 September 2021
InstitutionenSprach- und Literatur- und Kulturwissenschaften > Institut für Information und Medien, Sprache und Kultur (I:IMSK) > Lehrstuhl für Medieninformatik (Prof. Dr. Christian Wolff)
Informatik und Data Science > Fachbereich Menschzentrierte Informatik > Lehrstuhl für Medieninformatik (Prof. Dr. Christian Wolff)

Sprach- und Literatur- und Kulturwissenschaften > Institut für Information und Medien, Sprache und Kultur (I:IMSK) > Lehrstuhl für Medieninformatik (Prof. Dr. Christian Wolff) > Physical-Digital Affordances (Dr. Raphael Wimmer)
Informatik und Data Science > Fachbereich Menschzentrierte Informatik > Lehrstuhl für Medieninformatik (Prof. Dr. Christian Wolff) > Physical-Digital Affordances (Dr. Raphael Wimmer)
Informatik und Data Science > Fachbereich Menschzentrierte Informatik > Physical-Digital Affordances (Dr. Raphael Wimmer)
Identifikationsnummer
WertTyp
10.1145/3473856.3474014DOI
Verwandte URLs
URLURL Typ
https://hci.ur.de/projects/screenshotmatcherProjekt
Stichwörter / Keywordsmobile, computer vision, cross device interaction
Dewey-Dezimal-Klassifikation000 Informatik, Informationswissenschaft, allgemeine Werke > 004 Informatik
StatusVeröffentlicht
BegutachtetJa, diese Version wurde begutachtet
An der Universität Regensburg entstandenJa
URN der UB Regensburgurn:nbn:de:bvb:355-epub-478142
Dokumenten-ID47814

Bibliographische Daten exportieren

Nur für Besitzer und Autoren: Kontrollseite des Eintrags

nach oben