Picking up an unknown object is a central problem in robotics that has not yet been fully solved. While many approaches operate in a controllable environment, such as the industrial one, we target the assistive context.
Instead of a known and static workspace with clearly defined action constraints, our considered environment is unstructured and unknown. A large number of common, implicit assumptions cannot be made. The initial sensor measurements of imaging sensors might not show a valid grasp solution, motion goals of the manipulator might not be reachable or are in collision and the sensor measurements do not necessarily have to be within the domain of the training data. In addition, the assistive context offers a variety of unique sensory challenges. The scene might be partially over-illuminated and the surface properties can vary greatly, which implies that measurement noise is not identically distributed. These challenges cannot be overcome by a pre-configured, optimal sensor positioning or software-setting, but rather must be dealt with as is during runtime. We propose a closed-loop, end-to-end algorithmic pipeline that deals with assistive, robotic grasping in a holistic manner. A probabilistic sensor fusion method is introduced that accurately reconstructs the desired scene segment and enables us to reliably estimate the local reconstruction accuracy. Furthermore, we present an exploration and motion strategy that allows the robot to autonomously search for grasp options while ensuring user safety at controller level. Finally, we propose a probabilistic grasp sampling and evaluation algorithm that does not rely on prior object knowledge or a dataset tailored to the use case but instead utilizes the local estimation uncertainty to generate robust grasps in an online fashion. The pipeline is real-time capable and extensive simulated as well as real experiments demonstrate that our method is robust and accurate, even with challenging household objects.

Das Greifen eines unbekannten Objekts ist ein zentrales Problem in der Robotik, das noch nicht vollständig gelöst ist. Während sich viele Ansätze mit einer kontrollierbaren Umgebung befassen, z. B. einem industriellen Setting, zielen wir auf den assistiven Kontext ab. Anstelle eines bekannten und statischen Arbeitsbereichs mit klar definierten Aktionsbeschränkungen ist die Umgebung unstrukturiert und unbekannt. Häufige implizite Annahmen können nicht getroffen werden. Die initialen Sensormessungen abbildender Sensoren zeigen möglicherweise keine gültige Greifpose für das Objekt. Die Bewegungsziele des Manipulatorarms sind möglicherweise nicht erreichbar oder kollisionsbehaftet, und die Sensormessungen sind potenziell nicht Teil der Grundgesammtheit der Trainingsdaten.
Darüber hinaus bietet der assistive Kontext eine Vielzahl von einzigartigen sensorischen Herausforderungen. Die Szene kann teilweise überbelichtet sein und die Oberflächeneigenschaften können stark variieren. Dies bedeutet, dass das Messrauschen nicht identisch verteilt ist. Solche Herausforderungen können nicht durch eine vorkonfigurierte, optimale Sensorpositionierung oder Software-Einstellung überwunden werden, sondern müssen
während der Laufzeit behandelt werden. Für das robotische Greifen von Objekten im assistiven Kontext stellen wir eine algorithmische closed-loop Ende-zu-Ende Pipeline vor. Wir stellen eine probabilistische Sensorfusionsmethode vor, die das gewünschte Szenensegment genau rekonstruiert und es ermöglicht, die lokale Rekonstruktionsgenauigkeit zuverlässig zu schätzen. Darüber hinaus stellen wir eine Explorations- und Bewegungsstrategie vor, die es dem Roboter ermöglicht, autonom nach Greifmöglichkeiten zu suchen und gleichzeitig die Sicherheit des Benutzers auf Controllerebene zu gewährleisten. Außerdem wird ein probabilistischer Sampling- und Bewertungsalgorithmus für das Greifen eingeführt, der sich nicht auf vorheriges Objektwissen oder einen auf den Anwendungsfall zugeschnittenen Datensatz stützt, sondern stattdessen die lokale Schätzungsunsicherheit nutzt, um online robuste
Greifposen zu generieren. Die Pipeline ist echtzeitfähig, und umfangreiche simulierte sowie reale Experimente zeigen, dass sie robust und genau genug ist, um Rekonstruktion
und Greifen von schwierigen Haushaltsobjekten zu ermöglichen.