Drucken

SFB 1320: Everyday Activity Science and Engineering (EASE)

Fördermittelgeber: Deutsche Forschungsgemeinschaft (DFG)

Webseite: EASE

Laufzeit: 2017-2025 (Phase 1&2)

Kooperationspartner: Cognitive Systems Lab

logo ease 2019Menschen bewältigen alltägliche Aufgaben mit Leichtigkeit. Sie manipulieren Objekte in ihrer Umwelt und können mit unvollständigen Informationen (z.B. Instruktionen) umgehen. Der Sonderforschungsbereich EASE untersucht, wie Roboter befähigt werden können, alltägliche Aufgaben im Haushalt mit ähnlicher Leichtigkeit zu meistern. Das Unterprojekt H3 untersucht, wie Menschen Aktivitäten durchführen. Basierend auf aufgezeichneten Daten von Menschen bei alltäglichen Tätigkeiten wie z.B. Tisch decken, werden Modelle entwickelt, welche das inherente Wissen über die Durchführung solcher Aktivitäten repräsentieren, um dieses Wissen für den Roboter verfügbar zu machen.

H3: Discriminative and Generative Human Activity Models for Cognitive Architectures

Das Unterprojekt H3 wird in Kooperation mit dem Cognitive System Lab durchgeführt. H3 baut auf den Ergebnissen der ersten Phase auf, insbesondere auf der H-Pipeline, welche ein einheitliches gemeinsames Framework darstellt, um Informationen über menschliche Aktivitäten zu speichern und diese mit Robotern austauschen zu können. Der Fokus in der zweiten Phase liegt auf der Entwicklung von diskriminativen und generativen Modellen von menschlichen Aktivitäten. Hierzu werden kontext-freie Grammatiken mit probabilistischen Action Units und Deep Learning basierte multimodale Neuronale Netze miteinander verbunden, um die Stärken der jeweiligen Ansätze zu kombinieren ohne deren Schwächen ausgesetzt zu sein.

pipeline
H-Pipeline (Bild: M.Meier)

Publikationen:

Filter publications:
2020
[3] From Human to Robot Everyday Activity (, , , , , , , , , , , ), In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), . [bibtex] [abstract] [doi]
[2] Early vs Late Fusion in Multimodal Convolutional Neural Networks (, , ), In 23rd International Conference on Information Fusion (FUSION), IEEE, . [bibtex] [abstract] [pdf] [doi]
2018
[1] Multimodal Convolutional Neural Networks for Human Activity Recognition (, , ), In IROS 2018: Workshop on Latest Advances in Big Activity Data Sources for Robotics & New Challenges, . [bibtex] [abstract] [pdf]
FaLang translation system by Faboba