Kategorien
Kollaborative Robotik - Universität Augsburg

RoboJack

Mit zunehmendem technologischen Fortschritt und immer höherem Automatisierungsgrad von Aufgaben steigt die Verbreitung kollaborativ arbeitender Roboter. Diese sind fähig direkt mit Menschen zusammenzuarbeiten und benötigen im Gegensatz zu traditionellen Industrierobotern keine aufwändigen Schutzvorrichtungen. Neben der Erreichung einer hohen Qualität bei Aufgabenausführung ist es hier besonders wichtig die Interaktion mit den Menschen in den Vordergrund zu stellen.

In dieser Arbeit wurden verschiedene Methodiken zur Analyse und Verbesserung der Interaktionsqualität in Mensch-Roboter-Kollaborationsanwendungen entworfen. Sie sind im Anschluss dazu verwendet worden das Robotersystem RoboJack zu entwickeln. Dieses übernimmt im Spiel BlackJack die Aufgaben eines Dealers.

Die zentrale Idee hinter der Entwicklung der Kriterien zur Gestaltung hochwertiger Mensch-Roboter-Interaktionen war einen möglichst allgemeinen und ganzheitlichen Leitfaden zu entwerfen, welcher im Anschluss dazu verwendet werden kann eine detailliertere Entwicklungs-Checkliste für ein spezialisiertes System aufzustellen. Die acht Kriterien werden im Folgenden in verkürzter Form aufgezählt teilweise erweitert um konkrete Entwicklungsumsetzungen bei RoboJack.

Kriterium 1: System arbeitet zuverlässig

Neben einer zuverlässigen Aufgabenausführung sollte das System auch selbständig Fehler erkennen können. Dies ermöglicht dem System Menschen um Hilfe zu bitten, wobei es Fehlerzustände möglichst eigenständig lösen sollte.

Bei den in RoboJack verwendeten KI-Modulen zur Erkennung von Spielkarten und Handgesten wurde beispielsweise darauf geachtet, dass diese eine sehr hoher Genauigkeit (100% für Karten und 98,6% für Gesten) erreichen. Falls irgendwelche Probleme auftreten die das System nicht selbständig lösen kann, etwa der Kartenmaschine die Karten ausgegangen sind oder ungültige Handgesten erkannt werden, gibt RoboJack den Nutzern über die Sprachausgabe Feedback.

Kriterium 2: Benutzer fühlen sich sicher vor dem Roboter

Hierzu zählt zum einen dass der Roboter genügend Abstand zu Personen hält. Als Einschätzungsbasis können hier die die vier persönlichen Distanzzonen für zwischenmenschliche soziale Interaktionen verwendet werden. Außerdem ist wichtig dass die stehenden Roboterposen natürlich aussehen, also ohne übermäßig verdrehte Achsen, und unbedrohlich wirken, wozu etwa zählt dass der Roboter falls er so etwas wie ein Gesicht besitzt, die Nutzer auf oder unter Augenhöhe und nicht von oben herab ansieht. Auch sollte der Roboter komplett sichtbar sein und nicht hinter sich selbst versteckt, damit Nutzer Bewegungen frühzeitig erkennen können. Zudem sollten ruckartige oder sehr schnelle Bewegungen vermieden werden, damit Anwender das Bewegungsziel erahnen können.

Beim Einmessen der Bewegungen von RoboJack wurden neben nach obigen Kriterien optimierten Roboterposen und langsamen Beschleunigungen auch darauf geachtet dass der Roboter einen Abstand von mehr als circa 1,2m zu Gesicht und Körper der Spieler hält. Zudem ist durch virtuelle Wände (im Bild ist die zwischen Roboter und Spielern ausgeblendet) ein sicherer Abstand zu den Spielern gewährleistet.

Kriterium 3: Roboter arbeitet nachvollziehbar

Hierzu zählen unter anderem sinnvolle Interaktionsmuster, möglichst direkte und flüssige Bewegungen die keine unnötigen Hilfspunkte enthalten und ein hilfreiches Nutzerfeedback.

Bei RoboJack wurden sämtliche Bewegungen wurden auf möglichst natürliche und fließende Art umgesetzt, nach dem Vorbild wie ein Mensch an der Stelle des Roboters diese ausführen würde. Zudem sagt RoboJack welche Karten er gerade austeilt und welche Handgesten er bei den Spielern erkannt hat, damit diese die Korrektheit des Spielablaufs eigenhändig überprüfen können.

Kriterium 4: Gleichwertige oder bessere Aufgabenausführung

Bei diesem Kriterium liegt der Fokus auf der Frage warum Nutzer den Roboter wählen sollten wenn ein Mensch an dessen Stelle die Aufgabe besser macht. Durch den Roboter gegebene Einschränkungen sollten daher durch andere Fähigkeiten ausgeglichen werden. Zudem sollte nicht außer acht gelassen werden, dass auch die Umgebung die erwartete Servicequalität beeinflussen kann („Erster Eindruck“).

Als Ausgleich für Einschränkungen des Roboters, wie etwa einen langsameren Spielfluss, kommentiert RoboJack gute oder schlechte Spieleraktionen und gibt Tutorials und Tipps für optimale Spielstrategien oder Kartenzählen in BlackJack. Zudem wurde darauf geachtet, dass das vollständige BlackJack-Spiel umgesetzt wird, inklusive echter Karten und Einsätze, sowie aller Spieloptionen, auch kompliziertere wie etwa Pärchen aufzusplitten (es gibt bereits alternative Robotersysteme für BlackJack, diese sind aber in einem oder mehreren dieser Fähigkeiten eingeschränkt).

Dabei wurde ein Fokus auf eine technisch interessante Umsetzung beim Umgang mit Karten und Spielchips gelegt, teilweise unterstützt durch Hilfsmaschinen aus Lego, um ein Spielerlebnis anzubieten welches Spieler mit einem menschlichen Dealer so nicht bekommen würden.

Kriterium 5: Intuitive Interaktionen

Dazu gehört unter anderem dass Interaktionen schnell zu erlernen sind, und diese falls möglich, bereits existierenden Standards folgen. Bei der Kommunikation mit Nutzern sollte das Vier-Seiten-Modell beachtet werden, das besagt dass es neben einer inhaltlichen Ebene auch weitere indirekte Kommunikationsebenen gibt. Daraus lässt sich etwa ableiten, dass der Roboter Nutzer während der Kommunikation ansehen, ansonsten ein “Anstarren” aber vermeiden soll, außer es dient als indirekte Handlungsaufforderung. Aber auch kleinere Aspekte fallen unter dieses Kriterium, wie etwa dass das Gesicht des Roboters und die Lautsprecher für Sprachausgabe nah beieinander positioniert sein sollen, damit Nutzer wenn sie ihre Ohren zur Tonquelle ausrichten automatisch den Roboter anschauen.

Neben obigen Punkten gibt RoboJack neuen Nutzern selbständig ein interaktives Spieltutorial und pausiert Bewegungen während der Kommunikation um Geräusche durch die Motoren zu reduzieren, damit Spieler das gesagte besser verstehen.

Kriterium 6: System ist personalisiert

Damit die Nutzer sich besser mit dem System identifizieren können und sich auch wertgeschätzt fühlen soll die Interaktion personalisiert sein. Dazu sollten auch vergangene Interaktionen gespeichert werden, um rückwirkend Bezug darauf nehmen zu können. Außerdem sollte bei einer Personalisierung des Roboters selbst darauf geachtet werden das unter anderem Sprachausgaben und Roboterhandlungen zueinander passen.

RoboJack verwendet eine Gesichtserkennung um Spieler welcher er anfangs nach ihrem Namen gefragt hat namentlich ansprechen zu können. Zudem merkt sich das System die Aktionen der Spieler um auf gut oder schlecht ausgegangene Spielzüge zu reagieren oder kann zusätzlich Emotionen der Spieler miteinbeziehen. Um dabei einen guten Datenschutz zu gewährleisten funktionieren sämtliche Module vollständig offline.

Kriterium 7: System ist modularisiert und portabel

Durch leicht wiederverwendbare Module können sich Synergien mit anderen Projekten ergeben. Zudem soll das System unkompliziert zu starten und verwalten sein und sich möglichst einfach wieder an einem anderen Ort (Kunde/Messe) aufbauen lassen.

Kriterium 8: Nutzerstudie

Eine Nutzerstudie ermöglicht zum einen die Evaluation der umgesetzten Kriterien und zum anderen finden neue Nutzer häufig Problem an die sich Entwickler sich schon gewöhnt haben.

Zum Ende der Arbeit wurde eine Nutzerstudie mit 21 Teilnehmern durchgeführt in welcher sehr gute Ergebnisse erzielt werden konnten. Die Teilnehmer haben die Frage ob sie Spaß beim Spielen hatten durchschnittlich mit 4,7 von 5 möglichen Punkten bewertet. Bei der Frage ob sich die Spieler wohl gefühlt haben während der Roboter bewegt hat, haben alle entweder 4 oder 5 Punkte vergeben. Die Teilnehmer fanden es sehr interessant (4,6) RoboJack bei seinen Aktionen zuzuschauen. Sie würden ein Spiel mit RoboJack auch deutlich weiterempfehlen (4,7), und dass obwohl sie einen durchschnittlichen Verlust von 35 erspielt haben. Häufigster Kritikpunkt war eine zu langsame Spielgeschwindigkeit.

Die mit dem Sytem Usabiltiy Scale (SUS) errechnete Benutzerfreundlichkeit des Systemsvon RoboJack beträgt 83.

Die Nutzerstudie diente dazu zu evaluieren ob die erarbeiteten Kriterien erfolgreich zur Verbesserung von Mensch-Roboter-Interaktionen angewendet werden können, was durch die sehr guten Ergebnisse gezeigt werden konnte. Da die vorgeschlagenen Kriterien nicht auf RoboJack zugeschnitten, sondern möglichst allgemeingültig formuliert wurden, können sie zukünftig verwendet werden, um die Interaktionsqualität in weiteren Mensch-Roboter-Kollaborationsanwendungen zu verbessern.

Team

Daniel Bermuth

Betreuung: Alexander Poeppel

Leiter des Innovationslabors: Prof. Dr. Wolfgang Reif

Kategorien
Wearables und Ubiquitous Computing - FAU Erlangen-Nürnberg

Pentalobes

Projektbeschreibung

Palliative care aims to improve the quality of life for people with chronic or terminal diseases. The number of people requiring palliative care is increasing, especially for respiratory conditions like asthma and COPD. There has been an increase in asthma patients of 50% per decade, and 25 million people suffer of asthma in the united states alone.

Meanwhile, there aren’t any devices that are capable of continuously monitoring respiratory function. While Spirometry can very accurately measure important parameters like forced expiratory volume delivered in the first second (FEV1) and forced vital capacity (FVC), this test requires patients to visit a doctors office.

To overcome these problems we plan to develop a small device that can be worn by the patient like a patch. It will use a microphone to record the breathing activity of the patient. The recorded sound will then be analysed by a neural network to infer FEV1/FVC ratio and therefore lung function. To first test out our device we plan to let it be used by healthcare professionals in an emergency room setting to monitor patients while they are waiting. We hope that our device will lead to an increased feeling of safety and quality of life for patients with chronic respiratory conditions.

Projektlink

https://www.mad.tf.fau.de/teaching/innolab/pentalobes/

Team

Sarah Biser, Aathira Haridas, Jennifer Mitchell, Mostafa Kamal Mallick, Vaishnavi Umesh, Olaf Tönsing, Shaheb Jada Nazmus Saquib

Partner

Universitätsklinik Erlangen, Palliativmedizinische Abteilung

Dr. med. Tobias Steigleder

Betreuung

Prof. Dr. Björn Eskofier, Imrana Abdullahi Yari, Malte Ollenschläger

Kategorien
Allgemein Wearables und Ubiquitous Computing - FAU Erlangen-Nürnberg

Palley

Projektbeschreibung

Patienten in der Palliativmedizin sind in einem fortgeschrittenen oder im Endstadium eine schweren Krankheit. Diese gehen oft mit starken Schmerzen einher. Das Hauptziel der Palliativmedizin ist die Verbesserung der Lebensqualität der Patienten durch die Verringerung der Krankheitssymptome. Hierfür werden häufig Opiate eingesetzt, die durch ihre morphinartigen Effekte Schmerzen und Dyspnoe reduzieren können. Für Opiate gibt es jedoch weder eine minimale, noch eine maximale Dosis. Stattdessen muss die Dosis individuell auf jeden Patienten angepasst werden. Wegen Nebenwirkungen wie Verstopfung, Übelkeit, Halluzinationen oder Abhängigkeit werden Opiate oft übermäßig zurückhaltend verschrieben. Das Erreichen der richtigen Balance zwischen den positiven analgetischen Effekten und den möglichen Komplikationen ist essentiell. Um diese Balance zu finden ist die Erhebung und Bewertung von biometrischen und psychometrischen Daten erforderlich.

Um beim Finden der Dosis zu helfen entwickelten wir die „Palley“ Applikation. Das Ziel dieser App ist es die Auswirkung der Medikation und den Gesundheitszustand der Patienten kontinuierlich mit verschiedenen Modulen abzufragen. Durch verschiedene Tests werden biometrische Daten sowie psychometrische Daten ermittelt. Diese Daten werden dem Arzt zu Verfügung gestellt damit eine einfachere, genauere und schnellere Anpassung der Opiat-Dosis vorgenommen werden kann, falls dies nötig ist. So können die Wirkung der Medikamente maximiert, Nebenwirkung minimiert und eine Überdosierung vermieden werden. Da eine solche App bisher nicht existierte denken wir, dass unsere App einen positiven Einfluss auf die Therapie von Patienten in der Palliativmedizin haben wird.

Projektlink

https://www.mad.tf.fau.de/teaching/innolab/palley/

Team

Jacob Fidorra, Anna-Maria Wölfl, Patricia Urban, Swathi Hassan Gangaraju, Abinaya Muthusamy, Selim Atay

Partner

Universitätsklinik Erlangen, Palliativmedizinische Abteilung

Dr. med. Tobias Steigleder

Betreuung

Prof. Dr. Björn Eskofier, Imrana Abdullahi Yari

Kategorien
Wearables und Ubiquitous Computing - FAU Erlangen-Nürnberg

Dungineers

Project Description

Wildlife is facing difficulties. Human-made threats like habitat loss, contamination and overhunting lead to species being endangered. In order to prevent extinction, zoos around the world try to make abiotic factors within their enclosures resemble those in nature as closely as possible. This helps the animals reproduce at a self-sustaining rate and ultimately repopulate endangered ecosystems.

Breeding certain species in captivity has proven to be a challenge in the past: The desert house of Nuremberg Zoo opened its doors in 2018, but until now the temperature, sun and moisture levels within the habitat could not be measured precisely enough to provide the necessary environment for dung beetles to reproduce in larger numbers.

We, as “Zoo-Dungineers”, propose to create a flexible & cheap system that aims to help Nuremberg zoo and other zoos provide the best conditions for the animals. Our solution focuses on delivering detailed environmental measures of the habitat that are easy to monitor by the zookeepers. At the same time, our system must not interfere with the animals’ habits and should be unnoticeable to the visitor.

Projektlink

https://www.mad.tf.fau.de/teaching/innolab/Dungineers/

Team

Partner

Tiergarten Nürnberg

Betreuung

Prof. Dr. Björn Eskofier, Matthias Zürl, Martin Ullrich

Kategorien
Digital Embodiment - Universität Würzburg

Virtual Flight Education

Das Projekt „Virtual Flight Education“ untersucht den Einsatz von VR-Technologie in der Pilotenausbildung. Im Fokus stehen dabei die Untersuchung der Vergleichbarkeit von VR-Simulatoren mit physischen Simulatoren für die Flugausbildung und die erfolgreiche Simulation von Stresssituationen.

Damit zukünftig eine VR Unterstützung in der Pilotenausbildung gewährleistet werden kann, muss vorerst geprüft werden, ob VR in verschiedenen Maßen vergleichbar mit einem physischen Simulator ist. Dazu werden die Parameter Flugleistung, Stress sowie situative Aufmerksamkeit mithilfe eines stressinduzierten und nicht-stressinduzierten Szenarios jeweils in einem physischen Simulator sowie in einem VR Simulator evaluiert. 

PROJEKTLINK

https://emlab.hci.uni-wuerzburg.de/topics/20210507-virtual-flight-education/

TEAM

Von links nach rechts: Moritz Strauß, Paul Günther, Duc Duy Tran, Jan-Philipp Friese

PARTNER/IDEENGEBER

  • AIRBUS
  • XR Hub Würzburg

BETREUUNG

JProf. Dr. Carolin Wienrich, Larissa Brübach, Franziska Westermeier, Prof. Dr. Marc Erich Latoschik

Leitung des Innovationslabors: Prof. Dr. Marc Erich Latoschik
Coach: Andrea Bartl
Embodiment Lab: https://emlab.hci.uni-wuerzburg.de/
XR Hub Würzbug: https://xr-hub.hci.uni-wuerzburg.de/

Kategorien
Digital Embodiment - Universität Würzburg

My Virtual Body

Das Projekt „My Virtual Body“ untersucht den Einsatz von state-of-the-art Virtual und Augmented Reality (VR und AR) Technologien für Systeme zur Unterstützung der Therapie von Ess- und Körperbildstörungen. Es erweitert eine interaktive Anwendung inklusive virtueller Verkörperung und virtuellem Spiegel um ein optical see-through AR-Head-Mounted Display (HMD) um dessen Eigenschaften in Bezug auf Präsenzerleben, Verkörperung und Körpergewichtswahrnehmung zu untersuchen.

PROJEKTLINK

https://emlab.hci.uni-wuerzburg.de/topics/20201007-vitras-ar-mirror/

TEAM

Marie Luisa Fiedler

PARTNER/IDEENGEBER

  • The Captury GmbH
  • brainboost GmbH
  • Technische Universität Dortmund
  • Hochschule für Technik und Wirtschaft Berlin
  • Hochschule für Gesundheit Gera
  • Technische Universität München
  • Bundesministerium für Bildung und Forschung

BETREUUNG

Erik Wolf, JProf. Dr. Carolin Wienrich, Prof. Dr. Marc Erich Latoschik

Leitung des Innovationslabors: Prof. Dr. Marc Erich Latoschik
Coach: Andrea Bartl
Embodiment Lab: https://emlab.hci.uni-wuerzburg.de/
XR Hub Würzbug: https://xr-hub.hci.uni-wuerzburg.de/

Kategorien
Anwendungsentwicklung - Hochschule Augsburg

ARIAS

Augmented Reality Industrial Assistant System

ARIAS demonstriert zukünftige Interaktionstechnologien, Augmented Reality und Mixed Reality, in der Produktion. Arbeitende an einer Produktionslinie werden mit einer HoloLens-Brille intuitiv unterstützt, so dass effizientes, freihändiges, sicheres und koordiniertes Arbeiten möglich ist.

Im konkreten Beispiel unterstützt ARIAS den Nutzer beim Zusammenbau eines Lego-Technik-Traktors. Hierzu wird durch die MR-Brille HoloLens eine virtuelle Hilfestellung in Form von Fenstern, 3D-Animationen und 3D-Objekten angeboten. Um ein industrielles Szenario abzubilden, wurde der Zusammenbau als Teil einer Montagelinie gestaltet. In komplexen Prozessen wie einer Montagelinie gibt es oft eine Aufteilung der Aufgaben nach Rollen.

Zentral ist dabei die Rolle des Monteurs, der den Zusammenbau der beschafften Bauteile übernimmt. Jeder seiner Aufträge ist in Schritte unterteilt, jeder Schritt wird ihm durch ein animiertes und interaktives 3D Model visualisiert. Ist ein Schritt bearbeitet wechselt er in den nächsten, solange bis alle Schritte des Auftrags abgearbeitet wurden und der Bauabschnitt damit fertig montiert ist.
Eine weitere Rolle ist der Picker. Seine Aufgabe ist es, den anderen Rollen zuzuarbeiten, indem er benötigte Teile aus dem Bauteillager beschafft. Mit der Größe der Produktpalette nimmt auch das Lager schnell unübersichtliche Ausmaße an. Daher wird der Picker nicht nur durch Einblendung von Aussehen, Regal- und Fach-Nummer des Bauteils, sondern auch durch Anzeige eines detaillierten Lagerplans unterstützt. Es muss auch sichergestellt werden, dass wir alles korrekt zusammengebaut haben.
An dieser Stelle kommt der Tester zum Zug, seine Aufgabe ist es, Bauabschnitte auf Fehler zu überprüfen. Um dabei möglichst gewissenhaft vorgehen zu können, steht Ihm ein interaktives 3D-Modell des jeweiligen Teilstücks zur Verfügung, damit kann er Vorgabe und Realität genauestens vergleichen. Seine Ergebnisse hakt er anschließend auf einer eingeblendeten Checkliste ab.

Für ein kooperatives Arbeiten werden alle Aufgaben anhand ihrer Abhängigkeiten vom zentralen Server an die Rollen verteilt. So wird sichergestellt, dass die Arbeiten möglichst nahtlos ineinander übergehen und die Linie effizient produziert.

Als Partner wurde die Projektgruppe unterstützt durch die XITASO GmbH aus Augsburg. XITASO ist Experte für Software Engineering und unterstützt B2B-Kunden bei der Planung, Gestaltung und Umsetzung von digitalen Lösungen für Produkte, Prozesse und Portale.

Rahmeninformationen:

  • Jahr: 2021
  • Studierende: Florian Klingauf, Philipp Gaag, Michael Schnitzler, Christoph Selentin, Roman Kolesnikov, Fabian Kreißl, Emre Karpuz
  • Semester: 4.Semester
  • Studiengang: Informatik
  • Supervision: Prof. Dr. Michael Kipp, Viktor Werlitz
  • Tags: Augmented Reality, Mixed Reality, HoloLens, Human-Computer Interaction

Kategorien
Anwendungsentwicklung - Hochschule Augsburg

IMTsys

Analysesystem für Ultraschallsequenzen

https://vimeo.com/560612268

Herz-Kreislauf-Erkrankungen sind die führende Todesursache in Deutschland und verursachen insgesamt etwa 40 Prozent aller Sterbefälle. Darüber hinaus sind sie mit erheblichen individuellen Krankheitsfolgen verbunden und verursachen hohe gesellschaftliche Krankheitskosten [1].

Durch eine rechtzeitige Ermittlung von Risikofaktoren könnten diese Erkrankungen aber frühzeitig erkannt und adäquate Therapiemaßnahmen eingeleitet werden. Gesundheitsdaten wie das Gewicht oder der Blutdruck von Patient:innen sind aber aber nur vergleichsweise schwache Indikatoren.

Die Wissenschaftler:innen an der Universität Basel untersuchen hingegen die Möglichkeit der Analyse von Ultraschallsequenzen der Halsschlagader. Die Aufnahme dieser Daten stellt eine niederschwellige Analysemethode dar, die keine aufwendigen Verfahren oder gar operative Eingriffe benötigt, sondern auch regelmäßig beim ansässigen Hausarzt durchgeführt werden könnte.

Bei der Analyse werden die Halsschlagader selbst, die Dicke der Gefäßwände (besonders die „Intima-Media-Dicke“) und mögliche Ablagerungen an jenen Gefäßwänden untersucht.

Die manuelle Auswertung der Ultraschallsequenzen für die Forschung erfordert dabei einen enormen Arbeitsaufwand. Für aktuelle Studien müssen oft tausende von Ultraschallsequenzen durchsucht und sortiert werden, um nur die Bilder zu erhalten, bei denen die Gefäßwände in der richtigen Lage deutlich sichtbar sind. Erst im Anschluss können die eigentlichen Messungen durchgeführt werden.

Unser Analysetool IMTsys erleichtert diese Arbeit, indem es die Wissenschaftler:innen bei der Vorauswahl unterstützt.

Mittels Bildverarbeitungsalgorithmen wird zunächst das EKG analysiert, um die für die Analyse optimalen Zeitpunkte im Herzrhythmus zu finden. Ein Optical-Flow-Algorithmus filtert anschließend unruhige Bilder. Schließlich wird durch Einsatz eines selbsttrainierten Neuronalen Netzes eine Bildsegmentierung durchgeführt.

So können durch die Vorverarbeitung zunächst alle unbrauchbaren Bilder gefiltert werden. Mithilfe des Neuronalen Netzes kann anschließend eine „Region of Interest“ bestimmt werden, innerhalb der die Gefäßwände gut sichtbar sind. Diese kann nun exportiert und anschließend direkt in das Tool zur Ultraschallmessung importiert werden, um die Messung durchzuführen. Dadurch wird der Zeitaufwand für die Forschenden deutlich reduziert.

Rahmendaten:

  • Jahr: 2021
  • Studierende: Anton Hummel, Que Linh Phan, Dorian Kemgang Mbeugang, Simon Müller, Fabien Zwick
  • Semester: Master
  • Studiengang: Informatik
  • Supervision: Prof. Dr.-Ing. Alexandra Teynor, Prof. Dr. Arno Schmidt-Trucksäss
  • Tags: IMT, Computer Vision, Python, JavaFx, FastAPI, Tensorflow, Deep Learning, U-net, Image Recognition

Kategorien
Big Data Science - LMU München

Argument Mining Driven Analysis of Peer-Reviews

The task of peer-reviewing is central to the area of scientific publications. But it is a cumbersome process, due to the growing review workload and newer fields. Argument mining has enabled understanding not only the positions adopted by the people but also the reason why they do so. In the domain of the scientific discourse, specifically in peer-reviewing, this can be potentially used to drive the process.
In our work, we defined the objective to design and develop a reviewing expert system that can assist the editors, meta-reviewers, and reviewers. We demonstrated that the decision process in peer-reviewing is driven by arguments and automatic argument identification can be used to facilitate the process. Within the scope of our project, we defined, structured, and annotated our own scientific-reviews dataset and used it to train our model to extract relevant arguments and then make predictions on the acceptability of the paper. Our machine-learning model achieved near-human performance and showed that arguments are paramount for the publication decision. The process remains interpretable since the extracted arguments can be highlighted in a review without detaching them from their context.

Ressources: Code, Dataset, AAAI-2021 Paper
Team: Siddharth Bhargava, Ruoxia Qi, Yao Zhang, Lukas Dennert, Sophia Selle, Yang Mao
Betreuung: Michael Fromm
Leitung des Innovationslabors: Prof. Dr. Thomas Seidl, Prof. Dr. Bernd Bischl
Infrastruktur: Prof. Dr. Dieter Kranzlmüller
LMU Innovation Lab: https://innolab.ifi.lmu.de/

Kategorien
Big Data Science - LMU München

Predicting atmospheric weather pattern in climate simulations


Climate Change alters the atmospheric circulation over Europe and increases the risk of heavy precipitation. ‚Tief Mitteleuropa‘ and ‚Trog Mitteleuropa‘ are two atmospheric circulation patterns that are associated with heavy precipitation over Central Europe.

Domain of interest

Thus the research question of how climate change influences their occurrence is of high relevance. However, the spatio-temporal data structure and the imbalanced classes demand for sophisticated modelling architectures in order to detect these circulation patterns in climate models. This project introduces and compares deep learning algorithms that are able to tackle the problem of detecting the two atmospheric circulation classes. A ResNet18 and a Convolutional LSTM are set up and fitted to the data.

Overall, both model types are generally able to detect the atmospheric circulation patterns and, moreover, carry immense potential in the way they can be set up and fitted to the data. These promising results open the gate for further research in the future.

The model is embedded in an intuitive pipeline that includes modules for preprocessing, modelling and training in pytorch. This pipline is available as a pip-installable python package. The package can be downloaded from Github. In consequence, users are able to train their own weather models by one single command or exchange preprocessing, modelling and training steps in the pipeline by their own modules.

Python Package

This summer, a short paper was published and presented at the EnviroInfo Conference 2021 in Berlin:
Funk, H., Becker, C., Hofheinz, A., Xi, G., Zhang, Y., Pfisterer, F., Weigert, M., & Mittermeier, M. (forthcoming). Towards an automated classification of Hess & Brezowsky's atmospheric circulation patterns Tief and Trog Mitteleuropa using Deep Learning Methods. In Environmental Informatics: A bogeyman or saviour to achieve the UN Sustainable Development Goals?. Shaker.

Team: Carolin Becker, Henri Funk, Andreas Hofheinz, Guoren Xi, Yao Zhang
Betreuung: Florian Pfisterer, Christoph Molnar, Magdalena Mittermeier, Maximilian Weigert
Leitung des Innovationslabors: Prof. Dr. Thomas SeidlProf. Dr. Bernd Bischl
LMU Innovation Lab: https://innolab.ifi.lmu.de/