Anwendungsentwicklung – Hochschule Augsburg

Augmented Reality Industrial Assistant System

ARIAS demonstriert zukünftige Interaktionstechnologien, Augmented Reality und Mixed Reality, in der Produktion. Arbeitende an einer Produktionslinie werden mit einer HoloLens-Brille intuitiv unterstützt, so dass effizientes, freihändiges, sicheres und koordiniertes Arbeiten möglich ist.

Im konkreten Beispiel unterstützt ARIAS den Nutzer beim Zusammenbau eines Lego-Technik-Traktors. Hierzu wird durch die MR-Brille HoloLens eine virtuelle Hilfestellung in Form von Fenstern, 3D-Animationen und 3D-Objekten angeboten. Um ein industrielles Szenario abzubilden, wurde der Zusammenbau als Teil einer Montagelinie gestaltet. In komplexen Prozessen wie einer Montagelinie gibt es oft eine Aufteilung der Aufgaben nach Rollen.

Zentral ist dabei die Rolle des Monteurs, der den Zusammenbau der beschafften Bauteile übernimmt. Jeder seiner Aufträge ist in Schritte unterteilt, jeder Schritt wird ihm durch ein animiertes und interaktives 3D Model visualisiert. Ist ein Schritt bearbeitet wechselt er in den nächsten, solange bis alle Schritte des Auftrags abgearbeitet wurden und der Bauabschnitt damit fertig montiert ist.
Eine weitere Rolle ist der Picker. Seine Aufgabe ist es, den anderen Rollen zuzuarbeiten, indem er benötigte Teile aus dem Bauteillager beschafft. Mit der Größe der Produktpalette nimmt auch das Lager schnell unübersichtliche Ausmaße an. Daher wird der Picker nicht nur durch Einblendung von Aussehen, Regal- und Fach-Nummer des Bauteils, sondern auch durch Anzeige eines detaillierten Lagerplans unterstützt. Es muss auch sichergestellt werden, dass wir alles korrekt zusammengebaut haben.
An dieser Stelle kommt der Tester zum Zug, seine Aufgabe ist es, Bauabschnitte auf Fehler zu überprüfen. Um dabei möglichst gewissenhaft vorgehen zu können, steht Ihm ein interaktives 3D-Modell des jeweiligen Teilstücks zur Verfügung, damit kann er Vorgabe und Realität genauestens vergleichen. Seine Ergebnisse hakt er anschließend auf einer eingeblendeten Checkliste ab.

Für ein kooperatives Arbeiten werden alle Aufgaben anhand ihrer Abhängigkeiten vom zentralen Server an die Rollen verteilt. So wird sichergestellt, dass die Arbeiten möglichst nahtlos ineinander übergehen und die Linie effizient produziert.

Als Partner wurde die Projektgruppe unterstützt durch die XITASO GmbH aus Augsburg. XITASO ist Experte für Software Engineering und unterstützt B2B-Kunden bei der Planung, Gestaltung und Umsetzung von digitalen Lösungen für Produkte, Prozesse und Portale.

Rahmeninformationen:

Jahr: 2021
Studierende: Florian Klingauf, Philipp Gaag, Michael Schnitzler, Christoph Selentin, Roman Kolesnikov, Fabian Kreißl, Emre Karpuz
Semester: 4.Semester
Studiengang: Informatik
Supervision: Prof. Dr. Michael Kipp, Viktor Werlitz
Tags: Augmented Reality, Mixed Reality, HoloLens, Human-Computer Interaction

Analysesystem für Ultraschallsequenzen

https://vimeo.com/560612268

Herz-Kreislauf-Erkrankungen sind die führende Todesursache in Deutschland und verursachen insgesamt etwa 40 Prozent aller Sterbefälle. Darüber hinaus sind sie mit erheblichen individuellen Krankheitsfolgen verbunden und verursachen hohe gesellschaftliche Krankheitskosten [1].

Durch eine rechtzeitige Ermittlung von Risikofaktoren könnten diese Erkrankungen aber frühzeitig erkannt und adäquate Therapiemaßnahmen eingeleitet werden. Gesundheitsdaten wie das Gewicht oder der Blutdruck von Patient:innen sind aber aber nur vergleichsweise schwache Indikatoren.

Die Wissenschaftler:innen an der Universität Basel untersuchen hingegen die Möglichkeit der Analyse von Ultraschallsequenzen der Halsschlagader. Die Aufnahme dieser Daten stellt eine niederschwellige Analysemethode dar, die keine aufwendigen Verfahren oder gar operative Eingriffe benötigt, sondern auch regelmäßig beim ansässigen Hausarzt durchgeführt werden könnte.

Bei der Analyse werden die Halsschlagader selbst, die Dicke der Gefäßwände (besonders die „Intima-Media-Dicke“) und mögliche Ablagerungen an jenen Gefäßwänden untersucht.

Die manuelle Auswertung der Ultraschallsequenzen für die Forschung erfordert dabei einen enormen Arbeitsaufwand. Für aktuelle Studien müssen oft tausende von Ultraschallsequenzen durchsucht und sortiert werden, um nur die Bilder zu erhalten, bei denen die Gefäßwände in der richtigen Lage deutlich sichtbar sind. Erst im Anschluss können die eigentlichen Messungen durchgeführt werden.

Unser Analysetool IMTsys erleichtert diese Arbeit, indem es die Wissenschaftler:innen bei der Vorauswahl unterstützt.

Mittels Bildverarbeitungsalgorithmen wird zunächst das EKG analysiert, um die für die Analyse optimalen Zeitpunkte im Herzrhythmus zu finden. Ein Optical-Flow-Algorithmus filtert anschließend unruhige Bilder. Schließlich wird durch Einsatz eines selbsttrainierten Neuronalen Netzes eine Bildsegmentierung durchgeführt.

So können durch die Vorverarbeitung zunächst alle unbrauchbaren Bilder gefiltert werden. Mithilfe des Neuronalen Netzes kann anschließend eine „Region of Interest“ bestimmt werden, innerhalb der die Gefäßwände gut sichtbar sind. Diese kann nun exportiert und anschließend direkt in das Tool zur Ultraschallmessung importiert werden, um die Messung durchzuführen. Dadurch wird der Zeitaufwand für die Forschenden deutlich reduziert.

Rahmendaten:

Jahr: 2021
Studierende: Anton Hummel, Que Linh Phan, Dorian Kemgang Mbeugang, Simon Müller, Fabien Zwick
Semester: Master
Studiengang: Informatik
Supervision: Prof. Dr.-Ing. Alexandra Teynor, Prof. Dr. Arno Schmidt-Trucksäss
Tags: IMT, Computer Vision, Python, JavaFx, FastAPI, Tensorflow, Deep Learning, U-net, Image Recognition