Das Projekt SLEM wird durch das Ministerium für Wirtschaft, Arbeit und Tourismus Baden-Württemberg im Rahmen des KI-Innovationswettbewerbs Baden-Württemberg gefördert. Das Forschungsprojekt begann am 1. Januar 2021 und endete am 31. Dezember 2021.
Das Projekt "Selbstlernende und selbsterklärende Maschine" (SLEM) ist einForschungsprojekt, an dem SABO Mobile IT und Partner im Jahr 2021 arbeiten. DieIdee hinter SLEM ist es, einen intelligenten Assistenten zu entwickeln, der sich bei der Bedienung von Maschinen an unterschiedliche Wissensstände desNutzers anpasst und den diesen durch komplexe Produktionsprozesse führt[TF1] . Dazu werden die Maschinen- und Interaktionsdaten mit Hilfe verschiedener Sensoren erfasst. Diese Daten werden dann für das Training der künstlichen Intelligenz (KI) verwendet. So kann die KIden Benutzer beobachten und lernen, wie die Maschine zu bedienen ist.
Gemeinsam mit demFraunhofer-Institut für Produktionstechnik und Automatisierung (IPA) und der Knowtion GmbH entwickelt SABO Mobile IT die "Selbstlernende und selbsterklärende Maschine - SLEM" in einer agilen Projektumgebung. DasFraunhofer IPA war für die Erfassung und Aufbereitung der Maschinen interaktionsdaten verantwortlich. Also Daten darüber, wie der Nutzer mit der Maschine und ihrer Umgebung interagiert. Die Knowtion GmbH sammelte und verarbeitete Maschinendaten, um zusätzliche Informationen über Maschinenzustände zu erhalten. Die Zusammenführung der beiden Datenpakete vonFraunhofer IPA und Knowtion war Teil des Arbeitspaketes der SABO Mobile IT.Darüber hinaus haben wir daran gearbeitet, wie man einen unerfahrenen Maschinenbediener auf der Grundlage der von einem erfahrenen Maschinenbediener gesammelten Daten anleitet und ein Handbuch bzw. einen Benutzerleitfaden daraus ableitet.
Das Hauptziel vonSLEM ist es, ein System zu entwickeln, das einen geschulten Benutzer beobachtet und selbständig lernt, wie die Maschine bedient werden sollte. Dadurch ist SLEMin der Lage zu erkennen, welche Informationen erforderlich sind, um Benutzermit unterschiedlichem Kenntnisstand durch komplexe Prozesse zu führen.
Der SLEM-Service besteht aus drei verschiedenen Diensten. Zunächst sammelt Fraunhofer die Daten, die im Kontext dieses Projekts aus der Mensch-Maschine-Interaktion bestehen, die aus den Videodaten extrahiert werden. Die Videodaten werden von einerKamera aufgenommen, die den Bediener beobachtet, während er oder sie mit derMaschine arbeitet. Gleichzeitig sammelt Knowtion IoT-Daten von der Maschine und analysiert sie mit Hilfe von KI. Die beiden zuvor gesammelten Datenpakete werden dann von SABO zusammengeführt und weiterverarbeitet. Je nach Seniorität des Bedieners arbeitet der SLEM-Service entweder im Lernmodus oder imLehrmodus. Im Lernmodus (erfahrener Maschinenbediener) extrahiert SLEM einenLeitfaden auf Basis der gesammelten Daten und trainiert mehrere maschinelleLernmodelle, um das Bedienerverhalten in einen Leitfaden zu abstrahieren. SLEM generiert ebenfalls ein Handbuch mit Hilfe eines Textgenerierungsalgorithmus. Im Gegensatz zum Lernmodus gibt es auch einen Lehrmodus, der ausgewählt wird, wenn ein unerfahrener Maschinenbediener mit der durch SLEM erweiterten Maschine arbeitet. Der Lernmodus stellt dem Benutzer das Handbuch zur Verfügung und nutzt zusätzlich die zuvor trainierten maschinellen Lernmodelle, um möglicheFehler zu erkennen und vorherzusagen. Auf diese Weise führt SLEM einen ungeschulten Bediener durch den Prozess.
Schwierigkeiten/Herausforderungen
Leider wurde dieEntwicklung von SLEM auch durch die COVID-19-Pandemie beeinflusst. Die mit derPandemie verbundenen Einschränkungen machten die Datenerfassung für die verschiedenen Aufgaben des maschinellen Lernens extrem schwierig. Während derEntwicklung haben wir die folgenden Herausforderungen gemeistert:
- Sammeln undVerarbeiten von Maschinendaten mit Hilfe von KI
- Erfassung undVerarbeitung von Mensch-Maschine-Interaktionen mit Hilfe von KI
- Datenfusion
- Training von maschinellen Lernmodellen, um von einem erfahrenen Maschinenbediener zu lernen
- Generierung eines textbasierten Handbuchs aus den gesammelten Informationen
- Anleitung eines unerfahrenen Maschinenbedieners mit Hilfe der trainierten Modelle
Darüber hinausmussten wir aufgrund der bereits erwähnten Einschränkungen durch COVID-19Algorithmen entwickeln, die mit einer begrenzten Datenmenge arbeiten können und dennoch vernünftige Ergebnisse liefern.
Das SLEM-Projekt lieferte ein Proof of Concept (PoC) für einen intelligenten Assistenten, der durch Beobachtung des Maschinenbedieners und Verarbeitung der relevanten Maschinendaten lernt. SLEM ist in der Lage, aus den durch Bildverarbeitung er kannten Aktivitäten eine textbasierte Anleitung zu generieren. Darüber hinauskann SLEM die Anleitung einem ungeschulten Bediener anzeigen. Außerdem kann esDiskrepanzen zwischen dem, was der Benutzer tut, und dem, was SLEM gemäß dem generierten Leitfaden erwartet, erkennen. Der selbstlernende Aspekt wurde durch die Implementierung eines Trainingsmechanismus erreicht, der durch das Sammeln von weiteren Daten weiter ausgebaut und optimiert werden kann. Dadurch wird derGesamtprozess im Laufe der Zeit verbessert. Auf diese Weise können z.B. dieWartung von Spezialmaschinen, die Bedienung von Maschinen undProduktionsprozesse komplexer Produkte den Bedienern auf vereinfachte Weise vermittelt werden.
SLEM kann inZukunft die Produktivität steigern, indem es den Schulungsaufwand fürungeschulte Maschinenbediener reduziert. Der Plan der Projektpartner für dieZukunft ist, SLEM auf die nächste Stufe zu bringen und weiter zu verfeinern.Zum Beispiel durch die Integration einer natürlichen Benutzeroberfläche (NUI –Natural User Interface). Der Benutzer könnte den Arbeitsablauf mit Hilfe vonGesten oder Sprache steuern. Auch andere Konzepte könnten in einem weiterenProjekt untersucht werden. Dadurch könnte die Interaktion mit SLEM einfacher und noch selbsterklärender werden.
Einausführlicherer Blog-Beitrag mit detaillierten Erklärungen, Überlegungen und unseren Erfahrungen bei der Entwicklung des selbstlernenden Aspekts von SLEM wird in Kürze folgen. Sie werden auch mehr über die verschiedenen Ansätze des maschinellen Lernens erfahren, die wir verwendet haben, und wie sie uns geholfen haben, SLEM zu realisieren.
