Wie könnte eine bessere Kommunikation zwischen einem Fahrer und seinem Fahrzeug, abhängig vom Automatisierungsgrad verbessert werden? Dieser Frage widmet sich ein Forschungsprojekt des Fraunhofer Insitut.
Das Forschungsprojekt widmet sich dabei Themen wie der Sensorik zur Beobachtung des Innenraums sowie Sprachmodellen. Hiermit soll neben der Sicherheit auch der Komfort erhöht werden.
In ein paar Jahren könnten Fahrer vielleicht folgende Sätze von ihrem Fahrzeug hören:
„Achtung, wenn du jetzt weiterliest, könnte dir bei der kurvigen Strecke schlecht werden. In fünf Minuten fahren wir auf der Autobahn, dann ist es besser“ oder auch „Gleich wird es regnen und wir müssen das automatische Fahren beenden. Bitte bereite Dich darauf vor, selbst ein Stück zu fahren. Es tut mir leid, dass Du Deinen Laptop jetzt sicher verstauen musst. Sicherheit geht vor.“
Denn, so ein Forschungsteam aus den Fraunhofer-Instituten für Optronik, Systemtechnik und Bildauswertung IOSB und für Arbeitswirtschaft und Organisation IAO, mit zunehmendem Automatisierungsgrad der Fahrzeuge muss auch die Interaktion mit den Menschen neu gedacht werden.
Forschungsprojekt Karli
Dieser Aufgabe stellen sich die Forschenden zusammen mit zehn Partnern, darunter Continental, Ford und Audi, sowie eine Reihe von mittelständischen Unternehmen und Universitäten im Projekt Karli.
„Im Projekt Karli entwickeln wir KI-Funktionen für die Automationslevel zwei bis vier. Dafür erfassen wir Zustände von Fahrerinnen und Fahrern und gestalten unterschiedliche Mensch-Maschine-Interaktionen, die für die jeweiligen Level typisch sind“, erklärt Projektkoordinator Frederik Diederichs vom Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe.
Interaktion an Automatisierungslevel anpassen
Fahrerinnen und Fahrer müssten sich je nach Automatisierungslevel auf die Straße konzentrieren oder können sich mit anderen Tätigkeiten befassen. Sie haben, so die Forscher, zehn Sekunden Zeit, das Lenkrad wieder zu übernehmen, oder müssen zum Teil gar nicht mehr eingreifen.
Passende Interaktionen für jede Ebene zu definieren sei sehr komplex – aufgrund der unterschiedlichen Anforderungen an die Nutzenden und der Möglichkeit, je nach Straßensituation zwischen den verschiedenen Levels zu wechseln.
Auch müsste den Fahrenden stets bewusst sein, in welchem Automatisierungslevel sie sich befinden – und das muss wiederum durch Interaktion und Design sichergestellt werden.
Warnungen und Hinweise
Die im Projekt Karli entwickelten Applikationen setzen drei Schwerpunkte: Zum einen sollen Warnungen und Hinweise levelkonformes Verhalten befördern und zum Beispiel verhindern, dass die Fahrerin oder der Fahrer in einem Moment abgelenkt ist, der Aufmerksamkeit auf die Straße erfordert.
Die Nutzeransprache muss dabei dem jeweiligen Level angepasst sein – visuell, akustisch, haptisch oder eine Kombination aus diesen Möglichkeiten. KI-Agenten würden dabei die Interaktion steuern – die Partner evaluieren deren Leistungsfähigkeit und Zuverlässigkeit.
Ein zweiter Schwerpunkt betrifft das Risiko von Reiseübelkeit, das vorhergesehen und minimiert werden soll, denn es handle sich dabei um eines der größten Probleme beim passiven Fahren. Zwischen 20 und 50 Prozent der Menschen leiden den Angaben zufolge an dieser sogenannten Motion Sickness.
„Durch den Abgleich von Aktivitäten der Insassen mit erwartbaren Beschleunigungen auf kurvenreichen Strecken, können wir eine KI befähigen, den richtigen Insassen zum richtigen Zeitpunkt Tipps zur Vermeidung von Motion Sickness, mit Bezug auf deren aktuelle Aktivitäten zu geben“, so Diederichs.
Dafür würden sogenannte generierte User Interfaces, kurz ,GenUIn‘, genutzt – zur individualisierten Interaktion zwischen Mensch und KI.
KI-Interaktion
Und auf dieser KI-Interaktion liegt der dritte Schwerpunkt im Forschungsprojekt. GenUIn soll individualisierte Ansprachen kreieren und Hinweise geben, wie Übelkeit vermindert werden kann, falls sie trotzdem auftritt.
Die aktuelle Tätigkeit wird per Sensoren erfasst. Die Tipps könnten sich dann auf die Tätigkeit beziehen, aber auch berücksichtigen, welche Möglichkeiten im aktuellen Kontext überhaupt zur Verfügung stehen.
Außerdem sollen die Nutzer auch Wünsche äußern können, und so die Interaktion im Fahrzeug nach und nach personalisiert werden können.
Berücksichtigt werden müsse dabei immer das Automationslevel: Beispielsweise kurze und rein sprachliche Hinweise, wenn der Fahrende sich auf die Straße konzentriert oder ausführlichere und über visuelle Kanäle, wenn das Fahrzeug gerade die Fahraufgabe ausführt.
Zur Erfassung der Aktivitäten im Fahrzeug sollen verschiedene KI-gestützte Sensoren zum Einsatz kommen: optische Sensoren aus Innenraumkameras, die durch die aktuelle Gesetzgebung zum autonomen Fahren ohnehin verpflichtend werden, um die Fahrtüchtigkeit der Fahrenden sicherzustellen.
Die visuellen Daten der Kameras sollen dann mit großen Sprachmodellen zu sogenannten Vision-Language-Models (VLM) kombiniert werden.
Diese sind dem Forschungsteam zufolge die Grundlage dafür, dass moderne Fahrerassistenzsysteme in (teil-)autonomen Fahrzeugen Situationen im Innenraum semantisch erfassen und darauf reagieren können.
Quasi wie ein Butler, der sich im Hintergrund hält, aber den Kontext kennt und den Insassen bestmögliche Unterstützung bietet, meint Diederichs.
Anonymisierung und Datenschutz
Wesentlich seien laut Diederichs bestmögliche Anonymisierung und Datensicherheit sowie eine transparente und erklärbare Erfassung der Daten.
„Entscheidende Faktoren für die Akzeptanz solcher Systeme sind Vertrauen in den Dienstanbieter, die Datensicherheit und ein direkter Nutzen für die Fahrenden“, betont Frederik Diederichs und erklärt weiter: „Nicht alles, was im Sichtfeld einer Kamera ist, wird ausgewertet. Es muss transparent sein, welche Informationen ein Sensor erfasst und wofür sie genutzt werden. Wie das gewährleistet werden kann, erforschen wir in unserer Arbeitsgruppe Xplainable AI am Fraunhofer IOSB.“
In einem weiteren Projekt namens Anymos arbeiten die Fraunhofer-Forschenden daran, Kameradaten zu anonymisieren, datensparsam zu verarbeiten und effektiv zu schützen.
Dateneffizienz
Das vom Bundesministerium für Wirtschaft und Klimaschutz geförderte Forschungsprojekts befasst sich auch mit dem Thema Dateneffizienz.
„Unser Small2BigData-Ansatz braucht nur wenige, qualitativ hochwertige KI-Trainingsdaten, die empirisch erhoben und synthetisch erzeugt werden. Sie bilden die Basis dafür, dass die Automobilhersteller wissen, welche Daten sie später im Serienbetrieb erfassen müssen, um das System nutzen zu können“, erklärt Diederichs.
So soll der Datenaufwand überschaubar bleiben und die Projektergebnisse skalierbar werden. Vor Kurzem nahm das Forschungsteam ein mobiles Forschungslabor auf Basis eines Mercedes EQS in Betrieb, um die Nutzerbedürfnisse beim automatisierten Fahren im Level 3 auf der Straße besser zu erforschen.
Dort sollen die Erkenntnisse aus dem Karli-Projekt in der Praxis getestet und evaluiert werden. Erste Funktionen könnten, so die Angaben, bereits 2026 in Serienfahrzeugen zur Verfügung stehen.
