Multisensordatensatz für KI-basierte Umfeldüberwachung veröffentlicht
Ein umfangreicher Multisensordatensatz schafft die Grundlage für KI-basierte Umfeldüberwachung für das vollautomatische Fahren. Der Datensatz wurde gemeinsam von der DB InfraGO im Rahmen der Sektorinitiative Digitale Schiene Deutschland und der understandAI GmbH (UAI) erstellt und enthält über sieben Millionen präzise Annotationen realer Bahnfahrten.
Umfeldüberwachung als Schlüsseltechnologie für die Automatisierung
Die zuverlässige Wahrnehmung des Gleisumfelds ist eine zentrale Voraussetzung für das automatisierte Fahren im Bahnverkehr. Bereits beim Automatisierungsgrad ATO GoA2 – mit Triebfahrzeugführer an Bord – können Assistenzsysteme die Streckenbeobachtung erheblich verbessern. Bei ATO GoA4, dem vollautomatischen, fahrerlosen Betrieb, muss das System in der Lage sein, das Umfeld selbstständig und in Echtzeit zu erfassen und auf Gefahren zu reagieren.
Hier kommen KI-basierte Verfahren ins Spiel. Damit diese zuverlässig funktionieren, benötigen sie große Mengen hochwertiger Trainingsdaten – möglichst realitätsnah, vielfältig und präzise annotiert. Annotationen sind Markierungen in Rohdaten zum Trainieren, Testen und Validieren von KI-Verfahren. Genau das liefert der neue Multisensordatensatz, der im Rahmen der Sektorinitiative Digitale Schiene Deutschland (DSD) von der DB InfraGO AG in Zusammenarbeit mit der understandAI GmbH (UAI) erstellt wurde.
Für größtmögliche Datenvielfalt wurden zwei unterschiedliche Schienenfahrzeuge mit umfangreicher Sensorik ausgerüstet:
Gleisarbeitsfahrzeug (GAF)
Im Rahmen eines DB-internen Projekts wurde ein Gleisarbeitsfahrzeug mit sechs RGB-Kameras, drei Infrarotkameras, sechs LiDARs, einem Radar sowie weiteren Sensoren ausgestattet. Die Testfahrten fanden in infrastrukturell vielfältigen Gebieten in Hamburg und Berlin statt.
S-Bahn Hamburg (BR 472)
Im Projekt Sensors4Rail – mit Partnern wie Bosch Engineering, Siemens Mobility, HERE Technologies und MicroVision – wurde ein S-Bahn-Zug auf der 23 Kilometer langen Strecke der Linie S21 mit Kameras, Lidar- und Radar-Sensoren ausgerüstet.
7 Millionen Annotationen für 21 Objektklassen
Seit 2021 wurden dadurch über sieben Millionen Annotationen für insgesamt 21 Objektklassen erstellt – darunter Personen, Fahrzeuge, Signale, Tiere, Fahrräder, Gleise und weitere relevante Objekte. Die Kombination aus automatisierten Annotationsverfahren mittels Softwaretools sowie manueller Nachbearbeitung und Qualitätskontrolle gewährleistet höchste Datenqualität.
Die Annotationen wurden auf mehreren Ebenen durchgeführt: von 3D-Lidar-Daten über RGB- und Infrarotbilder bis hin zu Radardaten. Hierbei kamen spezifische Projektionsverfahren zum Einsatz, etwa die Umwandlung von 3D-Boxen in 2D-Bounding-Boxes oder Polygone. Die Annotationen wurden außerdem mit Zusatzinformationen versehen (z. B. Objektattribute) und durchliefen einen mehrstufigen Prüfprozess. UAI erreichte dabei einen Spitzenlieferdurchsatz von 140.000 Annotationen pro Woche.
Anwendungsmöglichkeiten und Ausblick
Der Multisensordatensatz eröffnet eine Vielzahl von Anwendungsfeldern:
- Training KI-basierter Umfeldwahrnehmung
- Entwicklung von Fahrerassistenzsystemen (GoA2)
- Objekterkennung für vollautomatisierte Anwendungen (GoA4)
- Infrastrukturanalyse und digitale Instandhaltung
- Simulationen für autonome Zugsteuerung
Die Arbeiten an dem Datensatz sind abgeschlossen und er kann nun der Industrie zur Entwicklung von Umfeldüberwachungssystemen bereitgestellt werden. Damit wurden wichtige Impulse in den Sektor gesendet. Der Datensatz kann Interessierten und Partnern als Basis für eine zukünftige Weiterentwicklung durch die Industrie zur Verfügung gestellt werden (Anfrage per E-Mail an martin.koeppel@deutschebahn.com oder philipp.neumaier@deutschebahn.com).
Weitere Informationen finden Sie in einem ausführlichen Artikel im Fachmagazin Deine Bahn (Ausgabe August 2025).
