Erster frei verfügbarer Multisensordatensatz für maschinelles Lernen für die Entwicklung des vollautomatisierten Fahrens: OSDaR23
Beim vollautomatisierten Fahren im Automatisierungsgrad GoA4 übernimmt Sensorik am Zug die Wahrnehmung von Objekten und Hindernissen im Gleisumfeld. Die Auswertung der Sensordaten erfolgt dabei über KI-Modelle auf Basis des Maschinellen Lernens (ML). Die Zuverlässigkeit der Systeme hängt dabei vom ihrem „Lernpensum“, also der Menge der verfügbaren Datensätze, ab. Gemeinsam mit dem Deutschen Zentrum für Schienenverkehrsforschung (DZSF) hat die DB Netz AG im Rahmen der Sektorinitiative Digitale Schiene Deutschland nun einen ersten solchen Datensatz für den Bahnbereich erstellt und veröffentlicht.
Beim zukünftigen vollautomatisierten Fahren übernehmen technische Systeme Aufgaben, die zuvor der Triebfahrzeugführer ausgeführt hat. Neben dem eigentlichen Fahren gehört dazu auch die Streckenbeobachtung. Dafür werden sensorbasierte Wahrnehmungssysteme entwickelt, welche es ermöglichen, Objekte im Zugumfeld wahrzunehmen. Diese Systeme bestehen aus verschiedenen Sensoren, die i. d. R. an der Zugfront angebracht werden. Diese sollen möglichst bei allen Sicht- und Witterungsverhältnissen (Tag, Nacht, Regen etc.) zuverlässig Bilder der Umgebung liefern. Dafür wird zumeist eine Multisensorkonfiguration aus Kameras für mittlere und große Sichtweiten, Infrarotkameras, LiDARen (Light Detection And Ranging) und Radaren verwendet. KI-Software interpretiert im Anschluss das durch die Sensordaten erfasste Umfeld.
KI-Software, welche die Daten einer solchen Multisensorkonfiguration interpretieren kann, basiert auf Verfahren des Maschinellen Lernens (ML). Dafür muss sie mit einer sehr großen Menge an Sensordaten trainiert werden. Die Daten werden dabei „annotiert“: Annotationen sind Markierungen in Bildbereichen, welche die zu trainierenden Objekte zeigen, beispielsweise Schienen, Oberleitungsmasten, Personen, etc. (s. Abbildung 1). Bisher gibt es kaum öffentliche Datensätze aus dem Bahnbereich, weshalb die DB Netz AG im Rahmen der Sektorinitiative „Digitale Schiene Deutschland“ und das Deutsche Zentrum für Schienenverkehrsforschung (DZSF) beim Eisenbahn-Bundesamt (EBA) den ersten öffentlich verfügbaren Multisensordatensatz OSDaR23 erstellt haben. Der im Rahmen des Projektes annotierte Sensordatensatz wurde in mehreren Datenerhebungsfahrten in Hamburg durch die Digitale Schiene Deutschland aufgezeichnet. Der Datensatz umfasst reguläre Betriebsumgebungen und -situationen. Einige besondere Situationen und Objekte (Flammen und Rauch) wurden gestellt.
Die Sensoren wurden an der Spitze eines Gleisarbeitsfahrzeugs montiert und zueinander kalibriert. Abbildung 1, oben links, zeigt die Montage der Sensoren an der Spitze des Fahrzeugs. Es wurden Daten folgender 24 Sensoren mit einer Aufnahmefrequenz von 10 Hz und zeitlicher Synchronisation aufgezeichnet (s. Abbildung 2):
- 3 hochauflösende Kameras, 3 mittelauflösende Kameras, 3 Infrarotkameras
- 3 Langstrecken-LiDARe, 1 Mittelbereichs-Lidar, 2 Kurzstrecken-LiDARe
- 1 Langstreckenradar, 4 Inertiale Messeinheiten, 4 GPS/GNSS-Sensoren
Des Weiteren wurde eine Annotationsvorschrift entwickelt, die die verwendeten Annotationsarten bzw. -geometrien und die zu annotierenden Objektklassen beschreibt. Die Daten sind im Annotationsformat ASAM Open LABEL abgelegt.
Der Annotationsvorschrift folgend hat die Firma Fusion Systems GmbH rund 204.000 Objekte aus 20 verschiedenen Objektklassen in den Sensordaten annotiert (s. Abbildung 3).
Der Multisensordatensatz OSDaR23 wird zukünftig in der Data Factory der Digitalen Schiene Deutschland verwendet, um KI-Software für die Umfeldwahrnehmung zu trainieren. Zukünftig werden weitere annotierte Multisensordatensätze erstellt, die dann ebenfalls über die Data Factory zur Verfügung stehen. Eine ausführliche Beschreibung über die Aufnahmen, die Inhalte und die Annotationen des Datensatzes sind in unserem Fachartikel in der Eisenbahntechnische Rundschau 04/23 veröffentlicht.
Die im Datensatz OSDaR23 enthaltenen Multisensordaten und die zugehörigen Annotationen lassen sich unter folgendem Link herunterladen:
[ref: https://doi.org/10.57806/9mv146r0]
Für eine einfache Verwendung des Datensatzes, hat die DB Netz AG außerdem eine passende Python-Softwareentwicklungsumgebung veröffentlicht:
[ref: https://github.com/DSD-DBS/raillabel]
Zur Visualisierung des Datensatzes kann der WebLabel Player der Vicomtech Forschungsstiftung verwendet werden:
