- Bildsensoren für automatisierte Fahrzeuge Immer gute Sicht
- Über das menschliche Auge hinaus
- Weniger Verkehrstote
- Höhere Leistungsfähigkeit
- Einwilligung in die Verwendung von Daten zu Werbezwecken
- Ampeln und Schilder korrekt erkennen
- Einsatz von Hyperlux-Sensoren
Bildsensoren für automatisierte Fahrzeuge Immer gute Sicht
Immer mehr Fahrzeuge sind heute mit Fahrerassistenzsystemen oder automatisierten Fahrsystemen ausgestattet, die eine teilweise Automatisierung des Fahrens ermöglichen. Dazu zählen Stauassistent, automatischer Parkassistent, Spurhalteassistent oder Toter-Winkel-Warnung. Viele dieser Funktionen werden durch Kameras mit Automotive-Bildsensoren möglich. Ein Anbieter dieser Bildsensoren ist onsemi.
Kameras für ADAS oder AD müssen in der Lage sein, detaillierte Bilder bei unterschiedlichen Lichtverhältnissen zu erfassen. (Bild: frei lizensiert bei Pixabay)
In den meisten ADAS- und AD-Systemen kommen mehrere Kameras zum Einsatz, die ein 360-Grad-Sensorumfeld bilden (Bild 1). Kameras mit engem und weitem Sichtfeld (Field of View, FOV) werden zur Erkennung verschiedener Objekte eingesetzt: andere Fahrzeuge und ungeschützte Verkehrsteilnehmer wie Fußgänger, Radfahrer und Motorräder. Die Kameras dienen auch dazu, Fahrspuren, Bordsteine oder Ampelfarben zu erfassen und Informationen aus Verkehrsschildern zu extrahieren.
Bild 1: 360°-Sensorfeld mit mehreren Fahrzeugkameras rund um das Fahrzeug (Bild: onsemi)
Über das menschliche Auge hinaus
Die Kameras müssen in der Lage sein, detaillierte Bilder bei unterschiedlichen Lichtverhältnissen, wie Sonne tagsüber und Dunkelheit bei Nacht, zu erfassen. Die Lichtverhältnisse sind so vielfältig, dass die aufgenommenen Bilder oft einen hohen Dynamikbereich (High Dynamic Range, HDR) aufweisen, der weit über die Fähigkeiten des menschlichen Auges hinausgeht. Normalerweise ist das menschliche Auge zu einer Wahrnehmung von 80 bis 90 dB fähig, während eine Straßenszene am Tag mit direkter Sonneneinstrahlung oft 140 dB Dynamikbereich übersteigt, was dem 100.000- bis 1-Millionenfachen entspricht. Darüber hinaus schreiben die zugelassenen Geschwindigkeiten vor, dass die Erkennung von Objekten in 200 oder 300 m Entfernung bei 130 km/h auf der Autobahn zuverlässig funktionieren muss. Die Erkennung über große Entfernungen erfordert daher Bilder mit hoher Auflösung. All diese Herausforderungen definieren die Anforderungen an neue Bildsensoren für Fahrzeuge.
Weniger Verkehrstote
Bereits in der Vergangenheit hatte onsemi 120-dB-HDR-Sensoren entwickelt, um erste ADAS-Designs zu ermöglichen, die zwischen 2009 und 2015 auf den Markt kamen. Diese frühen Systeme basieren auf 1- und 2-Megapixel- HDR-Bildsensoren.
Bild 2: Verkehrstote in der EU von 2008 bis 2020 (Bild: ACEA)
Der Verband der Europäischen Automobilhersteller (ACEA) berichtete, dass sich die Zahl der Verkehrstoten in der Europäischen Union (EU) seit 2008 halbiert hat (Bild 2). ADAS-Systeme, die mit HDR-Kameras ausgestattet sind, haben wesentlich zu diesem Trend beigetragen. Hierfür hat onsemi einen 8,3-MP-Sensor in Automotive-Qualität auf den Markt gebracht. Der hochauflösende Sensor der ersten Generation ermöglichte die Erkennung weit entfernter Objekte. Der 8,3 MP Sensor AR0820AT mit einem 2,1-µm-Dual-Gain-Pixel bietet 140 dB und eine gute Leistungsfähigkeit bei schlechten Lichtverhältnissen. Der Sensor ermöglichte die Erkennung von Objekten auf große Entfernungen (Bild 3) und sorgte für mehr Sicherheit im Straßenverkehr. Einer der Betriebsmodi des Sensors wurde für sehr schwache Lichtverhältnisse entwickelt, indem eine In-Pixel-Summierungstechnik vier Pixel bei geringem Ausleserauschen miteinander kombiniert. Dieser Modus reduziert die Auflösung von 8,3 auf 2 MP, erhöht aber das Signal-Rausch-Verhältnis (SNR) bei sehr schwachem Licht um mehr als das Doppelte und ermöglicht hochwertige Bilder bei weniger als einem Lux Beleuchtungsstärke (Mondlose Nacht) bei Nacht. Viele Systeme wechseln Bild für Bild zwischen der 8,3 MP Auflösung mit besten Bilddetails auf die niedrigere Auflösung, die bei schlechten Lichtverhältnissen eine viel bessere Bildaufnahme ermöglicht. Der aktive Wechsel des Sensormodus zwischen diesen beiden Auflösungen wird durch den Sensor selbstständig, entsprechend der Programmierung, umgesetzt.
Bild 3: Objekterkennung aus großer Entfernung durch den hochauflösenden Sensor AR0820AT (Bild: onsemi)
Ein Beispiel für 140-dB-HDR-Bilderfassung zur Erkennung von Verkehrsteilnehmern, ist in Bild 4 dargestellt. Es wurde vom AR0820AT im 4-Belichtungs-HDR-Modus aufgenommen. Die Tote-Winkel-Kamera zeigte trotz der hellen Lichtverhältnisse deutlich ein Motorrad und dessen Scheinwerfer. Selbst bei äußerst tief stehender Sonne war das Motorrad sichtbar und konnte erkannt werden. Der AR0820AT war auch der erste Bildsensor für Fahrzeuge, der zwei nicht-traditionelle neue Farbfilteranordnungen (Color Filter Arrays, CFA) einführte.
Bild 4: Verkehrsteilnehmer mit dem 4-Belichtungs-HDR-Modus und RYYCy-CFA des AR0820AT erkennen (Bild: onsemi)
Höhere Leistungsfähigkeit
Die erste CFA enthielt rote, gelbe und cyanfarbene (RYYCy) Pixel. Moderne Farbverarbeitungssysteme können RYYCy-Rohaufnahmen effektiv in lebendige Farbbilder wie in Bild 4 umwandeln. Weil mehr Photonen von dem Pixel erfasst werden, verbessert das RYYCy- CFA Leistungsfähigkeit bei schlechten Lichtverhältnissen. Das andere CFA-Muster umfasst rote, klare und blaue (RCCB) Pixel mit verbesserter Leistungsfähigkeit bei schlechten Lichtverhältnissen und guter Farbwiedergabe. Beide CFA-Muster des AR0820AT kommen häufig in ADAS- und AD-Systemen zum Einsatz.
Stand vom 15.04.2021
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel Communications Group GmbH & Co. KG, Max-Planckstr. 7/9, 97082 Würzburg einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von redaktionellen Newslettern nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung, Abschnitt Redaktionelle Newsletter.
Ampeln und Schilder korrekt erkennen
HDR-LFM bei Bildsensoren wird immer wichtiger, weil LED-betriebene Leuchten und Schilder Einzug in den Straßenverkehr halten. Verkehrsampeln und -schilder, Scheinwerfer und Bremslichter setzen LEDs mit Pulsweitenmodulation ein, die zu fehlenden oder unleserlichen Informationen in den aufgenommenen Bildern führen können. Der AR0823AT mit In-Pixel-HDR-LFM-Funktion stellt sicher, dass helle Ampeln und Schilder korrekt erkannt werden. Die Vorgängervariante setzte auf HDR-Mehrfachbelichtung, was jedoch zu LED- Flackern in den Bildern führte, durch die Teile der LED-Verkehrszeichen fehlten oder verfälscht wurden. Im Vergleich dazu bietet der neue Sensor im Super-Exposure-LFM-Modus einen flackerfreien Dynamik-Bereich von bis zu 120 dB, wobei alle Informationen der LED-Verkehrszeichen erhalten bleiben. Bild 6 zeigt Bilder eines 90-km/h-Geschwindigkeitsbegrenzungsschilds, die vom AR0820AT (links) mit einer gewissen Verschlechterung und vom AR0823AT (rechts) mit scharfen und echten Details aufgenommen wurden. 150 dB HDR ist eine der wichtigsten Funktionen des AR0823AT. Ultra-HDR ist vor allem in Extremsituationen mit direkter Sonneneinstrahlung oder -reflexionen sowie beim Erkennen von Ampelfarben nützlich. Der Vergleich zeigt, wie direkte Sonneneinstrahlung vom AR0823AT im Vergleich zu einem anderen Sensor erfasst wird. Der konkurrierende Sensor unterstützt dabei nur 130 dB HDR. Die Erkennungsfähigkeit ist hier beeinträchtigt, weil das Bild um die Sonne herum gesättigt ist (Bild 7). Geht es um das Erkennen von Verkehrsampeln, kann der AR0823AT selbst bei sehr hellem Sonnenlicht die reale Farbe erfassen, während der andere Sensor versagt und die Farbe falsch darstellt.
Bild 6: Vergleich der LFM-Leistungsfähigkeit (Bild: onsemi | ACEA)
Einsatz von Hyperlux-Sensoren
Die Funktionen des AR0823AT, einschließlich scharfer und farbgetreuer Bilder, die verbesserte Leistungsfähigkeit bei schlechten Lichtverhältnissen und 150 dB HDR-LFM, sind entscheidend, um Objekte über große Entfernungen, an sonnigen Tagen und in dunklen Nächten zu erkennen. onsemi hat die Auswirkungen der Bildqualität auf die Ebenen der Objekterkennung mit neuen Hyperlux-Sensoren in Testfahrzeugen untersucht. Millionen von realen Bildern und Videos wurden aufgenommen und mit der You-Only-Look-Once -Echtzeit-Objekterkennungs-Engine verarbeitet.
Bild 7: Vergleich der HDR- und Farberkennungsleistung (Bild: onsemi)
Bild 8 demonstriert einige Ergebnisse der Objekterkennung durch den AR0823AT. Bei einem sonnigen Tag auf einer Autobahn mit guten Lichtverhältnissen werden Fahrzeuge, Verkehrsschilder, Lichter etc. auf bis zu 400 m zuverlässig erkannt. Im Nachtszenario auf einer dunklen Stadtstraße liegt die zuverlässige Objekterkennung bei bis zu 250 m. Die Ergebnisse dieser Studien bestätigen die Fähigkeit des Sensors, Fahrzeuge nach Autonomielevel 3 und höher bei Autobahngeschwindigkeiten von bis zu 130 km/h zu unterstützen.
Bild 8: Objekterkennung bei Nacht mit dem Bildsensor AR0823AT (Bild: onsemi)
Für zukünftiges automatisiertes Fahren, ist davon auszugehen, dass die Auflösung der Bildsensoren in Zukunft über 8,3 MP hinausgehen wird.
(se)
* Sergey Velichko ist Senior Manager, ASD Technology & Product Strategy, bei onsemi.
