Ein umfassendes Verständnis der Prinzipien der visuellen 3D-Bildgebung

Die 3D-Vision-Bildgebung ist eine der wichtigsten Methoden zur Informationswahrnehmung von Industrierobotern, die in optische und nicht-optische Bildgebungsverfahren unterteilt werden kann. Die derzeit am häufigsten verwendeten optischen Methoden umfassen: Flugzeitmethode, Methode mit strukturiertem Licht, Laserscanning-Methode, Moire-Streifenmethode, Laser-Speckle-Methode, Interferometrie, Photogrammetrie, Laser-Tracking-Methode, Form aus Bewegung, Form aus Schatten, und andere ShapefromX. In diesem Artikel werden mehrere typische Schemata vorgestellt.

1. Flugzeit-3D-Bildgebung

Jedes Pixel der Time-of-Flight-Kamera (TOF) nutzt den Zeitunterschied im Lichtflug, um die Tiefe des Objekts zu ermitteln.

Bei der klassischen TOF-Messmethode startet das Detektorsystem die Detektions- und Empfangseinheit, um den Zeitpunkt der Aussendung des optischen Impulses festzulegen. Wenn der Detektor das optische Echo vom Ziel empfängt, speichert der Detektor direkt die Umlaufzeit.

D-TOF, auch als Direct TOF (DTOF) bekannt, wird häufig in Einzelpunkt-Entfernungsmesssystemen verwendet, bei denen häufig Scantechnologie erforderlich ist, um eine flächendeckende 3D-Bildgebung zu erzielen.

Die scannungsfreie TOF-3D-Bildgebungstechnologie wurde erst in den letzten Jahren realisiert, da es sehr schwierig ist, elektronisches Timing im Subnanosekundenbereich auf Pixelebene zu implementieren.

Die Alternative zum direkt zeitgesteuerten D-TOF ist der indirekte TOF (I-TOF), bei dem der Zeitumlauf indirekt aus zeitgesteuerten Messungen der Lichtintensität extrapoliert wird. I-TOF erfordert kein genaues Timing, sondern verwendet zeitgesteuerte Photonenzähler oder Ladungsintegratoren, die auf Pixelebene implementiert werden können. I-TOF ist die aktuell kommerzialisierte Lösung für elektronische und optische Mischer auf Basis von TOF-Kameras.

Die TOF-Bildgebung kann für die 3D-Bilderfassung mit großem Sichtfeld, großer Entfernung, geringer Präzision und geringen Kosten verwendet werden. Seine Eigenschaften sind: schnelle Erkennungsgeschwindigkeit, großes Sichtfeld, großer Arbeitsabstand, günstiger Preis, aber geringe Genauigkeit, leichte Beeinträchtigung durch Umgebungslicht.

2. Scannen Sie nach 3D-Bildern

Scanning-3D-Bildgebungsverfahren können in Scanning-Ranging-Methoden, aktive Triangulation, Dispersionskonfokalverfahren usw. unterteilt werden. Tatsächlich handelt es sich bei der Dispersionskonfokalmethode um eine Scan- und Entfernungsmessmethode. Da sie derzeit in der Fertigungsindustrie wie Mobiltelefonen und Flachbildschirmen weit verbreitet ist, wird sie hier separat vorgestellt.

1. Scannen und Entfernungsmessung

Bei der Scanentfernungsmessung wird mit einem kollimierten Strahl die gesamte Zieloberfläche durch eindimensionale Entfernungsmessung abgetastet, um eine 3D-Messung zu erreichen. Typische Scan-Entfernungsmethoden sind:

1, Einzelpunkt-Flugzeitmethode, wie z. B. kontinuierliche Wellenfrequenzmodulation (FM-CW), Pulsentfernung (LiDAR) usw.;

2, Laserstreuinterferometrie, wie z. B. Interferometer, die auf den Prinzipien der Mehrwellenlängeninterferenz, der holographischen Interferenz, der Weißlichtinterferenz, der Speckle-Interferenz usw. basieren.

3, konfokale Methode, wie Dispersionskonfokal, Selbstfokussierung usw.

Bei der Einzelpunkt-Entfernungsscan-3D-Methode eignet sich die Einzelpunkt-Flugzeitmethode für Langstreckenscans und die Messgenauigkeit ist gering, im Allgemeinen in der Größenordnung von Millimetern. Andere Einzelpunkt-Scanmethoden sind: Einzelpunkt-Laserinterferometrie, konfokale Methode und aktive Einzelpunkt-Laser-Triangulationsmethode. Die Messgenauigkeit ist höher, erstere stellt jedoch hohe Umweltanforderungen. Linienscangenauigkeit mäßig, hohe Effizienz. Die aktive Lasertriangulationsmethode und die konfokale Dispersionsmethode eignen sich besser für die Durchführung von 3D-Messungen am Ende des Roboterarms.

2. Aktive Triangulation

Die aktive Triangulationsmethode basiert auf dem Triangulationsprinzip und verwendet kollimierte Strahlen, einen oder mehrere ebene Strahlen, um die Zieloberfläche abzutasten und die 3D-Messung abzuschließen.

Der Strahl wird normalerweise auf folgende Weise erhalten: Laserkollimation, zylindrische oder quadratische zylindrische Winkelstrahlaufweitung, inkohärentes Licht (z. B. weißes Licht, LED-Lichtquelle) durch das Loch, Schlitzprojektion (Gitterprojektion) oder kohärente Lichtbeugung.

Die aktive Triangulation kann in drei Typen unterteilt werden: Einzelpunkt-Scannen, Einzellinien-Scannen und Mehrlinien-Scannen. Bei den meisten Produkten, die derzeit für den Einsatz am Ende von Roboterarmen kommerzialisiert werden, handelt es sich um Einzelpunkt- und Einzellinienscanner.

Bei der Mehrzeilen-Abtastmethode ist es schwierig, die Streifenpolzahl zuverlässig zu identifizieren. Um die Streifenanzahl genau zu identifizieren, wird normalerweise eine abwechselnde Hochgeschwindigkeitsbildgebung von zwei Sätzen vertikaler optischer Ebenen verwendet, mit der auch ein „FlyingTriangulation“-Scannen realisiert werden kann. Der Scan- und dreidimensionale Rekonstruktionsprozess ist in der folgenden Abbildung dargestellt. Eine spärliche 3D-Ansicht wird durch stroboskopische Mehrzeilenprojektionsbildgebung erzeugt, und mehrere 3D-Ansichtssequenzen werden durch Längs- und Horizontalstreifenprojektionsscannen erzeugt. Anschließend wird durch 3D-Bildanpassung ein vollständiges und kompaktes 3D-Oberflächenmodell mit hoher Auflösung generiert.

3. Konfokale Dispersionsmethode

Die konfokale Dispersion scheint in der Lage zu sein, raue und glatte undurchsichtige und transparente Objekte wie reflektierende Spiegel, transparente Glasoberflächen usw. zu scannen und zu messen, und erfreut sich derzeit großer Beliebtheit im Bereich der dreidimensionalen Erkennung von Abdeckplatten für Mobiltelefone.

Es gibt drei Arten des dispersiven konfokalen Scannens: eindimensionales Absolutentfernungsscannen mit einem Punkt, Array-Scannen mit mehreren Punkten und kontinuierliches Linienscannen. In der folgenden Abbildung sind zwei Arten von Beispielen für absolute Entfernungsmessung bzw. kontinuierliches Zeilenscannen aufgeführt. Unter diesen ist das kontinuierliche Zeilenscannen auch ein Array-Scannen, aber das Array hat ein größeres und dichteres Gitter.

Bei kommerziellen Produkten ist der bekanntere konfokale Scan-Spektralsensor der französische STILMPLS180, der 180 Array-Punkte verwendet, um eine Linie mit einer maximalen Linienlänge von 4,039 mm zu bilden (Messpunkt 23,5 Uhr, Punkt-zu-Punkt-Abstand 22,5 Uhr). Ein weiteres Produkt ist Finnlands FOCALSPECUULA. Es wird die Technik der konfokalen Dreieckdispersion übernommen.

3. 3D-Bildgebung mit strukturierter Lichtprojektion

Strukturierte Lichtprojektion Die 3D-Bildgebung ist derzeit die Hauptmethode für die visuelle 3D-Wahrnehmung von Robotern. Das Strukturlicht-Bildgebungssystem besteht aus mehreren Projektoren und Kameras. Häufig verwendete Strukturformen sind: Einzelprojektor-Einzelkamera, Einzelprojektor-Doppelkamera, Einzelprojektor-Mehrfachkamera Kamera, Einzelkamera – Doppelprojektor und Einzelkamera – Mehrfachprojektoren und andere typische Bauformen.

Das grundlegende Funktionsprinzip der 3D-Bildgebung der strukturierten Lichtprojektion besteht darin, dass Projektoren spezifische strukturierte Lichtbeleuchtungsmuster auf Zielobjekte projizieren, die vom Ziel modulierten Bilder von der Kamera erfasst werden und dann die 3D-Informationen des Zielobjekts durch das Bild erhalten werden Verarbeitung und visuelles Modell.

Zu den häufig verwendeten Projektoren gehören hauptsächlich die folgenden Typen: Flüssigkristallprojektion (LCD), digitale Lichtmodulationsprojektion (DLP: z. B. digitale Mikrospiegelgeräte (DMD)), Laser-LED-Muster-Direktprojektion.

Entsprechend der Anzahl der strukturierten Lichtprojektionen kann die 3D-Bildgebung der strukturierten Lichtprojektion in Einzelprojektions-3D- und Mehrfachprojektions-3D-Methoden unterteilt werden.

1. Einzelprojektionsbildgebung

Das strukturierte Einzelprojektionslicht wird hauptsächlich durch Raum-Multiplex-Kodierung und Frequenz-Multiplex-Kodierung realisiert. Die gängigen Kodierungsformen sind Farbkodierung, Grauindex, geometrische Formkodierung und Zufallsflecken.

Derzeit ist es bei der Anwendung von Roboter-Hand-Auge-Systemen bei Gelegenheiten, bei denen die 3D-Messgenauigkeit nicht hoch ist, wie z. B. beim Palettieren, Entpalettieren, 3D-Erfassen usw., beliebter, pseudozufällige Punkte zu projizieren, um die zu erhalten 3D-Informationen des Ziels. Das 3D-Bildgebungsprinzip ist in der folgenden Abbildung dargestellt.

2. Mehrfachprojektionsbildgebung

Die Multiprojektions-3D-Methode wird hauptsächlich durch Zeitmultiplex-Codierung implementiert. Die am häufigsten verwendeten Mustercodierungsformen sind: Binärcodierung, Mehrfrequenz-Phasenverschiebungscodierung τ35 und gemischte Codierung (z. B. Gray-Code-Zehnphasenverschiebungsstreifen).

Das Grundprinzip der 3D-Bildgebung mit Streifenprojektion ist in der folgenden Abbildung dargestellt. Strukturierte Lichtmuster werden von einem Computer oder einem speziellen optischen Gerät erzeugt, die durch ein optisches Projektionssystem auf die Oberfläche des Messobjekts projiziert werden, und dann werden Bilderfassungsgeräte (wie CCD- oder CMOS-Kameras) verwendet, um sie zu sammeln deformierte strukturierte Lichtbilder, moduliert durch die Oberfläche des Objekts. Der Bildverarbeitungsalgorithmus wird verwendet, um die entsprechende Beziehung zwischen jedem Pixel im Bild und dem Punkt auf dem Objektumriss zu berechnen. Schließlich werden durch das Systemstrukturmodell und die Kalibrierungstechnologie die dreidimensionalen Konturinformationen des gemessenen Objekts berechnet.

In praktischen Anwendungen wird häufig die 3D-Technologie Gray-Code-Projektion, Sinus-Phasenverschiebungsstreifenprojektion oder Gray-Code-Zehn-Sinus-Phasenverschiebungs-Mischprojektion verwendet.

3. Ablenkungsbildgebung

Bei rauen Oberflächen kann strukturiertes Licht zur visuellen Bildmessung direkt auf die Objektoberfläche projiziert werden. Für die 3D-Messung von glatten Oberflächen und Spiegelobjekten mit großem Reflexionsvermögen kann die strukturierte Lichtprojektion jedoch nicht direkt auf die gemessene Oberfläche projiziert werden, und die 3D-Messung erfordert auch den Einsatz der Spiegelablenkungstechnologie, wie in der folgenden Abbildung dargestellt.

Bei diesem Schema werden die Streifen nicht direkt auf die gemessene Kontur projiziert, sondern auf einen Streuschirm, oder es wird ein LCD-Bildschirm anstelle des Streuschirms verwendet, um die Streifen direkt anzuzeigen. Die Kamera verfolgt den Lichtweg durch die helle Oberfläche zurück, erhält die durch die Krümmungsänderung der hellen Oberfläche modulierten Streifeninformationen und löst dann das 3D-Profil.

4. Stereovision 3D-Bildgebung

Stereovision bezieht sich wörtlich auf die Wahrnehmung einer dreidimensionalen Struktur mit einem oder beiden Augen und bezieht sich im Allgemeinen auf die Rekonstruktion der 3D-Struktur oder der Tiefeninformationen des Zielobjekts durch die Aufnahme von zwei oder mehr Bildern aus unterschiedlichen Blickwinkeln.

Visuelle Hinweise zur Tiefenwahrnehmung können in Okularcues und Binocularcues (binokulare Parallaxe) unterteilt werden. Derzeit kann stereoskopisches 3D durch monokulares Sehen, binokulares Sehen, multiokulares Sehen und Lichtfeld-3D-Bildgebung (elektronisches Facettenauge oder Array-Kamera) erreicht werden.

1. Monokulare visuelle Bildgebung

Zu den monokularen Tiefenwahrnehmungshinweisen gehören normalerweise Perspektive, Brennweitenunterschied, Multivisionsbildgebung, Abdeckung, Schatten, Bewegungsparallaxe usw. In der Robotersicht können auch Spiegel 1 und andere Formen von X10 und andere Methoden verwendet werden, um dies zu erreichen.

2. Binokulare Bildgebung

Die visuellen Anhaltspunkte der binokularen Tiefenwahrnehmung sind: Konvergenzposition der Augen und binokulare Parallaxe. In der maschinellen Bildverarbeitung werden zwei Kameras verwendet, um zwei Ansichtsbilder von zwei Ansichtspunkten auf dieselbe Zielszene zu erhalten. Anschließend wird die Parallaxe desselben Punkts in den beiden Ansichtsbildern berechnet, um die 3D-Tiefeninformationen der Zielszene zu erhalten. Der typische binokulare Stereovision-Berechnungsprozess besteht aus den folgenden vier Schritten: Bildverzerrungskorrektur, Stereobildpaarkorrektur, Bildregistrierung und Triangulations-Neuprojektion-Parallaxenkartenberechnung