Computervision
Von Katzenbildern zur Paketvermessung – Wie sich KI in der Praxis wiederfindet
Durch KI-Algorithmen kann Software nicht nur vorgegebene Regeln anwenden, sondern diese selbstständig aus Erfahrungen ableiten. Dadurch erschließen sich Anwendungsmöglichkeiten, die vor einigen Jahren undenkbar waren.
Im Bereich Computer Vision können neuronale Netze eingesetzt werden, um Katzen- von Hundebildern zu unterscheiden oder neue, vorher ungesehene Kunstwerke zu erschaffen. Das klingt nicht besonders praxisrelevant, schafft aber die Grundlage für Anwendungen mit unmittelbarem Nutzen.
Die Analyse von Verkehrssituationen im autonomen Fahren oder die Klassifizierung von medizinischen Scans sind gute Beispiele für gesellschaftlichen und wirtschaftlichen Nutzen durch Künstliche Intelligenz.
In unserer täglichen Arbeit mit Industrieunternehmen stellen wir einen zunehmenden Reifegrad von KI-Projekten fest. In den vergangenen Jahren wurden durch KI meist gänzlich neue Anwendungen erarbeitet. Diese werden von unseren Kunden aber oft gar nicht benötigt.
Vielmehr besteht ein Bedarf für die Lösung typischer Alltagsprobleme.
KI kann für solche alltäglichen Herausforderungen auch dann relevant sein, wenn regelbasierte Lösungen bereits im Einsatz sind. Entscheidend ist hier, dass der Einsatz von KI schnellere, effizientere und kostengünstigere Alternativen bieten kann.
Die Herausforderung dabei ist, dass sich die KI-Lösung in eine bestehende Infrastruktur einfügen muss, am besten ohne etwa zusätzliche Hardware oder aufwändige Datenbeschaffungsmaßnahmen.
Auch deshalb ist vielen Kunden oft nicht bewusst, dass sie klassische Software-Anwendungen durch leistungsstärkere KI-gestützte Lösungen tauschen können.
Um die Möglichkeiten der KI für Fachanwender, IT-Experten und Entscheidungsträger zu illustrieren, haben wir einen Prototyp aus einer typischen Kundenanfrage entwickelt.
Während autonomes Fahren und medizinische Bildverarbeitung komplexe Straßen-Szenen und detailreiche Fehlfarben-Aufnahmen bewältigen muss, basieren die meisten Industrieanwendungen eher auf wenigen Objekten von einfacher Form.
In unserem Beispiel müssen Pakete eines Logistikdienstleisters vermessen werden, um eine korrekte Tarifberechnung sicherzustellen.
Im bestehenden System wird auf eine Bestimmung der Paketgröße verzichtet. Untersuchungen lassen aber darauf schließen, dass durch falsche Paketmarken ein erheblicher Umsatzausfall entsteht.
Dass die Pakete nicht näher auf die Einhaltung der Größenvorgaben geprüft werden, hat einen einfachen Grund: Der Verarbeitungsprozess muss schnell und mit einfachen Maschinen realisiert werden.
Eine Messeinrichtung ist an keiner Stelle vorgesehen und kann auch nicht ohne Weiteres nachgerüstet werden. Einen Lichtblick für ein KI-basiertes System gibt es allerdings: Alle Pakete werden – ursprünglich aus Sicherheitsgründen – durch eine Kamera erfasst.
Pakete auf einem Förderband.
Die Aufgabe ist damit simpel zusammengefasst:
Paketgrößen sollen mit nur einer einzigen Kamera ermittelt werden, ohne zusätzliche Sensoren wie Laser oder Ultraschall zu nutzen.
Das klingt zunächst schwierig: Auch Menschen können Entfernung und Größen nur schwer einschätzen, wenn sie ein Objekt mit nur einem Auge betrachten.
Für die Tiefenwahrnehmung nutzen Menschen – und die meisten Tiere – zwei nebeneinander liegende Augen. Im Selbstversuch kann man allerdings feststellen, dass auch mit nur einem Auge eine ungefähre Größenabschätzung möglich ist.
Der Grund dafür ist die Verknüpfung von Erfahrungen im Sehen mit Informationen aus dem gesehenen Ein-Auge-Bild: Unser Gehirn schätzt hier die fehlenden Informationen.
Ähnlich funktionieren Verfahren Künstlicher Intelligenz, die Tiefeninformationen anhand von Erfahrung aus einem zweidimensionalen Bild und der relativen Position der Kamera ableiten können.
Auf Grundlage dieser KI-Verfahren konnten wir erfolgreich einen Prototyp entwickeln, der den geschilderten Anforderungen entspricht. Allerdings haben wir gelernt, dass es nicht reicht ein funktionierendes Modell zu entwickeln.
Die Anwender müssen dem Modell auch vertrauen und zumindest eine Vorstellung davon haben, wie die KI funktioniert.
Folgende Abbildungen illustrieren den Prozess, den der Prototyp für jedes Paket durchläuft.
Schritt 1:
Im Kunden-Use Case ist die Kamera schräg über einem Fließband mit vorbeiziehenden Pakten platziert. Der Prototyp analysiert jeden Frame des Streams dieser Kamera und identifiziert jene, auf welchen ein Paket vollständig zu sehen ist. Ist dies der Fall, wie hier in einem beispielhaften Versuchsaufbau zu sehen, wird der Vermessungsprozess mit dem entsprechenden Frame als Ausgangsbild angestoßen.
Schritt 2#:
Der Vermessungsprozess beginnt mit dem Einsatz des künstlichen neuronalen Netzwerks MiDaS*, das Tiefeninformationen für das zweidimensionale Ausgangsbild schätzt. Zu sehen ist das Ergebnis dieser Schätzung in Form des Tiefenbilds, wobei nähere Objekte hell und weiter entfernte dunkel angezeigt werden. *Copyright (c) 2019 Intel ISL (Intel Intelligent Systems Lab
Schritt 3:
Anhand des Tiefenbilds leitet ein eigens entwickelter Algorithmus die relevanten Flächen ab, d. h. in diesem Fall die zwei seitlichen und die obere Fläche des Pakets. Die erkennbare Farbgebung im resultierenden Normalenbild gibt Aufschluss über die Orientierung der jeweiligen Fläche im Raum.
Schritt 4:
Aus dem Ausgangsbild, dem Normalenbild und dem Tiefenbild wird ein kombiniertes Kantenbild abgeleitet, auf dem die Paketkanten zu sehen sind und das mit etablierten Computer Vision-Verfahren, wie der Hough-Transformation, weiterverarbeitet werden kann.
Schritt 5:
Das Kantenbild und die daraus errechneten Kantenschnittpunkte sind schließlich der Schlüssel für die Kantenlängenberechnung. Der Abstand zwischen den Schnittpunkten auf der Fließbandeebene (im Beispiel die Bodenebene) kann aus diesen und den im Bildausschnitt platzierten Referenzmarkern abgeleitet werden. Die Skala für die dritte Dimension – und damit der Abstand zum oberen Schnittpunkt – wird mithilfe der intrinsischen Kameraeigenschaften und ihrer relativen Position im Raum ermittelt. Ergebnis sind die im Bild eingezeichneten Seitenlängen des Pakets. Ermittelte Maße: 216 mm x 209 mm x 203 mm; tatsächliche Maße: 215 mm x 213 mm x 205 mm.Die hohe Effizienz der hier eingesetzten Methoden macht es möglich die KI mit wenig Rechenleistung einzusetzen. Unsere Lösung braucht lediglich ein Edge-Device, also einen Ein-Platinen-Computer, als Ergänzung zur vorhandenen Kamera. Damit steht einem effizienten Praxiseinsatz nichts mehr im Wege.
Von Katzenbildern über autonomes Fahren bis hin zu Paketvermessung. Der dargestellte Anwendungsfall zeigt: In der nüchternen Praxis kann KI nicht nur neue Anwendungsgebiete erschließen, sondern bestehende Prozesse auch unter schwierigen Bedingungen verbessern.
Fallen Ihnen Verbesserungspotenziale bei Ihren Prozessen ein, die Sie bisher als ungeeignet für eine KI-Anwendung betrachtet haben?
Wenn Sie gemeinsam mit uns eine Idee in die Praxis bringen möchten, kommen Sie gern auf uns zu.
