1. Home
  2. Angebote
  3. Technologie & Innovation
  4. News
  5. ICCHP 2020: Eine Indoor-Navigations-App mit maschinellem Sehen

ICCHP 2020: Eine Indoor-Navigations-App mit maschinellem Sehen

Autor: Technologie und Innovation / Erkan K. / SBV / Dezember 2020

Original-Titel «An Indoor Navigation App Using Computer Vision and Sign Recognition» (Giovanni Fusco, Seyed Ali Cheraghi, Leo Neat & James M. Coughlan)

Die Navigation in Innenräumen ist eine grosse Herausforderung für Menschen mit visueller

Beeinträchtigung. Menschen mit normalem Sehvermögen können auf visuelle Hinweise wie Informationsschilder oder andere strukturelle Merkmale zugreifen.

Damit blinde und sehbehinderte Menschen den richtigen Weg auch in Innenräumen finden, hat das Department of Computer Science and Engineering an der University of California eine App entwickelt, welche mittels Schritt-für-Schritt-Anweisungen blinde- und sehbehinderte Menschen zum gewünschten Ziel führt.

Die App setzt dabei Techniken im Bereich der künstlichen Intelligenz (zur Erkennung von Wänden, Hinweistafeln) ein. Im folgenden Demo-Video ist zu sehen, wie ein blinder Nutzer sich vom Flur in das Büro seines Kollegen navigiert. Anweisungen wie «left»,«straight» oder «Your Destination is in front of you» helfen ihm dabei, den richtigen Weg zu finden.

Er hält seinen Blindenstock in der rechten und sein Mobiltelephon in der linken Hand. Das Smartphone ist auf Brusthöhe und die Mobiltelephon-Kamera nach Aussen gerichtet.

Demo der App (Youtube-Link): https://www.youtube.com/watch?v=nw8KaWg0dCU

Vorteile dieser Lösung

  1. Die App wurde von blinden- und sehbehinderten Nutzern getestet und ist barrierefrei.
  2. Läuft auf einem Standard Mobiltelephon und benötigt keine zusätzlichen Geräte oder spezielle Infrastruktur. App verwendet Sensoren und Kamera des Mobiltelephons.
  3. Benötigt wird eine digitale 2D Karte des Standorts mit eingezeichneten Wänden und Hinweistafeln (Beispiel Notausgangtafel).
  4. Die App erkennt den Standort, ohne dass der Nutzer sein Mobiltelephon auf eine spezielle Hinweistafel richten muss.
  5. Benötigt kein GPS, keine Beacons und kein 3D Modell der Umgebung.
  6. Durch Beschleunigung und Bewegung wird der aktuelle Standort des Nutzers ermittelt.
  7. Haptisches Feedback, wenn der Nutzer in die falsche Richtung läuft.
  8. Neuberechnung der Route erfolgt automatisch.
  9. In einer Studie konnte der Standort des Nutzers bereits auf einen Meter genau lokalisiert werden.

Funktionsweise

  1. Um den Standort des Nutzers zu lokalisieren, benötigt die App:
    1. Eine 2D-Mappe mit Kennzeichnung, wo sich Wände, Hinweistafeln, Lift, Treppen, etc. befinden
    2. Künstliche-Intelligenz um Hinweistafeln, Wände etc. zu erkennen. Mit der Erkennung von Hinweistafeln kann die Entfernung noch besser abgeschätzt werden
    3. Einen bestimmten Algorithmus, um Bewegung des Nutzers festzustellen. Funktioniert auch wenn keine Hinweistafeln in der Nähe sind
  2. Laufwege werden durch einen Graphen mit Knoten und Ecken beschrieben (ähnlich einer Metro-Karte).
  3. Jeder Knoten ist entweder ein:
    1. Point of interest (POI) oder
    2. Kontrollpunkt. Hier muss der Nutzer entweder seine Laufrichtung ändern, oder auswählen in welche Richtung er als nächstes gehen will
  4. Graph ist eingebettet in ein 2D-Koordinatensystem
    1. Der aktuelle Standort des Nutzers wird zum nächstgelegenen Punkt im Graphen gepinnt.
    2. Anschliessend wird der kürzeste Weg von diesem Punkt zum Ziel berechnet.
    3. Währen der Navigation erfolgen Hinweisen wie “links” oder “rechts”.

Weitere Schritte seitens Forscherteams

  • Optimieren der iPhone-App
    • um weitere Hinweistafeln zu erkennen (Beispiel «Toiletten»).
    • damit Objekte noch schneller erkannt werden.
  • Ausweiten der App auf andere Innenräume.
  • Testen der App mit blinden und sehbehinderten Nutzern.
  • Neue Bedienelemente für sehbehinderte Nutzer integrieren.

Mögliche Einsatzgebiete aus Sicht von Technologie & Innovation

Diese Lösung ist sehr vielversprechend. Unserer Meinung nach könnte man diese Lösung auch auf folgende Gebiete ausweiten:

  1. Erkennung von Bahnhof-Ausgängen, Bus-Piktogrammen, Taxi-Piktogrammen etc.: So könnte sich der Nutzer selbstständig von einem Perron zu einer Bushaltestelle oder einem Taxi-Standplatz navigieren lassen.
  2. Navigation in Einkaufszentren: So könnte sich der Nutzer selbständig zum Informationsstand, WCs oder zu einzelnen Geschäften hin navigieren lassen.
  3. Museen: Navigation zu einzelnen Ausstellungsräumen, Erkennung von Gemälden und Sprachausgabe von Zusatzinformationen

Zusammenarbeit

Wir von Technologie und Innovation waren neugierig und wollten herausfinden, wie einfach es ist mit dieser App uns in den Innenräumen des SBV-Hauptsitzes navigieren zu lassen. Wir haben James Coughlan, den Leiter der Forschung, angefragt, ob wir die App mit eigenem Kartenmaterial testen können. Leider kann die App derzeit nicht mit zusätzlichem Kartenmaterial ergänzt werden. Diese Änderung ist aber in Planung. Wir bleiben dran und informieren, sobald wir mehr wissen.

Quellenverzeichnis

  1. Journal Article: https://www.ski.org/sites/default/files/publications/icchp_navigation-preprint.pdf
  2. Kontakt James Coughlan (Leiter der Studie): https://www.ski.org/users/james-coughlan
  3. Studie «Indoor Localization for Visually Impaired Travelers Using Computer Vision on a Smartphone»: https://www.ski.org/sites/default/files/publications/fusco-coughlan-v2.pdf