Ein Vorschlag für Google Glases

Eigentlich wollte ich das heutige Thema über eine aufgebohrte Google Glases als Glosse in die Kolumne „Münchhausen“ einfügen, doch beim überlegen dachte ich mir „eigentlich müsste es technisch möglich sein“. Die Idee war das Google, das ja auch in Nicht-Computerbereichen forscht und investierte, darunter auch im Medizin/Pharmabereich eine Google Glases für alle, die nicht gut sehen auf den Markt bringt. Das grundlegende Prinzip:

Eine kleine hochauflösende Kamera neben jedem Auge nimmt auf was der Mensch gerade sieht. Dies wird in die Brille projiziert. Das könnte man dann noch durch Informationen anreichern, doch schon diese Grundfunktion würde vielen helfen. Denn was gezeigt wird, das entscheidet der Benutzer selbst, indem eine zweite Kamera auf die Pupille schaut und sie verfolgt.

Das Auge vs VR-Brillen

Das menschliche Auge ist relativ komplex gebaut und es ist schwer in wenigen Randzahlen zu beschreiben. So kann die Pupille zwischen 1 und 8 mm geöffnet werden und so mehr oder weniger Licht hereinlassen. Allerdings nimmt auch die optische Auflösung ab wenn die Pupille kleiner wird. Dann sind die Rezeptoren unterschiedlich auf dem Auge verteilt. In der Mitte die Zapfen die Farbsehen ermöglichen und eine hohe Auflösung bieten und außen die Stäbchen die viel lichtempfindlicher sind, aber nur Grautöne liefern und eine geringere Auflösung haben. Zudem ist die Dichte unterschiedlich. Es gibt einen zentralen Bereich mit hoher Dichte an Zapfen, nach Außen hin nimmt sie ab. Die Auflösung beträgt unter idealen Umständen zwischen 0,5 und 2 Bogenminuten. Sie ist stark von dem Umständen aber auch der Person abhängig. In der Astronomie nimmt man 1 Bogenminute an und auch dieser Wert gilt nur bei zwei hellen Punktquellen wie Doppelsternen. Bei niedrigeren Kontrasten also nicht gerade schwarzen Linien auf weisem Grund wie beim Sehtest nimmt sie deutlich ab. Als „Notmalsichtig“ mit 100 % Sehschärfe nimmt man eine Auflösung 1 Bogenminute an, für das Erwerben des Führerscheins braucht man mindestens 1,4 Bogenminuten.

Das Gesichtsfeld wird nach Wikipedia mit 107 Grad in er Horizontalen und maximal 80 Grad in der Vertikalen angegeben. Eine Kamera die also die Auflösung des Auges erreichen wöllte, müsste rund 6420 x 4800 Bildpunkte haben. Das ist heute in der Sensortechnik machbar. Was noch nicht machbar ist ist diese Auflösung als Video wiederzugeben. Doch dass muss man auch nicht. Nur ein kleiner Bereich im Zentrum hat diese Auflösung, der Rest ist unscharf und wird von uns meistens bewusst gar nicht wahrgenommen, bewegt sich etwas so dreht das Auge die Pupille dorthin und man sieht den neu fokussieren Teil dann wieder scharf. Der Rechner müsste also nur etwa 20-30 Grad so scharf rendern, dann könnte er die Auflösung herunterfahren. Daher auch die zweite Kamera die die Pupille verfolgt. Heutige VR-Brillen decken nur 90 x 60 Grad ab. Das reduziert dann die benötigten Pixel auf 5400 x 3600. Wenn man die Führerscheinauflösung anstrebt, dann reichen 3800 x 2500 Pixel. Bei Monitoren hat man mittlerweile schon 7680 x 4320 Pixel erreicht.

Nutzen einer medizinischen „Google Glases“

Die Brille bringt einen Vorteil für etliche Augenkranke die wich ich Nystagmus haben. Nystagmus ist ein angeborenes Augenzittern, die Augen sind nie ruhig. Ich merke das nur wenn ich versuche etwas genau zu fokussieren, dann zittert manchmal das Bild, häufiger ist ein „Pumpen“ bei dem die Abbildung kurz Scharf wird und dann wieder unscharf. Wenn die Kamera den Pupillen folgt, kann sie deren Bewegung beim Bild folgen und den scharfen Ausschnitt verschieben und so das Phänomen austricksen. Ebenso wäre sie von Nutzen wenn jemand kurzsichtig und altersweitsichtig ist. Der braucht normalerweise eine Gleitbrille die sich die Tatsache zunutze macht das man beim Betrachten von Nahen Dingen meist nach unten schaut und beim Betrachten von fernen geradeaus. Doch ideal ist das nicht und eine Kamera die das Auge verfolgt aber auch die Schärfeebene der angepeilten Objektes feststellt kann eine Korrektur viel besser erledigen.

Bei Personen die nicht 100% Sehschärfe haben wird man wohl die Brille zuerst einsetzen, denn dann reicht auch eine geringe Auflösung. Ich habe durch Kombination von mehreren Augenfehlern mit Brille noch 25 bis 30%, ohne 5-10%. Da würde also eine deutlich geringere Auflösung ausreichen. Daher sehe ich die Chance daher auch zuerst als Medizinalprodukt. Durch die niedrigere Auflösung ei Personen mit nicht 100 % Sehschärfe sinken dann auch die Hardwareanforderungen deutlich ab.

Verbesserung des Sehens für alle

Man könnte aber die Technik natürlich auch nutzen um die Sehschärfe zu verbessern. Man kann nicht das Auge selbst überlisten, aber man kann wie wenn jemand ein zusätzliches optisches System wie ein Mikroskop oder einen Feldstecher nutzt seine Fähigkeiten erweitern. Dazu muss das System nur unser Verhalten ausnutzen. Wenn wir etwas mit der Pupille fixieren, dann haben wir meist Probleme ein Detail zu erkennen oder sind zumindest an diesem Interessiert. Erkennt das System also keine Bewegung der Pupille, dann könnte die Kamera langsam heranzoomen. Das wäre dann das Gegenstück zum Mikroskop oder Fernrohr.

Wenn wir uns orientieren oder nach Gefahren schauen, z.B. bevor wir eine Straße überqueren, so bewegen sich die Pupillen nach links und rechts. In dem Fall könnte man nicht nur herauszoomen sondern sogar auf eine Fischaugenlinse umstellen die mehr zeigt, das würde es uns ersparen, den Kopf stark zu bewegen.

Denkt man das weiter so kann man die Pupillenbewegung sogar als Kommando oder zur Navigation benutzen, wenn man was sicher ein schöner Zusatznutzen Informationen in die Brille einblendet. Das können Informationen sein über das was man sieht (z.B. Straßenplan, Infos zu Gebäuden – man könnte sich ohne Navi in fremden Städten bewegen) aber auch die aktuellen Börsenkurse. Schaut man auf einen Navigationspfeil so scrollt man, schaut man auf ein Kreuz so schließt sich das Fenster. Das kann man noch mit Blinzeln als „Klickersatz“ ausbauen. Bei genügender Fähigkeit sogar mit linkem und rechtem Auge = linker und rechter Maustaste.

Weitere Möglichkeiten des „Enhancens“ wäre wenn man man Kameras hat, die empfindlicher sind als das Auge, man nachts oder in der Dämmerung mehr sieht, analog wird die Brille alleine schon durch ihre Bauweise verhindern dass man von der Sonne selbst im Sommer geblendet wird. Man könnte sogar an das Sehen in IR- oder UV-Wellenlängen denken, was zumindest für einige Berufe von Vorteil ist, weil man so Materialdefekte oder Wärmelecks erkennen kann.

Umsetzbarkeit

Technisch gesehen geht vieles schon. Sensoren die mindestens so lichtempfindlich wie das Auge sind, (da wir ab etwa 16-20 Bildern pro Sekunde keine getrennten Bilder mehr sehen, reicht eine Belichtungszeit von etwa 1/20 s) gibt es schon, allerdings haben sie relativ große Sensorgrößen. Man kann aber die Eigenschaft es Auges ausnutzen und einen hochauflösenden, nur ein kleines Gesichtsfeld abdeckenden Sensor mit einem grobauslösenden mit größerem Gesichtsfeld kombinieren.

Bei den VR-Brillen liegt die Auflösung derzeit bei 1800 x 1200 Pixel pro Auge. das ist noch zu wenig, doch vor einigen Jahren lagen die noch bei VGA Auflösung, sodass ich optimistisch bin, das man dies noch hinbekommt. Das Hauptproblem ist heute für die Informationsverarbeitung, die ja nicht nur dem Streamen von Bildern sondern auch der Mustererkennung, dauerndem Scharfstellen und Verfolgen der Bewegung der Augenbewegung. Das brauchte heute noch einen potenten Rechner den man im Rucksack tragen müsste und der viel Strom braucht. Doch vieles kann man, wie dies auch unser Gehirn macht durch Vernetzung erledigen. Unser Gehirn braucht Jahre bis Kleinkinder „richtig“ sehen können in der Zeit Vernetzens ich die Nervenzellen so das sie die Information verarbeiten. Analog kann man dies durch neuronale Netze trainieren und wenn man die Algorithmen so erst einmal ausgearbeitet hat als spezialisierte Hardware in FPGA oder andere kundenspezifische logische Schaltungen gießen. Da die Aufgabe für alle gleich ist kann man das dann sogar wie Prozessoren maskenprogrammiert in Serie produzieren. Eindeutig ein Vorteil der Hardware gegenüber unserem Gehirn. So stark reduzieren wie das Gehirn kann man aber nicht, weil man erst ja für die Sinneszellen ein vollständiges gut aufgelöstes Bild präsentieren muss, aber wie schon gesagt nur den einen Zielbereich in der angegebenen Auflösung.

Zu Risiken und Nebenwirkungen befragen sie Google oder ihren Datenschutzbeauftragten

Übrig für den Rechner bliebe dann noch das Einspiegeln von Zusatzinformationen wie es heute Google Glases tut. Und hier wird es dann sicher auch für Google interessant. Die Möglichkeiten für die Firma wären enorm. Schlussendlich hat man nun ja den Browser 24 Stunden im Betrieb. Normalsichtige könnten noch die Brille abnehmen, aber Fehlsichtige wie ich könnten dies nicht. Als Herausforderung bleibt noch das es natürlich schick aussehen muss. Der beste Kompromiss wären wohl nach außen hin verspiegelte Gläser, sonst würden alle mit dunkeln Sonnenbrillen a la Blues Brothers rumlaufen. Eine Alternative wären durchsichtige Gläser in denen man nur bei Bedarf den Zusatznutzen aktiviert, z. B. wenn man an etwas heranzoomen will. Das geht durch Kunststoffgläser die man elektrisch polarisieren kann. Ohne Polarisation sind sie durchsichtig mit sind sie abgetönt und man sieht den aufprojizierten Inhalt.

Das ganze eröffnet dann aber auch neue Schlachtfelder in anderen Gebieten wie Sicherheit und Datenschutz. Was passiert wenn Google das aufnimmt was man sieht, z. B. beim eintippen der Geheimzahl im Bankautomaten oder beim Sex? Ein heikles Thema.