Sony-Forscher experimentieren mit KI-Technologie, um eine genauere Fingerverfolgung zu erreichen. Beispielsweise kann die Technologie im neuen Playstation VR-Controller verwendet werden.
Finger-Tracking bei der PS5
Schnittstellenforscher von Sony Interactive im Bereich Sony Playstation haben ein tiefes Verständnis für das aktuelle Controller-Experiment für Playstation VR 2, bei dem es sich um einen Stick-Controller mit Finger-Tracking handelt. Der VR-Brillenträger hält die mit dem kapazitiven Sensor ausgestattete Stange. Der Sensor erkennt, wenn der Benutzer langsam einen Finger vom Stick wegzieht und ihn dann zurücklegt. Auf diese Weise können Benutzer ihre eigenen Hände verwenden, um mit virtuellen Objekten zu interagieren, anstatt den Controller zu verwenden, um eine Hand wie den aktuellen Move-Controller zu steuern. Für den Prototyp-Controller von Sony sind keine anderen Eingabefunktionen wie Tasten und Joysticks erforderlich. Es sollte Änderungen an der möglichen kommerziellen Version geben.
Genauer als der Index-Controller von Valve
Interessierte VR-Marktbeobachter werden denken: „Moment mal, ich weiß.“ Natürlich: Der Ventilindex (Test) basiert auch auf kapazitiven Sensoren für die Fingerverfolgung. Der Unterschied zwischen Sony-Forschern und Valve: Sie zeichneten zunächst elf spezifische Handbewegungen von zwölf Händen unterschiedlicher Größe auf. Zu diesem Zweck verwendeten sie 62 kapazitive Sensoren der Kamera- und Controller-Prototypen.
Anschließend verknüpften sie die visuellen Informationen des Videos mit den Sensordaten. Anschließend verwendeten sie den Datensatz, um ein neuronales Netzwerk zu trainieren, das nur kapazitive Sensoren zum Zeigen im Controller-Prototyp verwenden konnte. Basierend auf Sensordaten kann AI vorheriges Videotraining kombinieren, um Schlussfolgerungen über die richtige Handposition zu ziehen. Keine Tracking-Kameras mehr.
Mit dieser Methode hoffen Sony-Forscher insbesondere, die Genauigkeit des kapazitiven Biegesensors zu verbessern. Offensichtlich erfolgreich: Bei Benutzertests konkurrierte der Prototyp mit dem VR-Controller von Valve Index. Dann fragten sie den Benutzer nach dem Vorhandensein der Hand, die sie fühlten, und erzielten "signifikant bessere Ergebnisse", insbesondere den Daumen. Das AI-basierte Tracking sollte sehr stabil sein, auch wenn die verschwitzte Hand den Controller nicht durcheinander bringt.
den aktuellen Move-Controller zu steuern. Für den Prototyp-Controller von Sony sind keine anderen Eingabefunktionen wie Tasten und Joysticks erforderlich. Es sollte Änderungen an der möglichen kommerziellen Version geben.
Wie es weitergeht
Im Zusammenhang mit dem kürzlich veröffentlichten Playstation 5-Controller war die Präsentation von Sony besonders interessant. Im Gegensatz zum PS4-Controller wird das aktuelle Sony VR-Brillen-Tracking-System nicht mehr unterstützt. Wenn Sony neue VR-Brillen (Vergleich) auf den Markt bringt, ist es fast sicher, dass das Paket einen neuen, für VR optimierten Controller enthält, z. B. einen Controller mit Finger-Tracking. Sony hat im Sommer 2018 ein Patent für den Controller-Prototyp angemeldet.
Source: mixed
