BMW Group and Meta Reality Labs present joint research on the interconnection of augmented reality devices

Το Γραφείο Τεχνολογίας του BMW Group στις ΗΠΑ στο Mountain View παρουσιάζει μια ενημερωμένη έρευνα σε συνεργασία με το Reality Labs Research της Meta, η οποία επιδεικνύει, για πρώτη φορά, τη δυνατότητα ακριβούς προβολής σταθερού περιεχομένου εικονικής (VR) και μικτής πραγματικότητας (MR) στους επιβάτες ενός αυτοκινήτου που κινείται γρήγορα, ακόμη και όταν στρίβει, περνά από σαμαράκια και επιταχύνει. Ενσωματώνοντας το σύστημα εντοπισμού της Meta Quest με τα δεδομένα των αισθητήρων της BMW, οι ερευνητές ενεργοποίησαν μια σειρά από σταθερές εμπειρίες παιχνιδιών, ψυχαγωγίας, παραγωγικότητας και διαλογισμού “κλειδωμένες στο αυτοκίνητο”.

Claus Dorrer , Head of the Technology Office of the BMW Group in the USA at Mountain View: «Είναι πολύ νωρίς για να πούμε ακριβώς πώς ή πότε αυτή η τεχνολογία θα φτάσει στα χέρια των πελατών, αλλά οραματιζόμαστε μια σειρά από πιθανές περιπτώσεις χρήσης των συσκευών XR στα οχήματα – από την υποστήριξη του οδηγού στον εντοπισμό του αυτοκινήτου του σε ένα γεμάτο παρκινγκ μέχρι την προειδοποίηση για κινδύνους στο δρόμο και την εμφάνιση σημαντικών πληροφοριών σχετικά με την κατάσταση του οχήματος. Οι προοπτικές των μελλοντικών γυαλιών AR και των συσκευών VR – τόσο για τους επιβάτες όσο και για τους οδηγούς – είναι ελπιδοφόρες. Η ερευνητική συνεργασία με τη Meta θα μας επιτρέψει να ανακαλύψουμε πώς θα μπορούσαν να είναι οι καθηλωτικές εμπειρίες XR μέσα στο όχημα στο μέλλον και να πρωτοστατήσουμε στην απρόσκοπτη ενσωμάτωση τέτοιων συσκευών στα αυτοκίνητα».

 

Prototype results overcome key technical challenges

VR devices use cameras and motion sensors to understand their exact position, so when the user moves their head or looks around, the virtual content remains constant. However, in fast-moving vehicles, the sensors are confused by conflicting signals from the device's movement in the car and the vehicle's movement in the real world. Simply put, the devices' motion sensors think they are moving, but their cameras think they are stationary when looking inside the car.

This mismatch means that today's VR devices cannot display stable virtual content when travelling in a fast-moving vehicle, especially if the vehicle is accelerating, turning quickly or passing bumps in the road.

To solve this challenge, BMW and Meta researchers collaborated to integrate information from the sensor array of a BMW car into the tracking system of a Meta Quest Pro. This enabled the tracking system to simultaneously calculate the position of the device relative to the car and the position of the moving car relative to the real world, allowing for the accurate presentation of virtual objects in a moving car and the demonstration of immersive VR and MR experiences for passengers.

Richard Newcombe , Vice President for Scientific Research, Reality Labs Research : "Our research prototype shows that we can enable fun and comfortable experiences for passengers that are connected to the car itself, including VR and MR games, entertainment, productivity, and even meditation opportunities. The technology has the potential to transform the way we can safely interact with our surroundings while traveling, and as we move to trusted content when transitioning to AR glasses, we hope that passengers will be able to see things like markers for landmarks, restaurants, points of interest and more."

Combining the motion data generated by the vehicle with the capabilities of the XR device sensor allowed us to abstract the vehicle's motion and more accurately track the movement of devices within a vehicle. This in turn allowed us to render content that is synchronized with vehicle motion in real-time, both inside and outside the vehicle at high speeds, regardless of whether the vehicle is on a flat, straight road or on a rough road with sharp turns.

The results of the prototype result in a full range of motion of a person in the car (known as six degrees of freedom) and an XR experience that simultaneously calculates the position of a device relative to the car and the position of the moving vehicle relative to the real world, incorporating the car's sensors.

Το BMW Group είναι πρωτοπόρος στις ψηφιακές τεχνολογίες, όπως η πρόσβαση στο όχημα μέσω του ψηφιακού κλειδιού, και στην προώθηση της βιομηχανικής τυποποίησης για τέτοιες καινοτομίες. Το παγκόσμιο δίκτυο των γραφείων τεχνολογίας της εταιρείας έχει διαδραματίσει καθοριστικό ρόλο στην προώθηση τέτοιων project καινοτομίας. Το BMW Group είναι ανοιχτό σε νέους συνεργάτες προκειμένου να επιτευχθεί ο στόχος της δημιουργίας ενός βιομηχανικού προτύπου για τη σύνδεση των καταναλωτικών ηλεκτρονικών συσκευών XR με οχήματα. Για πιθανή ανάπτυξη σε σειριακή παραγωγή, το BMW Group δεσμεύεται στην αρχή της προστασίας της ιδιωτικότητας μέσω του σχεδιασμού. Σε όλη τη διαδικασία ανάπτυξης ψηφιακών χαρακτηριστικών, το BMW Group λαμβάνει μέτρα για να διασφαλίσει ότι τα δεδομένα των πελατών προστατεύονται και υποβάλλονται σε επεξεργασία με ασφάλεια σύμφωνα με τις απαιτήσεις απορρήτου δεδομένων μέσω καθιερωμένων διαδικασιών – σε όλες τις αγορές όπου δραστηριοποιείται η εταιρεία.