Come funziona la tecnologia di rilevamento delle mani di Oculus Quest

L' Oculus Quest (sia il modello originale che il secondo modello(second model) ) ha un'interessante storia di funzionalità aggiunte molto tempo dopo che l'hardware è stato rilasciato. Il più famoso di questi è Oculus Link , che trasforma effettivamente il Quest in un Oculus Rift . Questa funzionalità ha avuto un tale successo che Oculus ha deciso di interrompere tutti i suoi visori tranne il Quest . 

(Hand)Il tracciamento delle mani non ha avuto il successo di Oculus Link , ma è comunque una funzionalità straordinaria con molto potenziale. Con il rilevamento manuale non hai affatto bisogno di controller. Le tue mani sono digitalizzate nel mondo VR! 

Se hai un Quest o stai pensando di acquistarne uno, vale la pena sapere come funziona il rilevamento delle mani e cosa può apportare all'esperienza VR.

Come Quest segue il mondo

Oculus Quest utilizza un approccio innovativo al tracciamento del movimento che viene comunemente chiamato tracciamento "inside-out", che è molto diverso da come funzionava il tracciamento del movimento in passato. 

Quando le prime cuffie di nuova generazione sono state rilasciate a metà degli anni 2010, hanno utilizzato una o più telecamere di localizzazione esterne. Speciali luci di rilevamento del movimento sull'auricolare indicavano alla telecamera esattamente dove si trovava l'auricolare in relazione ad esso. Con un po' di matematica intelligente, quei dati potrebbero quindi essere convertiti in un tracciamento del movimento molto accurato nello spazio 3D. È così che i visori VR premium offrono "sei gradi di libertà", noti anche come 6DoF. 

Quest sposta il sensore della fotocamera sull'auricolare stesso, in questo caso posizionandolo in punti strategici del dispositivo. Altri auricolari possono utilizzare ancora più fotocamere per migliorare la precisione. Queste quattro telecamere consentono a Quest di guardare il mondo reale intorno a te e determinare qual è la tua posizione all'interno di quello spazio. 

Questo è ciò che consente a Quest di essere autonomo e portatile. È anche la funzione che consente in primo luogo il tracciamento manuale con Oculus ..

I controller touch standard di Oculus(Standard Oculus Touch Controllers)

Per capire cosa rende così impressionante il tracciamento delle mani di Oculus, dobbiamo iniziare con i controller fisici piuttosto banali forniti con Oculus Quest . Ognuno è completamente monitorato dal movimento da sensori interni e speciali indicatori di rilevamento del movimento che indicano alle telecamere di bordo del Quest dove si trovano i controller rispetto all'auricolare.

Quando tieni in mano i controller touch in VR, vengono tracciati con incredibile precisione. Utilizzando i pulsanti di impugnatura e di attivazione sul controller, il software VR può creare un'esperienza convincente di afferrare e manipolare oggetti. Questo è usato con grande efficacia in giochi come Half-Life Alyx e The Climb , in cui gli oggetti avvincenti nel mondo VR sono una parte centrale del gioco. 

I Touch Controller(Touch Controllers) offrono anche un feedback tattile grazie a dispositivi chiamati "attuatori lineari", che possono creare sensazioni fisiche di urto contro cose, vibrazioni e altre sensazioni tattili. Le levette e i pulsanti offrono anche un modo familiare per spostarsi in uno spazio VR quando non puoi muoverti fisicamente nel tuo spazio reale.

Lo svantaggio principale di questo rispetto al rilevamento delle mani è che hai dei ganci per le mani. Puoi eseguire semplici movimenti di pizzicamento con le tue mani virtuali, ma questo è il punto. Non sembra una limitazione importante quando i giochi sono progettati attorno ai controller, ma il rilevamento delle mani apre uno spettro di nuove possibilità in VR.

Cosa fa il rilevamento delle mani di Oculus

Quando il rilevamento delle mani è abilitato, vedrai una rappresentazione accurata delle tue mani reali all'interno del mondo VR. Ogni movimento delle tue dita o del polso si rifletterà nei loro doppelganger virtuali.

Hand Tracking non è più una funzione beta di Quest . Ora è integrato nel sistema operativo e in molte applicazioni Quest proprietarie. Il primo grande vantaggio qui è che se vuoi semplicemente indossare rapidamente il tuo Quest e guardare un film in VR o navigare nell'app store, non devi affrontare lo sforzo di legare i controller touch. Usando solo le tue mani, puoi accedere ai menu di sistema e navigare con facilità.

Ora che il monitoraggio manuale è una funzionalità ufficiale di Quest , gli sviluppatori di app di terze parti possono aggiungerlo alle loro app. Esistono già diverse app che fanno un uso eccellente della funzione di tracciamento manuale di Oculus , ma siamo sicuri che gli sviluppatori troveranno molti altri modi interessanti in cui il tracciamento manuale diretto può trasformare l'esperienza VR

Come funziona il monitoraggio delle mani di Oculus

I risultati del monitoraggio manuale sono piuttosto sorprendenti, ma come funziona effettivamente? Ovviamente Oculus non pubblicherà i dettagli esatti della loro soluzione proprietaria, ma conosciamo le tecnologie e i principi coinvolti.

Innanzitutto, le telecamere di bordo sono essenziali per far funzionare il rilevamento manuale. Non solo forniscono informazioni sulla profondità stereoscopica, ma anche dati visivi per l'elaborazione mediante visione artificiale. Cos'è la visione artificiale? È una branca dell'intelligenza artificiale(artificial intelligence) , in particolare un campo noto come apprendimento automatico. È la stessa tecnologia che consente all'app della fotocamera del telefono di identificare rapidamente i volti in una foto.

In sostanza, il software deve imparare cosa nei dati dell'immagine forniti dalla fotocamera è una mano e cosa non è una mano. Ciò è stato probabilmente fatto mostrando il software a migliaia e migliaia di mani in ambienti diversi fino a quando non è stato in grado di capire in modo affidabile un modo rapido ed efficace per distinguerle da tutto il resto nella tua stanza.

Una volta che il software è in grado di creare modelli virtuali accurati e in tempo reale delle tue mani, gli sviluppatori di app possono utilizzarli per qualsiasi cosa gli venga in mente. Ora puoi manipolare con precisione gli oggetti in VR!

Esperienze tracciate a mano che vale la pena provare

Se possiedi un Oculus Quest puoi provare la funzione di tracciamento manuale di Oculus senza dover acquistare alcuna app in particolare. Come accennato in precedenza, funziona nell'ambiente Quest principale e in alcune app proprietarie. Quando si tratta di esperienze di terze parti, ce ne sono alcune che vale la pena evidenziare.

The Line è un'esperienza narrativa da $ 4,99 che funge anche da perfetta demo tecnologica per il monitoraggio delle mani. Racconta la storia di una città modello in scala che corre su un meccanismo a orologeria e binari. 

Il nostro eroe Pedro è innamorato di Rosa , ma non può sfuggire al suo destino. Finché un giorno non succede qualcosa di nuovo. Interagisci con il loro mondo di modellini in scala usando la tua mano per girare manopole, tirare leve e giocherellare con tutto ciò che puoi. È un'esperienza lineare e breve, ma può mostrare il tracciamento manuale in un modo molto divertente in circa 15 minuti.

Waltz of the Wizard ($ 9,99) è un'altra eccellente vetrina della tecnologia. Puoi usare le mani per lanciare incantesimi e interagire con qualsiasi cosa nel mondo VR che ti circonda. Se hai sempre desiderato vivere la fantasia di essere un mago che può sparare fulmini dalle loro mani, questo è il gioco che fa per te!

Cosa ne pensi del tracciamento delle mani su Quest ? L'hai provato? Quali giochi consiglieresti? Condividi(Share) le tue opinioni nei commenti.



Monica De Angelis

About the author

Sono uno sviluppatore iOS con oltre 10 anni di esperienza. Sono specializzato nello sviluppo di app per iPhone e iPad. Ho esperienza nella creazione di flussi utente, nella creazione di kit di sviluppo personalizzati (CDK) e nell'utilizzo di vari framework di sviluppo di app. Nel mio lavoro precedente, ho anche sviluppato strumenti per aiutare a gestire l'App Store di Apple, che includono uno strumento di gestione del prodotto e uno strumento di invio delle app.


Related posts