Tartalom

• Korlátozott energiaköltség
• Sávszélesség és nagy felbontás
• Alacsony késleltetési és kijelzőpanelek
• Audio és érzékelők
• Fejlesztők és szoftverek
• Tekerje fel

Végül mélyen elmerülünk a forradalomban, amint egyesek azt mondhatják: a piacon rengeteg hardver- és szoftvertermék van, és az innováció ösztönzésére erőforrásokat öntünk. Azonban több mint egy éve van, mióta a termék jelent meg ezen a téren, és még mindig várjuk ezt a gyilkos alkalmazást, hogy a virtuális valóság mainstream sikerré váljon. Amíg várunk, az új fejlesztések továbbra is a virtuális valóságot életképes kereskedelmi opcióvá teszik, de még mindig számos technikai akadályt kell leküzdeni, különösen a mobil VR térben.

Korlátozott energiaköltség

A mobil virtuális valóság alkalmazások előtt a legnyilvánvalóbb és legjobban megvitatott kihívás az asztali PC-hez viszonyítva sokkal korlátozottabb energiaköltség és termikus korlátok. Az intenzív grafikus alkalmazások egy akkumulátorról történő futtatása azt jelenti, hogy alacsonyabb teljesítményű alkatrészekre és hatékony energiafelhasználásra van szükség az akkumulátor élettartamának megőrzése érdekében. Ezenkívül a feldolgozó hardver és a viselő közelsége azt jelenti, hogy a hőköltségvetés sem lehet magasabb. Összehasonlításképpen: a mobiltelefon általában a 4 watt alatti korlátokon belül működik, míg az asztali VR GPU könnyen képes legalább 150 watt fogyasztásra.

Széles körben elismerték, hogy a mobil VR nem fogja illeszteni az asztali hardvereket a nyers energiáért, de ez nem jelenti azt, hogy a fogyasztók nem igényelnek mélységes 3D élményt éles felbontással és nagy képsebességgel.

Széles körben elismert tény, hogy a mobil VR nem fogja illeszteni az asztali hardvereket a nyers energiáért, de ez nem jelenti azt, hogy a fogyasztók nem fognak megkövetelni magával ragadó 3D élményeket éles felbontással és nagy képsebességgel, a korlátozott teljesítmény ellenére költségvetés. A 3D-s videó nézése, a 360 fokos újjáépítési helyek felfedezése és akár a játék között még mindig sok a mobil VR-hez illő felhasználási eset.

Visszatekintve a tipikus mobil SoC-re, ez további problémákat vet fel, amelyeket ritkábban értékelnek. Noha a mobil SoC-k beépíthetők egy tisztességes okta-magos CPU-elrendezésbe és némi figyelemre méltó GPU-teljesítménybe, ezeket a chipeket nem lehet teljesen megdönteni, mind az energiafogyasztás, mind a korábban említett hőszükségletek miatt. A valóságban a mobil VR példányban a CPU a lehető legkevesebb időre akarja futni, felszabadítva a GPU-t a korlátozott energiaköltségvetés nagy részének felhasználására. Ez nem csak korlátozza a játék logikájához, a fizikai számításokhoz, sőt a háttér mobil folyamatainak eléréséhez rendelkezésre álló erőforrásokat, hanem terhet ró a lényeges VR feladatokra, például a sztereoszkópos megjelenítés felhívására.

Az iparág már dolgozik azon megoldások kidolgozásán, amelyek nemcsak a mobiltelefonokra vonatkoznak. A többképes megjelenítést az OpenGL 3.0 és az ES 3.0 támogatja, és az Oculus, a Qualcomm, az Nvidia, a Google, az Epic, az ARM és a Sony közreműködői fejlesztették ki. A multiview lehetővé teszi a sztereoszkópikus megjelenítést, csupán egyetlen vonalhívással, és nem minden nézeti pontra, és ezzel csökkentheti a CPU-igényeket, és csökkenti a GPU csúcsteljesítményét is. Ez a technológia 40-50% -kal javíthatja a teljesítményt. A mobil térben a Multiview-ot már számos ARM Mali és Qualcomm Adreno eszköz támogatja.

Egy másik újítás, amely várhatóan megjelenik a közelgő mobil VR termékekben, a hajtott renderelés. A szemkövetési technológiával együtt használt, lágyított renderelés megkönnyíti a GPU terhelését azáltal, hogy a felhasználó pontos fókuszpontját csak teljes felbontással teszi lehetővé, és csökkenti a perifériás látásban lévő tárgyak felbontását. Ez szépen kiegészíti az emberi látásrendszert, és jelentősen csökkentheti a GPU terhelését, ezáltal energiát takaríthat meg és / vagy további energiát szabadít fel más CPU vagy GPU feladatokhoz.

Sávszélesség és nagy felbontás

Noha a feldolgozási teljesítmény korlátozott a mobil VR helyzetekben, a platformra továbbra is ugyanazok a követelmények vonatkoznak, mint a többi virtuális valóság platformon, ideértve az alacsony késleltetésű, nagy felbontású kijelzőpaneleket is. Még azok számára is, akik megtekintették a QHD (2560 x 1440) felbontással bíró VR-kijelzőket, vagy a Rift fejhallgató szemre jutó 1080 × 1200 felbontását, valószínűleg kissé alá vannak téve a kép tisztaságának. Az álnevek kiemelkedése különösen problematikus, mivel a szemünk annyira közel van a képernyőhöz, hogy az élek mozgás közben különösen durva kinézetűek vagy elakadtak.

Noha a feldolgozási teljesítmény korlátozott a mobil VR helyzetekben, a platformra továbbra is ugyanazok a követelmények vonatkoznak, mint a többi virtuális valóság platformon, ideértve az alacsony késleltetésű, nagy felbontású kijelzőpaneleket is.

A brutális erő megoldása a kijelző felbontásának növelése, a következő logikus lépés a 4K. Azonban az eszközöknek nagy frissítési frekvenciát kell fenntartaniuk, függetlenül a felbontástól, mivel a 60 Hz-et tekintik a minimumnak, de 90 vagy akár 120 Hz is sokkal előnyösebb. Ez nagy terhet ró a rendszermemóriára, bárhol kettő-nyolcszor annyi, mint a mai eszközöknél. A memória sávszélessége már korlátozottabb a mobil VR-ben, mint az asztali termékekben, amelyek gyorsabb dedikált grafikus memóriát használnak, mint megosztott készlet.

A grafikus sávszélesség megtakarításához szükséges tömörítési technológiák, például az ARM és az AMD Adaptive Scalable Texture Compression (ASTC) szabványa vagy az veszteségmentes Ericsson Texture Compression formátum használata, amelyek mind az OpenGL, mind az OpenGL ES hivatalos kiterjesztései. Az ASTC-t a ARM legújabb Mali GPU-i, az Nvidia Kepler és a Maxwell Tegra SoC-k, valamint az Intel legújabb integrált GPU-k hardverei is támogatják, és bizonyos forgatókönyveknél több mint 50 százalékos sávszélességet takaríthatnak meg a tömörítetlen textúrák használatával szemben.

A textúra-tömörítés jelentősen csökkentheti a sávszélességet, a késleltetést és a memóriát, amelyet a 3D-s alkalmazások igényelnek. Forrás - ARM.

Más technikák is megvalósíthatók.A tesszelés használata részletesebb geometriát hozhat létre egyszerűbb objektumokból, bár más jelentős GPU erőforrások megkövetelése esetén. Az elhalasztott megjelenítés és az elõzetes képpont-elkerülés elkerülheti az elzáródott képpontok megjelenítését, míg a Binning / Burkolás architektúrák feloszthatják a képet kisebb rácsokra vagy lapokra, amelyeket mindegyik külön renderelt, és amelyek mindegyikével csökkenthetõ a sávszélesség.

Alternatív megoldásként, vagy lehetőleg kiegészítőként, a fejlesztők feláldozhatják a képminőséget annak érdekében, hogy csökkentsék a rendszer sávszélességére nehezedő stresszt. A geometria sűrűsége feláldozható vagy agresszívebb levágást végezhet a terhelés csökkentése érdekében, és a csúcsadatok felbontása 16 bitesre csökkenthető, a hagyományosan alkalmazott 32 bites pontossággal szemben. Ezeknek a technikáknak a nagy részét már különböző mobilcsomagokban is alkalmazzák, és együtt segíthetnek csökkenteni a sávszélesség terhelését.

A memória nemcsak a mobil VR-tér jelentős korlátozása, hanem meglehetősen nagy energiafogyasztó is, gyakran megegyezik a CPU vagy a GPU fogyasztásával. A memória sávszélességének és használatának megtakarításával a hordozható virtuális valóság megoldásoknak hosszabb akkumulátor-élettartamot kell mutatniuk.

Alacsony késleltetési és kijelzőpanelek

A késéssel kapcsolatos kérdésekről eddig csak az OLED kijelzőpaneleket látó VR fejhallgatókat láthattuk, és ennek oka elsősorban a gyors pixelváltási idő, amely milliszekundum alatt van. A történelem során az LCD-t nagyon gyors frissítési gyakorisággal társították a szellemképességgel kapcsolatos problémákkal, ami miatt meglehetősen alkalmatlanok VR-re. A nagyon nagy felbontású LCD panelek azonban még olcsóbban állíthatók elő, mint az OLED ekvivalensek, ezért erre a technológiára való váltás elősegítheti a VR fejhallgatók árának megfizethetőbb szintjét.

A foton késés mozgásának 20 ms-nál kisebbnek kell lennie. Ez magában foglalja a mozgás regisztrálását és feldolgozását, a grafika és audio feldolgozását, valamint a kijelző frissítését.

A megjelenítések különös jelentőséggel bírnak a virtuális valóság rendszerének általános késésében, gyakran megkülönböztetve a látszólagos és az alsó par értékű élményt. Ideális rendszerben a mozgás-foton késésnek - a fej mozgatása és a kijelző reagálása közötti időnek - kevesebb mint 20 milliszekundumnak kell lennie. Nyilvánvaló, hogy az 50ms-os kijelző itt nem jó. Ideális esetben a paneleknek legfeljebb 5 ms-osnak kell lenniük, hogy az érzékelő és a feldolgozási késleltetés is megfeleljen.

Jelenleg van egy költséghatékonysági kompromisszum, amely kedvez az OLED-nek, de ez hamarosan megváltozhat. A magasabb frissítési arányt és alacsony fekete-fehér reakcióidőt támogató LCD panelek, amelyek élvonalbeli technikákat, például a háttérvilágítás villogását használják, jól illeszkedhetnek a számlához. A Japan Display tavaly éppen egy ilyen panelt mutatott be, és láthatjuk, hogy más gyártók hasonló technológiákat is bejelentenek.

Audio és érzékelők

Noha a leggyakoribb virtuális valóság témái a képminőség körül mozognak, a magával ragadó VR nagy felbontást, térben pontos 3D audio és alacsony késleltetési időérzékelőket igényel. A mobil birodalomban mindezt ugyanabban a korlátozott energiaköltségvetésben kell végrehajtani, amely a CPU-t, a GPU-t és a memóriát érinti, ami további kihívásokat jelent.

Korábban már foglalkoztunk az érzékelők késleltetési kérdéseivel, amelyekben a mozgást regisztrálni és feldolgozni kell a 20 ms alatti mozgás / foton késleltetési határ részeként. Ha figyelembe vesszük, hogy a VR fejhallgatók 6 fokos mozgást - forgást és irányt mutatnak az X, Y és Z tengelyek mindegyikén - plusz olyan új technológiákat, mint a szemkövetés, jelentős mennyiségű állandó adat gyűjthető és feldolgozható, mindegyik minimális késleltetés.

Ennek a késésnek a lehető legalacsonyabb szinten tartására szolgáló megoldások teljes körű megközelítést igényelnek, mind a hardver, mind a szoftver képes párhuzamosan elvégezni ezeket a feladatokat. A mobil eszközök szerencséje nagyon elterjedt a dedikált alacsony fogyasztású érzékelő processzorok és a folyamatosan bekapcsolt technológia használata, amelyek meglehetősen alacsony teljesítményűek.

Az audio esetében a 3D pozíció egy olyan technika, amelyet már régóta használnak a játékhoz, és ilyen, de a fejhez kapcsolódó transzfer funkció (HRTF) és a konvolúció reverb feldolgozása, amelyekre szükség van a hangforrás reális pozicionálásához, meglehetősen processzorigényes feladatok. Bár ezek végrehajthatók a CPU-n, egy dedikált digitális jelfeldolgozó (DSD) sokkal hatékonyabban tudja végrehajtani az ilyen típusú folyamatokat, mind a feldolgozási idő, mind az energia szempontjából.

Egyesítve ezeket a funkciókat a már említett grafikai és megjelenítési követelményekkel, egyértelmű, hogy több speciális processzor használata a leghatékonyabb módja ezeknek az igényeknek a teljesítésére. Láttuk, hogy a Qualcomm nagymértékben kihasználja zászlóshajója és a legfrissebb középszintű Snapdragon mobil platformok heterogén számítási képességét, amelyek a feldolgozó egységeket egy csomagba egyesítik olyan képességekkel, amelyek szépen szolgálnak ezen mobil VR igények sokaságának kielégítéséhez. Valószínűleg számos mobil VR termékben látni fogjuk a csomagok típusát, beleértve az önálló hordozható hardvert is.

Fejlesztők és szoftverek

Végül, a hardverfejlesztések egyike sem túl jó szoftvercsomagok, játékmotorok és SDK-k nélkül, amelyek támogatják a fejlesztőket. Végül is nem lehet, hogy minden fejlesztő újratelepítse a kereket minden alkalmazáshoz. A fejlesztési költségek alacsony szinten tartása és a lehető leggyorsabb sebesség kulcsfontosságú, ha az alkalmazások széles skáláját látjuk.

Különösen az SDK-k elengedhetetlenek a kulcsfontosságú VR-feldolgozási feladatok végrehajtásához, például az aszinkron időgörbéhez, az objektív torzítás korrekciójához és a sztereoszkópos megjelenítéshez. Nem is beszélve az energia-, hő- és feldolgozási menedzsmentről heterogén hardverbeállításokban.

Szerencsére az összes nagy hardverplatform-gyártó SDK-kat kínál a fejlesztőknek, bár a piac meglehetősen széttagolt, ami a platformok közötti támogatás hiányát eredményezi. Például a Google rendelkezik a VR SDK-val Androidra és egy dedikált SDK-val a népszerű Unity motor számára, míg az Oculus mobil SDK-ját a Samsungmal együtt építi a Gear VR-hez. Fontos szempont, hogy a Khronos csoport nemrégiben nyilvánosságra hozta OpenXR kezdeményezését, amelynek célja egy API biztosítása, amely az összes fő platformot lefedi mind az eszköz, mind az alkalmazás szintjén, a platformok közötti könnyebb fejlesztés megkönnyítése érdekében. Az OpenXR valamikor 2018 előtt látta támogatását az első virtuális valóság eszközében.

Tekerje fel

Néhány probléma ellenére a technológia fejlesztés alatt áll, és bizonyos mértékig már itt is van, ami a mobil virtuális valóság számos alkalmazás számára működőképessé teszi. A Mobile VR számos előnnyel rendelkezik, amelyek egyszerűen nem vonatkoznak az asztali eszközökre, amelyek továbbra is befektetésre és érdeklődésre méltó platformmá teszik. A hordozhatóság tényezővé teszi a mobil VR-t a multimédiás élmények és még a könnyű játékok vonzó platformjaként is, anélkül, hogy vezetékeket kellene csatlakoztatni egy erősebb számítógéphez.

Ezenkívül az a tény, hogy a piacon egyre több a mobil eszközök, amelyek egyre inkább fel vannak szerelve a virtuális valóság képességeivel, ez a választott platform a legnagyobb célközönség eléréséhez. Ahhoz, hogy a virtuális valóság mainstream platformmá váljon, szükség van a felhasználókra, és a mobil a legnagyobb felhasználói bázis a megérintéshez.