Tartalom

• Hogyan működnek az ideghálózatok?
• Neurális hálózatok az okostelefonon belül
• Az AI alakíthatja a fotózás jövőjét

A számítástechnikai fényképezés, a kiváló minőségű fényképezőgép-hardver és a képjel-processzorok mellett az élvonalbeli mobil fényképezés egyre inkább a gépi tanulási algoritmusok segítségével működik - más néven mesterséges intelligencia (AI). Ez a fotózási technika javítja a minőséget a DSLR-szerű minőség felé való elmozdulásban, miközben új kreatív módszereket kínál a képek és a videók készítéséhez és szerkesztéséhez.

A gépi tanulás kulcsa az ideghálózatok használata. Ez egy olyan algoritmus, amelyet gyakran hasonlítanak az emberi agyhoz. Ez az összehasonlítás egy neurális hálózat azon képességéből származik, hogy képesek-e adatok felhasználásával képeket felismerni a minták felismerésére, lehetővé téve a rendkívül pontos osztályozást olyan összetett adattípusok esetében, mint az audio és a képek.

A fotózásról a megfigyelés, megtanulás, generálás és osztályozás képessége széles körű alkalmazásokat kínál. Ezek az alkalmazások tartalmazhatnak olyan funkciókat, mint például a számítástechnikai fényképezési technikákra való építkezés az utófeldolgozási algoritmusok fejlesztésére, a valós idejű szoftver bokeh 4K videóval, vagy akár a viselt ruhák színeinek teljes cseréje.

Hogyan működnek az ideghálózatok?

A neurális hálózatok rendkívül összetett téma, tehát itt csak az alapokat fogjuk foglalni. Ha fejlettebb olvasmányokat szeretne, olvassa el útmutatásokat itt és itt.

A neurális hálózatok csomópontokból állnak, amelyek jelölik a számításokat. Mindegyik csomópont egyesíti a bemenetet egy olyan tömeggel, amely megerősíti vagy tompítja az adott csomópont jelentőségét. Több csomópont gyakran párhuzamosan működik, és létrehoz egy csomópontréteget, amely nagyobb feladatot hajt végre. Ez lehet például a képen belül a funkció észlelése. Több csomópont és réteg összeilleszthető és továbbadható más csomópontokhoz és rétegekhez, egy mélyebb hálózatot képezve, amely erősebb képességekkel rendelkezik.

Az egyes csomópontok és rétegek kimenete valószínűségfüggvényként van méretezve. Ha sok különféle tulajdonságot és attribútumot megnéz, a neurális hálózat a bemenetet valószínűségi egyezésként értékeli az összes várható potenciális kimenettel szemben. A képdetektálási algoritmusok így határozzák meg, hogy egy kép inkább macskának vagy narancsnak néz ki, de el kell mondania, mit kell először keresnie.

A neurális hálózatokat nem úgy programozták, mint a hagyományos számítógépes algoritmusok. Ehelyett adatkészleteken, például képeken, hangfájlokon, stb. Képzik őket. Az egyes csomópontok súlyát idővel fokozatosan beállítják egy visszacsatoló hurkon keresztül, attól függően, hogy a hálózat milyen jól teljesítette a bemeneteket a megfelelő kimenetekhez. A szabályok fokozatos „megtanulása” jelentős előkészítést, időt és számítógépes erőt igényel, de fenomenálisan pontos eredményeket hoz.

Neurális hálózatok az okostelefonon belül

A neurális hálózatok különféle hardver-összetevőkön futhatnak, beleértve a CPU és a GPU alkatrészeket is, amelyek számtalan számítástechnikai eszközön belül megtalálhatók, beleértve az okostelefont is. Néhány neurális hálózat azonban több feldolgozási energiát igényelhet, mint amennyit ezek a hardverkomponensek meg tudják adni, és a dedikált hardver biztosítja az optimálisan szükséges feldolgozást.

Például a Qualcomm® Snapdragon ™ 855 mobilplatformon megtalálhatja a legújabb Qualcomm® Hexagon ™ 690 digitális jelfeldolgozót (DSP), amely továbbfejlesztett Vector feldolgozó egységekkel és egy új Tensor gyorsítóval rendelkezik, amely kifejezetten a gépi tanulási feladatok elvégzésére szolgál. Más Snapdragon mobilplatformok is tartalmazzák a Hexagon DSP komponenst, változó képességekkel. Ennek ellenére az ideghálók nem korlátozódnak csupán a DSP futtatására a Snapdragonon és más mobil platformon. A használt processzor típusa a munkaterheléstől függ.

A Qualcomm Snapdragon 855 gépi tanulás fejlesztései az előző generációhoz képest

A Qualcomm Technologies a Qualcomm® Neural Processing SDK révén megnyitja DSP és gépi tanulási képességeit harmadik fél fejlesztőinek. Ez lehetővé teszi az alkalmazások számára, hogy neurális hálókat futtassanak a Snapdragon Mobile Platform bármely hardvermagján. Például a Google Pixel okostelefonok bekapcsolják a Hexagon DSP-t és a saját Visual Core-t, hogy felgyorsítsák lenyűgöző HDR + fotózási funkcióját. A Qualcomm Technologies olyan szoftvergyártókkal működik együtt, mint például Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho és még sok más, támogatva a videó bokeh-től az avatár készítéséig terjedő funkciókat, a DSP-n futó gépi tanulással.

Az AI alakíthatja a fotózás jövőjét

Most már tudjuk, hogy működnek az ideghálózatok. Fontos kérdés az, mit tehetne nekünk és fényképeinkkel?

A neurális hálózatokat a leggyakoribb fényképezési algoritmusok fejlesztésére használják. A zajcsökkentést például javíthatnák az edzéssel, hogy kiváló képet nyújtsanak az adott fényképezőgéphez vagy a felvétel típusához igazítva. Hasonlóképpen, gyenge fényviszonyok esetén egy neurális hálózat képes a kép fényes és sötét részeit is felismerni, lehetővé téve a fény és a szín javítását a jelenet bizonyos részein.

A fejlettebb használati esetek egyre gyakoribbak az okostelefonok fényképezésében. A szuperfelbontású zoomok ideghálókat használnak, hogy több képet egyetlen nagy felbontású képpontba egyesítsenek a kiváló megjelenésű digitális zoom érdekében. A neurális hálók kiképzése is lehetővé tette a több fénykép-expozíció pontos összeillesztését a továbbfejlesztett HDR és éjszakai felvételek készítéséhez.

Az AI fényképezés tartalmazhat nagy felbontású zoomot, valós idejű bokeh-t és jobb képminőséget.

A videó számára is hasznos lehet ennek a technológiának az elfogadása. Az objektumok valós idejű felismerését úgy tervezték, hogy lehetővé tegyék az alkalmazások számára, hogy a szoftver bokeh hatásait egyenesen a videóba vezessék be a felvétel során. Hasonló technikák támogatják a valós idejű objektumok cseréjét és eltávolítását is. Ez magában foglalja a háttér cseréjét egy videóban, a színek megváltoztatását vagy eltávolítását, és még a ruházati cikkek cseréjét vagy a digitális avatarok közvetlenül a videóba történő áthelyezését.

A neurális hálózatépítés és az AI fényképezés ereje a DSLR hézagának csökkentését célzó minőségjavításoktól a hatékony kreativitási eszközökig terjed, amelyek megkönnyítik az egyedi tartalom előállítását. Akárhogy is, ez egy hatalmas technológia, amely alapvető fontosságú a mobil fényképezés jövőbeni fejlesztésein.

Következő: A Google Pixel 3 XL nemzetközi ajándéka!

A Qualcomm Technologies, Inc. által szponzorált tartalom

A Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine és Qualcomm Kryo a Qualcomm Technologies, Inc. és / vagy leányvállalatainak termékei.