Tartalom
A Live Caption az egyik legmenőbb Android funkció, amely az eszközön történő gépi tanulást használja feliratok létrehozásához a helyi videók és webklippek számára.
A Google egy blogbejegyzést tett közzé, amelyben pontosan ismerteti, hogyan működik ez a remek funkció, és valójában három, eszközön lévő gépi tanulási modellből áll, kezdőknek.
Van egy ismétlődő neurális hálózati szekvencia-transzdukciós (RNN-T) modell maga a beszédfelismeréshez, de a Google ismétlődő neurális hálózatot használ az írásjelek előrejelzésére.
A harmadik eszközön elhelyezett gépi tanulási modell egy konvolúciós neurális hálózat (CNN) olyan eseményekhez, mint a madarak csiripelése, az emberek tapsolása és a zene. A Google szerint ez a harmadik gépi tanulási modell a Live Transcribe akadálymentesség alkalmazásban végzett munkájából származik, amely képes beszéd és hang események átírására.
A Live Caption hatásainak csökkentése
A társaság szerint számos intézkedést hozott a Live Caption akkumulátor-fogyasztásának és teljesítményének csökkentése érdekében.Az egyik az, hogy a teljes automatikus beszédfelismerő (ASR) motor csak akkor működik, amikor a beszédet ténylegesen észlelik, szemben a háttérben folyamatos futással.
„Például, ha zenét észlelünk, és a beszéd nincs jelen az audio streamben, a címke megjelenik a képernyőn, és az ASR modell ki lesz töltve. Az ASR modell csak akkor kerül vissza a memóriába, amikor a beszéd ismét megjelenik az audio streamben ”- magyarázza a Google blogbejegyzésében.
A Google olyan technikákat is alkalmazott, mint például a neurális kapcsolatok metszése (a beszédmodell méretének csökkentése), az energiafogyasztás 50% -kal történő csökkentése és a Live Caption folyamatos futásának lehetővé tétele.
A Google kifejti, hogy a beszédfelismerési eredményeket másodpercenként néhányszor frissítik a feliratok kialakulásakor, de az írásjelek becslése eltér. A kereső óriás azt mondja, hogy a központozás-előrejelzést „a szöveg legutóbbi elismert mondatának farkán” biztosítja az erőforrás-igény csökkentése érdekében.
Az Élő felirat már elérhető a Google Pixel 4 sorozatban, és a Google szerint hamarosan elérhető lesz a Pixel 3 sorozaton és más eszközökön. A vállalat szerint más nyelvek támogatására és a többszörös hangszórókkal való jobb támogatásra is törekszik.
