A világ hallássérültjei által használt jelnyelv nem egységes világszerte, hanem a beszélt nyelvekhez hasonlóan ez is sokféle, saját nyelvtannal, és eltérő nyelvi tulajdonságokkal. A jelnyelvi tolmács mindenhol hiánycikk, épp ezért számos fejlesztés zajlik, amelyek célja a valós idejű jelnyelvi fordítás volna. A Floridai Atlanti Egyetem egy olyan kutatással járul hozzá ehhez, amelyben az amerikai jelnyelvet számítógépes látás segítségével igyekeznek felismerni.
A jelnyelvi ábécé kézjeleiből egy közel 30 ezer képből álló adatbázist állítottak össze, amelyek mindegyikén meghatározták a kéz 21 megadott pontjának helyzetét, ezzel az egyes jelek térbeli felépítéséről született információ. A MediaPipe nevű rendszer feladata volt ezek azonosítása és bejelölése a képeken. Ezt követően egy mélytanulásos rendszer, a YOLOv8 következett: az egyes jelek közti finom különbségek megértését várták el a rendszertől a szakemberek.
A tanítást követően a rendszer képes volt felismerni az amerikai jelnyelv kézjeleit, 98 százalékos pontossággal!
Az innovatív módszer áttörést jelent, rendkívül megbízhatóan képes felismerni a jelnyelvi jeleket még akkor is, ha azok a valós élettől elvárhatóan eltérő kéztartással jelennek meg. A kutatók a további fejlesztések során igyekeznek még több kéztípussal és gesztussal bővíteni a rendszert. Ennek az a fő célja, hogy az egymáshoz hasonlónak tűnő jelek közti különbség még pontosabban felismerhetőbbé váljon.
Fontos az is, hogy a módszert olyan rendszereken is használni lehessen, amelyek nem rendelkeznek egy nagyobb hálózat erőforrásaival, vagyis a gyakorlati, hétköznapi eszközökkel való felhasználást garantálni kell.
The post A mesterséges intelligencia valós idejű jelnyelvi tolmács lehet first appeared on National Geographic.
