Mănuși speciale cu senzor pot traduce limbajul semnelor in vorbire
Bioinginerii de la UCLA au proiectat un dispozitiv asemănător unei mănuși care poate traduce limbajul semnelor americane în vorbirea engleză în timp real, prin intermediul unei aplicații pentru smartphone. Cercetările lor sunt publicate în revista Nature Electronics.
„Speranța noastră este ca acest lucru să deschidă o cale ușoară pentru persoanele care folosesc limbajul semnelor pentru a comunica direct, fără a avea nevoie de altcineva pentru a le traduce„, a spus Jun Chen, profesor asistent de bioinginerie la UCLA Samueli School of Engineering și investigatorul principal al cercetării. „În plus, sperăm că poate ajuta mai mulți oameni să învețe singuri limbajul semnelor.”
Sistemul include o pereche de mănuși cu senzori subțiri, întinși, care rulează lungimea fiecăruia dintre cele cinci degete. Acești senzori, realizați din fire conducătoare electrice, ridică mișcări ale mâinilor și poziționări ale degetelor care se referă la litere, numere, cuvinte și fraze individuale.
Apoi, dispozitivul transformă mișcările degetelor în semnale electrice, care sunt trimise la o placă de circuit de dimensiuni de monede purtate pe încheietura mâinii. Placa transmite aceste semnale fără fir către un smartphone care le traduce în cuvinte rostite la un procent de aproximativ un cuvânt pe secundă.
Cercetătorii au adăugat, de asemenea, senzori adezivi pe fețele testerilor – între sprâncene și pe o parte a gurii – pentru a surprinde expresii faciale care fac parte din limbajul semnelor americane.
Sistemele purtabile anterior, care ofereau traducere din limbajul semnelor americane, erau limitate de proiectele voluminoase și grele ale dispozitivului sau erau incomode de purtat, a spus Chen.
Dispozitivul dezvoltat de echipa UCLA este format din polimeri ușori și ieftini, dar de lungă durată, extensibili. Senzorii electronici sunt, de asemenea, foarte flexibili și ieftini.
În testarea dispozitivului, cercetătorii au lucrat cu patru persoane care sunt surde și folosesc limba de semn americană. Purtătorii au repetat fiecare gest de mână de 15 ori. Un algoritm personalizat de învățare automată a transformat aceste gesturi în litere, numere și cuvinte pe care le reprezentau. Sistemul a recunoscut 660 de semne, inclusiv fiecare literă a alfabetului și numerele 0 până la 9.
În plus față de Chen, autorii studiului UCLA sunt co-autor principal Zhihao Zhao, Kyle Chen, Songlin Zhang, Yihao Zhou și Weili Deng. Toți sunt membri ai Grupului de cercetare în domeniul bioelectronicii purtabile de la UCLA. Celălalt autor corespondent este Jin Yang, de la Universitatea Chongqing din China.
UCLA a depus cerere de brevet privind tehnologia. Un model comercial bazat pe această tehnologie ar necesita un vocabular suplimentar și un timp de traducere și mai rapid, a spus Chen.
