Anonim

Afbeelding: Flickr, TexasInstruments

American Sign Language is de brug die dove en slechthorende mensen voor een groot deel verbindt met de wereld van traditionele interpersoonlijke communicatie. Maar hoe communiceer je met ASL als een partner in een bepaald gesprek de visueel gebaseerde taal niet kan interpreteren?

Om dit soort communicatiekloof te dichten, wordt er gewerkt aan de Texas A & M University. Roozbeh Jafari, universitair hoofddocent en hoofdonderzoeker bij de faculteit Biomedische Technologie van de school - en onderzoeker bij zijn Centrum voor Remote Health Technologies en Systemen - ontwikkelt een nieuw geavanceerd hulpmiddel om ASL voor iedereen begrijpelijk te maken.

"http: // http: //mashable.com/2015/11/16/spread-automated-agriculture/" is geen geldige see-also-referentie

De resultaten van Jafari's project en de implicaties op de lange termijn die daaruit voortvloeien, kunnen de manier waarop we interfacing met elkaar benaderen - en zelfs met technologie - allemaal op basis van onze handen, spieren en bewegingen veranderen.

Vision Quest: recente uitdagingen voor ASL-vertaling

Het ASL-vertaalsysteem heeft nog geen officiële naam, maar wat het doet - en wat het staat te doen - is concreet en duidelijk. Het doel is om ASL voor alle deelnemers te vertalen op een manier die accurater, draagbaarder en betrouwbaarder is dan ooit tevoren.

"Er zijn een paar systemen geweest om de Amerikaanse gebarentaal automatisch te vertalen," zei Jafari over apparaten die voorafgaan aan de nieuwe technologie die hij aan het verfijnen is. "De meest prominente onder hen zijn gebaseerd op camera's en visie … je zou in principe voor een camera staan en de camera volgt de handbeweging."

Het is een systeem om visueel getraceerde bewegingen in woorden om te zetten. Maar de camera's die het mogelijk maken, werken alleen goed wanneer de specifieke ASL-gebaren die worden bijgehouden precies genoeg zijn voor de computer aan de andere kant van de vergelijking om te herkennen. Als het niet juist is om het cijfer te markeren, kan dit betekenen dat het gesprek tussen een ASL-gebruiker en de niet-ASL-gebruikende deelnemer moeilijk wordt. Woorden gaan verloren. Communicatie is mislukt. Voeg uitdagingen toe waar een camera kan worden geplaatst in een ruimte vol ASL-deelnemers. Verder voegen we toe dat gebruikers overal een motion-tracking camera rond moeten dragen.

In al deze factoren zag Jafari de behoefte aan een ander ASL-tolkinstrument.

Beyond Vision: Jafari's Motion- en Muscle-Tracking-aanpak voor ASL-vertaling

In het project van Jafari is de camera buiten beeld. In plaats daarvan past zijn technologie een externe bewegingssensor en een draagbare sensor voor het volgen van spieren toe om een nieuwe versie van ASL-vertaling te maken.

"De sensor is gebaseerd op EMG, of elektromyogramtechnologie," zei Jafari, verwijzend naar sensoren die de Mayo Clinic beschrijft als het meten van elektrische signalen - signalen die onze motorneuronen overbrengen naar spieren, waardoor ze samentrekken. EMG's kunnen deze signalen omzetten in numerieke waarden die computers en specialisten kunnen interpreteren.

"Gecombineerd met de externe bewegingssensoren, die ons de algemene handbewegingen laten zien, stelt de EMG ons in staat onderscheid te maken tussen gebaren," zei hij. "Een fijne interpretatie … bewegingssensoren geven ons de algemene zin en spieractiviteiten geven ons informatie over de fijnzinnige intentie."

Volgende stappen: Focussen op de details van nieuwe ASL-technologie

Het team heeft een operationeel proof-of-concept-model geproduceerd, als het gaat om de ASL-tolktechnologie die op Texas A & M aan de gang is. De volgende stap is het verfijnen van de gevoeligheid en nauwkeurigheid van de apparaten.

  • Momenteel moet elke drager van de EMG-sensor, elke keer dat zij het apparaat aanschaffen, voorzichtig zijn om de draagbare technologie op een nauwkeurige manier te positioneren, anders moet het systeem worden "bijgeschoold" om de ASL-woordenschat die de gebruiker gebruikt te registreren. Jafari verklaarde ook dat ze werken aan manieren om "het systeem slimmer te maken, in zekere zin … om de trainingstijd te verkorten of te elimineren."

  • Op dit moment herkent het systeem van Jafari individuele woorden, maar er is een pauze tussen nodig. Naarmate het team zijn werk verder ontwikkelt, is het de bedoeling dat de vertaalmachine de ontvangen invoer combineert in hele zinnen en zinnen - meer verwant aan de manier waarop mensen op natuurlijke wijze communiceren.

  • De derde pijler van ontwikkeling is om de woordenschat van de technologie in het algemeen te vergroten.

Wanneer alle ontwikkeltechnologieën van Jafari op het geavanceerde niveau werken, beschrijft ASL-gebruikers en hun gesprekspartners duidelijk voordelen. Maar de toepassingen van het op sensoren gebaseerde systeem reiken verder dan alleen gebarentaal en vertaling.

"Als je erover nadenkt, kun je dit voor veel andere toepassingen gebruiken", zei hij. "Denk aan je huis … je hebt misschien een slim huis, maar op dit moment om al je apparaten in en uit te schakelen, moet je naar elke mobiele app gaan en deze gebruiken. Wat als je je huis zou kunnen besturen met handgebaren en communiceert met elk van je apparaten? "

Voor Jafari, te beginnen met de missie om ASL verder te faciliteren bij alle deelnemers - en dan door te gaan naar de thuis- en toekomstige applicaties - is het gesprek net begonnen.