Pärast 50 aastat on aeg klaviatuuriga hüvasti jätta?

Ülevaade inimese ja arvuti liidestest. Mis saab pärast puuteekraani ja hääletuvastust?

Apple Watch, mida ei peeta isegi eriti võimsaks arvutiks, suudab iga sekund töödelda gigabaidiseid andmeid. Meie ajudes on kümneid miljardeid neuroneid ja üle kvadriljoni ühenduse ning inimese aju töötleb igal sekundil tohutul hulgal andmeid, mida me ei oska isegi hinnata. Kuid alandlik klaviatuur ja hiir on siiani kõige kiirem sild võimsa inimese aju ja ülikiire 0s ja 1 vahelise maailma vahel.

Apple Watch on 250 korda võimsam kui arvuti, mis Apollo Kuule maandus. Kui arvutid on arenenud terve hoone hõivamisest vaid nanomeetriteks, jäävad klaviatuurid endiselt kõige usaldusväärsemaks ja kõige laialdasemalt kasutatavaks inimese ja arvuti liideseks.

Arvutiklaviatuuri leiutamine ulatub tagasi enam kui 50 aastasse. Avalik domeen.Mees armus oma hääleassistendisse filmis “Tema”.

Kas liigute klaviatuurist ja hiirest kaugemale?

Arvutid manustatakse erinevatesse objektidesse ja kuna me ei saa klaviatuuri ja hiirt iga ümbritseva objektiga ühendada, peame leidma muud liidesed. Praegune lahendus nutikate objektidega ehk IoT-ga suhtlemiseks toimub hääletuvastuse kaudu, millel on ilmselgelt sellised piirangud nagu avalik kasutamine. Heidame pilgu meetoditele, millega teadlased ja ettevõtted praegu töötavad.

Puudutage

Mitme puutega tehnoloogia ja mitme puutega žestide (nt näppimise) edusammud on muutnud puutetundliku ekraani lemmikliideseks. Teadlased ja idufirmad töötavad parema puudutuskogemuse nimel, alates mõistmisest, kui kindel on teie puudutus, millist sõrme osa ta liigutab ja kelle sõrme katsub.

iPhone 3D Touch tuvastab jõu. Allikas Giphy.

Hääl

DARPA finantseeris selle valdkonna teadusuuringuid 70ndatel! kuid hääl alles hiljuti polnud kasulik. Tänu sügavale õppimisele on nüüd häältuvastus päris hästi õnnestunud. Suurim väljakutse häälega on praegu mitte transkribeerimine, vaid pigem konteksti põhjal tähenduse tajumine.

Silm

Silmade jälgimisel mõõdame kas pilku (kus üks otsib) või silma liikumist pea suhtes. Nii kaamerate ja sensorite kulude vähenemise kui ka virtuaalse reaalsuse prillide populaarsuse suurenemisega on silmade jälgimine kui liides kasulik.

Tobii, kellel oli 2015. aastal IPO, teeb koostööd tarbeelektroonika tootjatega, et kinnistada oma silma jälgimise tehnoloogia. Kujutise allikas: Flickr.

Žest

Žestikontroll on mulle südamelähedasim inimese ja arvuti liides. Olen isiklikult teinud teaduslikke uuringuid erinevate žestikontrolli meetodite kohta. Mõned žestide tuvastamiseks kasutatavad tehnoloogiad on:

Inertsuse mõõtühik (IMU)

Žestide tuvastamiseks kasutatakse kiirendusmõõturi, güroskoobi ja kompassi andmeid (kõik või mõned neist). Uue kalibreerimise vajadus ja väiksem täpsus on mõned selle meetodi probleemid.

Infrapuna + kaamera (sügavussensor)

Enamik lahedaid žestide tuvastamise süsteeme, mida me oleme näinud, kasutavad kvaliteetse kaamera, infrapunavalgustuse ja infrapunakaamera kombinatsiooni. Põhimõtteliselt see, kuidas see töötab, on see, et ta projitseerib stseenis tuhandeid väikseid punkte ja vastavalt sellele, kui kaugel objekt asub, on moonutused erinevad (on ka erinevaid meetodeid, näiteks ToF, mida ma ei hakka uurima). Kinect, Inteli RealSense, Leap Motion, Google'i Tango kasutavad kõik selle tehnoloogia mõnda variatsiooni.

Leap Motion on tarbimisseade žeste juhtimiseks.Apple on astunud selle ühe sammu edasi, manustades selle kõik FaceIDi jaoks mõeldud iPhone X-i esikaamerasse.

Elektromagnetiline väli

Selle meetodi korral toimib kasutaja sõrm või keha juhtiva objektina, mis moonutab elektromagnetilist välja, mis tekitatakse saatja ja vastuvõtja antennide paigutamisega objekti.

Radarid

Radareid on juba pikka aega kasutatud objektide jälgimiseks, lennukitest laevadeni ja autodeni. Google'i täiustatud tehnoloogia- ja projektirühm (ATAP) on teinud märkimisväärse töö, kahandades radari 8–10 mm mikroskeemiks. Selle žestikontrolli üldise kiibistiku saab manustada žestide jälgimiseks nutikelladesse, teleritesse ja muudesse objektidesse.

Google ATAPi projekt Soli. Allikas: Soli veebisait.Lihase-masina liides ettevõttest Thalmic Labs. Allikas: Thalmici video.

Biosignaalid

Kui te pole veel WOWED, võtkem seda veelgi. Kõik ülalnimetatud meetodid mõõdavad ja tuvastavad meie käeliigutuste kõrvalsaaduse.

Töötledes lihastes närvidest otse tulevaid signaale, saame ühe sammu kavatsusele lähemale.

Pindmine EMG (sEMG), mis saadakse andurite panemisega nahale biitsepsi / triitsepsi või käsivarre peale, saab signaali erinevatest lihaste motoorsetest üksustest. Kuigi sEMG on väga mürarikas signaal, on võimalik tuvastada mitmeid žeste.

Myhal by Thalmic Labs oli üks esimesi ettevõtteid, kes arendas sEMG-l põhinevat tarbijaseadet. Allikas Imgur.

Ideaalis tahaksite andureid kanda randmel. Randme lihased on siiski sügavad ja seetõttu on raske hankida signaali, mida saaks täpselt kasutada žestide tuvastamiseks.

Uus ettevõte, CTRL Labs, kontrollib žeste randme SEMG-signaalide abil. CTRL Labsi seade mõõdab SEMG-signaali ja tuvastab selle liikumise taga ajust tuleva neuraalse ajami. See on ajule üks samm lähemal. Nende tehnoloogia abil saaksite oma käed taskusse pista ja telefoni kirjutada.

Aju-arvuti liides

Viimase aasta jooksul on palju juhtunud. DARPA kulutab närviliideste rahastamiseks 65 miljonit dollarit. Elon Musk on Neuralinki jaoks kogunud 27 miljonit dollarit, Kernel on oma asutajalt Bryan Johnsonilt saanud 100 miljonit dollarit raha ja Facebook töötab aju-arvuti liidese kallal. BCI-sid on kahte väga erinevat tüüpi:

Mitteinvasiivne BCI

ElectroEncephaloGraphy (EEG) saab signaali peanaha nahalt.

See on nagu mikrofoni panemine jalgpallistaadioni kohale. Te ei tea, millest igaüks räägib, kuid saate aru, kas mõni värav löödi (valjuhäälselt ja plaksutades!).

EEG-põhised liidesed ei loe tegelikult teie meelt. Näiteks on BCI enim kasutatud paradigma P300 Speller. Soovite sisestada tähe “R”; arvuti näitab juhuslikult erinevaid märke; Kui näete ekraanil “R”, siis üllatub teie aju ja see annab erilise signaali. See on nutikas, kuid ma ei nimetaks seda "mõttelugemiseks", kuna me ei suuda tuvastada "R" peale mõtlemist, vaid oleme pigem leidnud võlukunsti, mis toimib.

Sellised ettevõtted nagu Emotiv, NeuroSky, Neurable ja veel paar on välja töötanud tarbijatele mõeldud EEG-peakomplektid. Facebooki hoone 8 kuulutas välja aju tüpiseerimise projekti, mis kasutab teist aju sensoorset tehnikat, mida nimetatakse funktsionaalseks infrapunaspektroskoopiaks (fNIRS) ja mille eesmärk on saavutada 100 sõna minutis kiirus.

Toitumatu. Allikas: parandamatu veebisait

Invasiivne BCI

See on ülim inimene-arvuti liides ja töötab elektroodide ajusse viimisega, kuid ületamiseks on siiski tõsiseid väljakutseid.

Vähemuste reportaaži film. Flickr.

Väljakutsed

Teie jaoks võis juhtuda, et arvestades kõiki eelpool mainitud huvitavaid tehnoloogiaid, miks me piirdume ikkagi klaviatuuri ja hiire kasutamisega. Kontroll-loendis on teatud funktsioonid, mille tuleb märkida inimese ja arvuti interaktsiooni tehnoloogiale, et see saaks massiturule.

Täpsus

Kas kasutaksite põhiliidesena puutetundlikku ekraani, kui see töötaks ainult 7 korda 10st? Liidese peamise liidesena kasutamiseks peab sellel olema väga suur täpsus.

Latentsus

Kujutage hetkeks ette, et klaviatuuri sisestatud tähed ilmuvad sekundi möödudes pärast klahvi vajutamist. Just see üks sekund tapaks kogemuse. Inimese ja arvuti liides, mille latentsusaeg on üle paarisaja millisekundi, on lihtsalt kasutu.

Treening

Inimese ja arvuti liides ei tohiks nõuda, et kasutaja kulutaks palju aega uute žestide õppimisele (st iga tähestiku tähe tähe õppimiseks!)

Tagasiside

Klaviatuuri klõpsatus, telefoni vibratsioon, hääleabisignaali väike piiksuheli kavatsevad kõik tagasisideahela sulgeda. Tagasiside on mis tahes liidese kujundamise üks olulisemaid aspekte, mis jääb kasutajatele sageli märkamatuks. Meie aju otsib jätkuvalt kinnitust, et selle tegevus on andnud tulemuse.

Üks põhjus, miks klaviatuuri on väga raske asendada mis tahes žestikontrolliseadmega, on tugevate tagasisideahelate puudumine.

Inimese ja arvuti liideste tulevik

Ülalnimetatud väljakutsete tõttu näib, et me ei suuda endiselt klaviatuure asendada, vähemalt mitte veel. Arvan, et liideste tulevik on see:

  • Multimodaalne: me kasutame erinevaid liideseid erinevatel puhkudel. Saame endiselt kasutada klaviatuuri kirjutamiseks, puutetundlikke ekraane joonistamiseks ja kujundamiseks, häält oma digitaalsete isiklike abistajatega suhtlemiseks, radaripõhist žeste juhtimist autos, lihastepõhist žestide juhtimist mängude ja VR-i jaoks ning aju-arvuti liideseid valimiseks parim muusika, mida saate oma meeleolu jaoks mängida.
  • Kontekstuaalselt teadlik: lugesite sülearvuti kohta artiklit Põhja-Californias toimunud tulekahjude kohta ja küsisite nutikõrvaklappidelt oma hääleabimeest “Kui tuuline seal on?”. See peaks mõistma, et viitate sellele, kus tulekahjud on.
  • Automatiseeritud: AI abil ennustab arvuti paremini, mida kavatsete teha, nii et te ei pea seda isegi käskima. See teab, et ärkamisel on vaja teatud muusikat, nii et teil pole hommikul isegi loo otsimiseks ja esitamiseks vaja liidest.

Olen räniorgi ettevõtja ja minu kirg on inimese ja arvuti interaktsioon. Olen uurinud aju-arvuti liideseid, lihasmasina liideseid ja žeste juhtimisseadmeid. Postitan ettevõtluse, riskikapitali ja uute tehnoloogiate kohta. Palun jälgige mind LinkedInis, Twitteris ja keskkonnas.