Osa 1: Transsakkadinen integrointi perustuu rajoitettuun muistiresurssiin

lisätietoja:ali.ma@wecistanche.com

Pls klikkaa tästä päästäksesi osaan 2

Napsautacistanchen hyödyt ja sivuvaikutukset muistille

Sakkadiset silmien liikkeet aiheuttavat verkkokalvolle putoavan kuvan suuria muutoksia. Sen sijaan, että visuaalinen käsittely aloitettaisiin uudelleen jokaisen sakkadin jälkeen, visuaalinen järjestelmä yhdistää sakkadin jälkeisen tiedon visuaaliseen syötteeseen ennen sakkaadia. Ratkaisevaa on, että kunkin tietolähteen suhteellinen osuus painotetaan sen tarkkuuden mukaan optimaalisen integroinnin periaatteiden mukaisesti. Arvelimme, että jos esi-sakadista syöttöä ylläpidetään resurssirajoitetussa myymälässä, kuten visuaalisessa työskentelyssämuisti, sen tarkkuus riippuu tallennettujen kohteiden määrästä sekä niiden huomion tärkeydestä. Tarkkailijat arvioivat ärsykkeiden värin, jotka muuttuivat huomaamattomasti sakkadin aikana, ja tutkimme, missä raportit putosivat sakkadia edeltävien ja jälkeisten arvojen jatkumosta. Poikkeama post-sakkadista väriä kohtaan lisääntyi esisakkadisen näytön asetetun koon myötä, mikä on johdonmukaista sakkadisen jälkeisen syötteen lisääntyneen painotuksen kanssa, kun esisakkadisen esityksen tarkkuus heikkeni. Toisessa kokeessa tutkimme, onko se transsakkadinenmuistiresurssit kohdistetaan ensisijaisesti huomiota herättäviin asioihin. Nuolimerkki osoitti, että yksi esi-sakkadinen kohde valittiin todennäköisemmin raporttiin. Kuten ennustettiin, pätevät vihjeet lisäsivät vasteen tarkkuutta ja vinouttivat vasteita kohti esisakkadista väriä. Päättelemme, että transsakkadinen integraatio perustuu rajoitettuunmuistiresurssi, joka jakautuu joustavasti esisakkadisten ärsykkeiden kesken.

Koska ihmisen näöntarkkuus on korkein foveassa ja heikkenee epäkeskeisyyden funktiona, liikutamme usein silmiämme tuodaksemme kiinnostavia kohteita korkeatarkkuuteen foveaaliseen näkemykseen (Yarbus, 1967). Kuitenkin suuntaamalla katseemme yhteen paikkaan

tarkoittaa välttämättä sen poistamista muilta. Yksityiskohtaisen ja vakaan kohtauksen havainnoinnin tukemiseksi silmän liikkeen aiheuttamissa siirtymissä on ehdotettu, että aiemmista fiksaatioista saatua tietoa voidaan käyttää täydentämään nykyistä foveaalista syöttöä prosessissa, joka tunnetaan nimellä transsakkadinen integraatio (Irwin & Andrews, 1996).

Koska transsakkadinen integraatio perustuu lähimenneisyyden tietoihin helpottaakseen suorituskykyä nykyhetkessä, intuitiivinen hypoteesi on, että visuaalinen toimintamuistiedistää prosessia (Aagten-Murphy & Bays, 2019; Irwin, 1991; Prime, Vesia ja Crawford, 2011). Työmuistilla tarkoitetaan lyhytaikaista tallennusta, joka pystyy pitämään rajoitetun määrän tietoa aktiivisessa tilassa, jotta se olisi käytettävissä kognitiivista käsittelyä varten (Baddeley & Hitch, 1974). Ajatus siitä, että visuaalinen työmuisti voisi tukea myös havainnointiprosesseja, ei ole uusi, sillä se on jo osallisena monitulkintaisen havainnon ratkaisemisessa (Kang, Hong, Blake ja Woodman, 2011; Scocchia, Valsecchi, Gegenfurtner ja Triesch, 2013) , visuaalinen haku (Desimone & Duncan, 1995) ja peräkkäiset ärsykeharhat (Bliss, Sun ja D'Esposito, 2017; Fritsche, Mostert ja de Lange, 2017).

Esiskadinen objektitieto säilytetään työssämuistivoisi – asianmukaisin muutoksin ottamaan huomioon sakkadin aiheuttaman verkkokalvon siirtymän (Bays & Husain, 2007; Bridgeman, Van der Heijden, & Velichkovsky, 1994; Burr & Morrone, 2011) – toimia lisätietolähteenä postauksen parantamiseksi. -sakadinen havainto. Aikaisempi tutkimus eli painotettuna keskiarvona ottaa huomioon kunkin syötteen suhteellisen luotettavuuden (Oostwoud Wijdenes, Marshall ja Bays, 2015). Keskiarvoistamalla riippumattoman kohinan tuloksena oleva integroitu havainto voi olla tarkempi kuin kumpikaan lähde yksinään (Ganmor, Landy ja Simoncelli, 2015; Wolf & Schutz, 2015).

Intuitiivisuudestaan ​​huolimatta suora todiste visuaalisen työskentelyn osallistumisestamuistitranssakkadisessa integraatiossa on harvaa. Useat tutkimukset ovat tutkineet välissä olevien sakkadien vaikutusta työmuistitehtäviin. Prime, Tsotsos, Keith ja Crawford (2007) eivät havainneet eroa muutosten erottelutehtävässä olosuhteiden välillä, joissa katseen asentoa säilytettiin tai muutettiin myöhempien ärsykeesitysten välillä, mikä viittaa siihen, että sakkadit eivät sinänsä heikennä visuaalisen työskentelyn toimintaa.muistieikä korvaa sitä erillisellä transsaccadic-myymälällä. Kuitenkin kaksi tutkimusta käyttäen herkkiä menetelmiämuistitarkkuudella (Melcher & Piazza, 2011; Schut, Van der Stoep, Postma ja Van der Stigchel, 2017; Shao et al., 2010) havaitsivat, että sakkadin tekeminen visuaaliseen esineeseen, jolla ei ollut merkitystämuistiTehtävä heikensi muistiryhmän myöhempää palautustarkkuutta, jolloin suorituskyvyn lasku vastaa työmuistin sisällön asetetun koon kasvattamista yhdellä yksiköllä (Schut et al., 2017). Tämä viittaa siihen, että muistiresurssien allokointi saccade-kohteeseen on pakollista.

transsaccadic integraatio, mutta on myös yhdenmukainen visuaalisen työskentelyn kanssamuistihelpottaa muita havainto- tai kognitiivisia prosesseja, esimerkiksi helpottaa visuaalista hakua (Oh & Kim, 2004; Woodman & Luck, 2004) tai huomion siirtymistä sakkadin jälkeen (Hollingworth & Matsukura, 2019).

Tähän mennessä suorin todiste työntekoon osallistumisestamuistitranssakkadisessa integraatiossa tulee Stewartin ja Schützin (2018) tutkimuksesta. Kuten aiemmissa tutkimuksissa, nämä kirjoittajat havaitsivat transsakkadisen suorituskyvyn etuja arvioitaessa yksittäistä ärsykettä, joka oli lähellä ennusteita, jotka perustuivat optimaaliseen pre- ja post-saccadic-syötteen integrointiin. Kuitenkin, kun he asettivat saman tehtävän tyypillisen yksiosaisen visuaalisen työskentelyn huoltojaksoonmuistitehtävässä, he eivät löytäneet merkittävää suoritushyötyä verrattuna parhaaseen yksilölliseen näkemykseen ärsykkeestä (pre- tai post-saccadic). Toisin sanoen visuaalisen työmuistin kuormituksen käyttöönotto poisti todisteet transsakkadisesta integraatiosta. Vaikka tämä tulos viittaa vahvasti työn saatavuuteenmuistion tärkeää integraation hyötyjen saavuttamiseksi, kaksoistehtäväsuunnittelu jättää sen tarkan roolin epävarmaksi. Lisäksi havainto, että yhden esineen muistikuorma poisti lähes kokonaan transsaccadic-integraation, on odottamaton, kun otetaan huomioon laaja näyttö siitä, että useita esineitä voidaan ylläpitää samanaikaisesti työssä.muisti(katso myös Melcher, 2009; Melcher & Fracasso, 2012 todisteita siitä, että muiden transsakkadisten vaikutusten kapasiteetti on suurempi kuin yksi).

Yksi visuaalisen työn määrittelevistä piirteistämuistion, että siihen mahtuva tieto on hyvin rajallista (Alvarez & Cavanagh, 2004; Cowan, 1998; Luck & Vogel, 1997). Analogisissa raporttitehtävissä tämä raja ilmenee palautustarkkuuden heikkenemisenä muistissa olevien kohteiden määrän kasvaessa (Ma, Husain & Bays, 2014; Schneegans, Taylor ja Bays, 2020; van den Berg, Shin, Chou, George , & Ma, 2012; Zhang & Luck, 2008). Lisäksi töissämuistiallokointi on joustavaa, joten resurssit voidaan suunnata ensisijaisesti tiettyihin asioihin käyttäytymisprioriteetin perusteella (Bays, 2014; Bays & Husain, 2008; Oberauer & Lin, 2017; Schmidt, Vogel, Woodman ja Luck, 2002; Yoo, Klyszejko, Curtis ja äiti, 2018). Tässä tutkimuksessa selvitimme, miten työn kohdentaminen tapahtuumuistipre-sakkadisiin tuotteisiin vaikuttaa transsakkadiseen integraatioon. Saadaksesi herkän ja arvostetun arvion työskentelystämuistiallokaatiossa käytimme pre- ja post-saccadic syötteiden suhteellista painotusta tuotteen värin arvioinnissa pääasiallisena suorituskyvyn mittaamme. Aiempien tutkimusten (Ganmor, Landy ja Simoncelli, 2015; Oostwoud Wijdenes et al., 2015; Wolf & Schutz, 2015) perusteella odotimme tämän painotuksen heijastavan sakkadista edeltävän ja postaisen tiedon suhteellista luotettavuutta.

Koe 1:

Täällä tutkimme, riippuuko transsakkadinen integraatio rajoitetusta resurssista manipuloimalla pre-sakkadista joukon kokoa. Jos rooli visuaalista työtämuistitranssakadisessa integraatiossa on tallentaa esi-sakkadinen syöte, odotamme integrointia varten saatavilla olevan tiedon laadun heikkenevän sitä mukaa, kun esisakadisessa kuvassa olevien kohteiden määrä kasvaa. Tämän ennusteen testaamiseksi esitimme tarkkailijoille yhdestä neljään värillistä kiekkoa ääreisnäössä ennen kuin kehotimme heitä suorittamaan vaakasuuntaisen sakkadin ärsykeryhmän ohi. Sakkadissa kaikki levyt yhtä lukuun ottamatta katosivat ja jäljellä olevan levyn väri muuttui hieman. Osallistujia pyydettiin raportoimaan tämän levyn väri, ja käytimme heidän vastaustensa jakautumista suhteessa pre- ja post-sakadisiin väreihin arvioidaksemme kullekin syötteelle osoitetun painon. Koska värinmuutos oli pieni ja tapahtui silmän liikkuessa, odotimme osallistujien olevan enimmäkseen tietämättömiä siitä. Testasimme tätä oletusta kokeen jälkeisessä jäsennellyssä selvityksessä.

menetelmät

Osallistujat

Kokeeseen 1 osallistui 14 osallistujaa (9 naista), iältään 20–35 vuotta (keskiarvo=24,7).

Kuva 1. Esimerkki koesekvenssistä kokeessa 1 (ei mittakaavassa), kokeelle, jonka koko on kolme. Katkoviivaiset punaiset ympyrät edustavat katseen kiinnittymistä. Katkoviivainen punainen nuoli edustaa saccade-vektoria. Ärsyke muuttui heti, kun katse ylitti näytön pystysuoran keskiviivan. Värinmuutos on havainnollistamistarkoituksessa liioiteltu.

Osallistujat raportoivat normaalista tai normaaliksi korjatusta näöntarkkuudesta. Normaali värinäkö varmistettiin ennen tutkimusta tehdyllä seulontatestillä (Ishihara, 1972). Osallistujat olivat naiiveja kokeen tarkoituksen suhteen, ja heille maksettiin 10 puntaa/tunti. Cambridge Psychology Research Ethics Committee hyväksyi kokeet.

Tietoinen suostumus saatiin Helsingin julistuksen mukaisesti.

Laitteet ja ärsykkeet

Ärsykkeet esiteltiin 27 tuuman Asus ROG PG279Q -näytöllä (144 Hz:n virkistystaajuus, 2560 × 1440 pikseliä, ULMB-tila ja ylikellotus pois päältä)

60 cm:n katseluetäisyydellä. Näytön tausta oli musta (0,3 cd/m2) koko kokeen ajan. Silmien asentoa seurattiin verkossa käyttämällä pöytään kiinnitettävää EyeLink 1000 (SR Research) -laitetta. Ärsykkeen luominen ja esittäminen toteutettiin Matlabissa Psychophysics Toolboxilla (Kleiner, Brainard ja Pelli, 2007). Mukautettu koodi käytti PC-piirisarjan High Precision Event Timer -toimintoa synkronoimaan näytön ja katseenseurantalaitteen, joka näytteitettiin asynkronisesti 1000 Hz:llä. Mittasimme noin 11 ms:n keskimääräisen syöttöviiveen (määritelty aikavälinä ohjelmiston näytön päivityspyynnön ja 90 prosentin halutusta luminanssimuutoksesta valmistumisen välillä), mikä on yhdenmukainen tälle näytölle aiemmin raportoitujen arvojen kanssa (Fabius, Fracasso, Nijboer ja Van der Stigchel, 2019; Zhang et ai., 2018).

Suunnittelu ja menettelytapa

Kokeilujakso on havainnollistettu kuvassa 1. Jokainen kokeilu alkoi harmaan kiinnityspisteen esittämisellä (halkaisija 0,5 astetta näkökulmaa, 71,3 cd/m2) tasaisen mustaa taustaa vasten (0). .3 cd/m2). Sakkadisen suunnan mukaan kiinnityspiste ilmestyi 6 astetta joko näytön keskustan vasemmalle tai oikealle puolelle. Neljä kirjainta (A, B, C ja D) esitettiin mahdollisissa ärsykepaikoissa, jotka sijaitsivat kuvitteellisella 4 asteen säteellä olevalla ympyrällä kiinnityspisteen keskellä, kulma-asennoissa (–60 astetta, –20 astetta, plus 20 astetta). , ja plus 60 astetta), missä

0 astetta on vaakasuunnassa kohti näytön keskustaa. Sen jälkeen kun kiinnitys oli pidetty 2 asteen sisällä kiinnityspisteestä noin 2000,000

500 ms, toinen piste (sakkadikohde) ilmestyi 12 asteen vaakasuorassa siirtymässä (ja siten vaaditussa sakkadiamplitudissa) ensimmäisestä kiinnityspisteestä. Tämä piste osoitti paikan, johon tarkkailijoiden oli pakottava signaalin vastaanotettuaan. Huomaa, että neljää ärsykekohtaa ei ollut mahdollista järjestää samanaikaisesti yhtä etäisyydelle sekä sakkadista edeltävistä että post-sakadisista kiinnityspisteistä. Päätimme tehdä kaikki neljä asemaa yhtä kaukana pre-sakadisesta kiinnityksestä, minkä seurauksena A- ja D-asemat olivat kauempana sakkadisen jälkeisestä kiinnityspisteestä kuin B ja C (10,0 astetta vs.

500 ms:n lisäkiinnityksen jälkeen kirjaimet korvattiin yhdellä, kahdella, kolmella tai neljällä värillisellä levyllä (halkaisijaltaan 1 aste). Värit vedettiin satunnaisesti ympyrästä CIELAB-avaruudessa (L=74, origo a=b=0, säde 40). Kokoon yhdestä kolmeen vapaat paikat valittiin sattumanvaraisesti, tasapainotettiin kokeissa ja täytettiin harmailla paikkamerkkipisteillä (halkaisijaltaan 0,3 astetta) spatiaalisen epävarmuuden vähentämiseksi. Tätä esisakadista näyttöä esitettiin 1000 ms:n ajan. 1000 ms:n kuluttua alkuperäinen kiinnityspiste katosi ja samaan aikaan kuului piippaus,

kehotetaan osallistuja tekemään silmän liike sakkadikohteeseen mahdollisimman nopeasti.

Kun katse ylitti näytön pystysuoran keskiviivan, kaikki paitsi yksi esi-sakkadiset kohteet (sijainti tasapainotettuna kokeissa) korvattiin paikkamerkkipisteillä. Jäljellä olevan (ts. post-saccadic) kohteen väri siirtyi joko myötäpäivään (CW) tai vastapäivään (CCW) 25 astetta väriympyrässä. Tämän muutoksen suunta valittiin sattumanvaraisesti. Post-saccadinen kohde näytettiin 300 ms asti sen jälkeen, kun katseenseurantaohjelmisto havaitsi saccade-offsetin.

post-sakadinen esine, väripyörä (halkaisijaltaan 5 astetta; satunnaisesti kierretty) ilmestyi post-sakkadisen kiinnityspisteen ympärille. Pyörän keskellä näytettiin kirjain, joka ilmoitti post-sakadisen esineen sijainnin. Osallistujia ohjeistettiin napsauttamaan pyörän väriä, joka parhaiten vastasi kirjaimella merkityn esineen muistamaansa väriä. Kirjaimia käytettiin peittämättöminä vihjeinä ilmoittamaan, mikä kohde ilmoitetaan; vaikka kirje osoitti aina esineen, joka jäi näkyviin sakkadin jälkeen, pilottitestaus paljasti, että osallistujat eivät usein olleet tietoisia siitä, että jokin kohteista oli näytössä pidempään kuin väripyörä, keskimmäinen kirjainvippi korvattiin levyllä (halkaisijaltaan 1 aste). ), joka osoitti värin hiiren nykyisen sijainnin alla. Kun vastaus oli rekisteröity, pyörä korvattiin esi-sakadisella kiinnityspisteellä, mikä aloitti seuraavan kokeen.

2 astetta esisakkadisesta kiinnityspisteestä milloin tahansa ennen sakkaadia, jos sakkadia ei ollut aloitettu 500 ms:n kuluessa esisakkadisesta kiinnityspisteestä, jos sakkadi laskeutui kauemmaksi kuin

2,5 astetta post-saccadic-kiinnityspisteestä, jos sakkadi kesti yli 150 ms tai jos ilmoitettiin vilkkumisesta ennen väripyörän ilmestymistä. Kun kokeilu keskeytettiin, näyttöön ilmestyi palauteviesti

2 sekuntia näytön keskellä ja samasta koeolosuhteista tehty koe liitettiin lohkon loppuun.

Tarkkailijat suorittivat 480 onnistunutta koetta, jotka jaettiin neljään 120 kokeen lohkoon. Jokaisen lohkon sisällä ilmoitetun kohteen asetettu koko ja sijainti lomitettiin satunnaisesti. Jokainen istunto alkoi harjoituslohkolla, jossa osallistujia koulutettiin kokeen silmien liikekomponenteista. Tässä harjoitustehtävässä väriraportti korvattiin palautteella siitä, oliko sakkadi täyttänyt kaikki kokeelliset vaatimukset. Kokeen suorittaja selitti virheilmoitukset suullisesti, kun ne laukesivat. Harjoitusta jatkettiin, kunnes osallistujat olivat varmoja tehtävän okulomotorisesta näkökulmasta.

Analyysi

Kiinnostuksen kohteena olevat ensisijaiset mittarit olivat värivasteiden harha ja hajoavuus suhteessa tutkittavan kohteen pre- ja post-sakadiseen väriin. Arvioimme nämä ympyräkeskiarvona ja ympyrän keskihajontana (SD). Tätä tarkoitusta varten käänsimme ja heijastimme raportoituja väriarvoja siten, että 0 astetta, jotka vastaavat sakkadista edeltävää väriä ja positiiviset arvot, olivat post-sakadisen värin suunnassa.

Koska vasteet heijastuivat puolessa kokeista, mikä tahansa yleinen CW- tai CCW-vasteen poikkeama tasapainotettiin, eikä se voinut vaikuttaa ympyräkeskiarvon laskemiseen; Tällaisella vasteen harhalla on kuitenkin taipumus paisuttaa arvioita

pyöreä SD. Tämän ratkaisemiseksi, kun vastauksia oli käännetty, mutta ennen kuin heijastettiin niitä, jotta post-sakadinen väri olisi positiivinen (kuten yllä on kuvattu), vähennimme kunkin osallistujan kokonaisvasteen poikkeaman, joka laskettiin kokeiden ympyräkeskiarvona. Tätä operaatiota käytettiin arvioitaessa vain ympyrämäistä SD:tä, mutta huomaa, että sillä ei ole vaikutusta ympyrän keskiarvon arvioihin.

Hypoteesien tilastolliset testit suoritettiin Bayesin ANOVA- ja Bayesin t-testeillä JASP:ssä (JASP Team, 2020) oletusprioriteetilla. Tulokset ovat BF10:llä viisi, mikä tarkoittaa, että eron todisteiden vahvuus on viisi kertaa suurempi kuin todisteiden voimakkuus eron puuttumisesta. Päinvastoin, BF01 viisi osoittaa saman vahvuuden todisteen, joka ei suosi eroa.