Dual Memory LSTM Dual Attention Neural Networkilla spatiotemporaaliseen ennustamiseen

Ottaa yhteyttä:joanna.jia@wecistanche.com/ WhatsApp: 008618081934791

Abstrakti

Spatiotemporaalinen ennustaminen on haastavaa, koska esitysten poimiminen on tehotonta ja rikkaiden kontekstuaalisten riippuvuuksien puuttuminen. Uutta lähestymistapaa ehdotetaan spatiotemporaaliseen ennustamiseen käyttämällä duaaliamuistiLSTM kahden huomion hermoverkolla (DMANet). Uutta kaksoismuistiyksikköä LSTM (DMLSTM) ehdotetaan poistamaan esitykset hyödyntämällä erotustoimintoja peräkkäisten kuvien välillä ja ottamalla käyttöön kaksoismuisti.muistisiirtymämekanismi. Jotta historiallisia esityksiä voitaisiin hyödyntää täysimääräisesti, kaksoistarkkailumekanismi on suunniteltu vangitsemaan pitkäaikaiset spatiotemporaaliset riippuvuudet laskemalla korrelaatiot tällä hetkellä piilossa olevien esitysten ja historiallisten piiloesitysten välillä vastaavasti ajallisista ja spatiaalisista ulottuvuuksista. Sitten kaksinkertainen huomio upotetaan DMLSTM-yksikköön DMANetin rakentamiseksi, mikä mahdollistaa mallin paremman mallinnuskyvyn lyhytaikaista dynamiikkaa ja pitkän aikavälin kontekstuaalisia esityksiä varten. Tässä asiakirjassa ehdotetaan näennäisen resistanssikartan (AR Map) tietojoukkoa. B-spline-interpolointimenetelmää käytetään parantamaan AR Map -tietoaineistoa, ja se tekee näennäisen resistiivisyyden trendikäyrästä jatkuvan derivaatan aikaulottuvuuden suhteen. Kokeelliset tulokset osoittavat, että kehitetyllä menetelmällä on erinomainen ennustekyky vertaamalla joihinkin huipputekniikan menetelmiin.

Avainsanat: spatiotemporaalinen ennuste; kaksinkertainenmuistiLSTM; kaksinkertainen huomio; historiallisia esityksiä

1. Esittely

Spatiotemporaalinen ennuste on esitysten oppimista valvomattomalla tavalla merkitsemättömästä videodatasta ja niiden avulla ennustetehtävän suorittamiseen, joka on tyypillinen tietokonenäkötehtävä. Tällä hetkellä spatiotemporaalista ennustetta on sovellettu menestyksekkäästi joihinkin tehtäviin, kuten objektien sijainnin tulevaisuuden ennustamiseen [1,2], poikkeamien havaitsemiseen [3] ja autonomiseen ajamiseen [4]. Syväoppimiseen perustuvat mallit ottavat harppauksen perinteisten lähestymistapojen yläpuolelle, koska ne ovat oppineet riittävät esitykset korkeaulotteisesta datasta. Syväoppimismenetelmät sopivat täydellisesti spatiotemporaaliseen ennustetehtävään, joka voisi poimia spatiotemporaalisia korrelaatioita videodatasta itseohjatulla tavalla. Spatiotemporaalinen ennustaminen on kuitenkin edelleen haastava tehtävä, koska on ongelmallista poimia esityksiä tehottomasti ja koska pitkäaikaisia ​​riippuvuuksia ei ole. Esimerkiksi Convolutional LSTM (ConvLSTM) [5] on kehitetty poimimaan edelleen ajallisia esityksiä, mutta se jättää huomioimatta spatiaaliset esitykset. Joillakin menetelmillä [6,7] on saatu tarkkoja ennustetuloksia, mutta ne aiheuttavat edustavuuden menetystä. Ennustetehtävissä on sovellettu kontradiktorisuuden menetelmää [8,9]. Ne [8,9] ovat kuitenkin merkittävästi riippuvaisia ​​epävakaudesta harjoitusprosessista.

1 School of Communication and Information Engineering, Shanghai University, Shanghai 200444, Kiina

2 Key Laboratory of Advanced Display and System Application, opetusministeriö, Shanghai 200072, Kiina

Romaani kaksoiskappalemuistiLSTM, jossa on kaksoishuomioverkko (DMANet), on ehdotettu spatiotemporaaliseen ennustamiseen tässä artikkelissa mainittujen ongelmien ratkaisemiseksi. DMANetille on kehitetty ConvLSTM:ään [5] perustuva kaksoismuisti LSTM (DMLSTM) -yksikkö spatiotemporaalista ennustamista varten. Sitä voidaan käyttää liikkeen esityksen saamiseksi erottelemalla vierekkäisiä piilotiloja tai raakakuvia asianmukaisesti. Lisäksi siinä on kaksi muistirakennetta paikkatiedon ja ajallisen tiedon tallentamiseksi. DMLSTM-yksikköön on ehdotettu ja upotettu kaksoistarkkailumekanismi, joka erottaa pitkäaikaiset ominaisuusriippuvuudet ajallisista ja spatiaalisista ulottuvuuksista, mikä mahdollistaa kehitetyn mallin kaapata pidemmän monimutkaisen videodynamiikan. Verrattuna yllä oleviin spatiotemporaalisiin ennustusmenetelmiin tämän artikkelin tärkeimmät panokset ovat seuraavat. Ensinnäkin uutta DMLSTM-yksikköä on ehdotettu suorittamaan otteen esitykset, joita voidaan soveltaa spatiotemporaaliseen ennustamiseen hyödyntämällä erotustoimintoja peräkkäisten kuvien välillä ja ottamalla käyttöön kaksoismuistisiirtymämekanismi. Toiseksi kehitetään kaksinkertainen huomiomekanismi pitkän aikavälin kehysvuorovaikutusten saamiseksi. Pitkän aikavälin kehysvuorovaikutuksia kaapataan laskemalla korrelaatio tällä hetkellä piilossa olevien esitysten ja historiallisten piiloesitysten välillä vastaavasti ajallisesta ja spatiaalisesta ulottuvuudesta. Lopuksi tärkeä panos on se, että DMANet yhdistää molemmat edut. Tällainen arkkitehtoninen suunnittelu mahdollistaa mallin paremman mallinnusvoiman lyhytaikaiseen dynamiikkaan ja pitkän aikavälin kontekstuaalisiin esityksiin. Ehdotettua menetelmää arvioidaan joissakin haastavissa aineistoissa eri menetelmillä. Se saavuttaa erinomaisen suorituskyvyn verrattuna joihinkin huipputekniikan menetelmiin. Kokeelliset tulokset osoittavat, että ehdotetulla menetelmällä on erinomainen spatiotemporaalinen ennustekyky.

cistanchen edutsisäänmuisti

Tämän artikkelin loppuosa on järjestetty seuraavasti. Aiheeseen liittyvää työtä käsitellään osiossa 2. DualmuistiLSTM, jossa on kaksoishuomiomekanismi, on kuvattu osiossa 3. Kokeellisia tuloksia ja analyyseja käsitellään osiossa 4 ja niitä seuraavat johtopäätökset osassa 5.

2. Kirjallisuuskatsaus

Viimeisen vuosikymmenen aikana on ehdotettu monia menetelmiä spatiotemporaaliseen ennustamiseen. Toistuva neuroverkko (RNN) [10] pitkällä lyhyellä aikavälillämuisti(LSTM) [11] on käytetty yhä enemmän ennustetehtävissä, koska se pystyy oppimaan videosekvenssin esityksiä. Viime vuosina sekvenssistä sekvenssiin -malliin [12] perustuvaa LSTM-kehystä on mukautettu videon ennustamiseen. Ennusteen tarkkuus on kuitenkin rajallinen, koska nämä puitemenetelmät [12] sieppaavat vain ajallisia vaihteluita. Videoesitysten erottamiseksi edelleen ConvLSTM [5] korvaa täysin yhdistetyt toiminnot konvoluutiooperaatioilla toistuvissa tilasiirtymissä. Syväoppimiseen perustuvaa viitekehystä [13] ehdotetaan rekonstruoimaan puuttuvat tiedot helpottamaan analysointia spatiotemporaalisilla sarjoilla. Se kuitenkin lisää ylimääräisiä laskentakustannuksia ja alentaa ennustetehokkuutta. Bijektiivinen portitettu toistuva yksikkö esitellään julkaisussa [14], joka hyödyntää toistuvia automaattikoodeja ennustaakseen seuraavan kehyksen joissakin tapauksissa. Monen tuotos ja moniindeksi ohjatun oppimisen [15] menetelmää LSTM:llä [11] ehdotetaan spatiotemporaaliseen ennustamiseen, jolla voidaan mallintaa pitkän aikavälin dynamiikkaa. Pyrkiessään lievittämään gradientin katoamista, konvoluutio-LSTM, jota on jatkettu [6,7]:lla, ottaa käyttöön siksak-muistivirran ja gradienttimoottoritien yksikön (GHU). Ennustekyvyn parantamiseen on käytetty päivitettyä syväoppimiseen perustuvaa menetelmää. Julkaisussa [16] ehdotetaan ASAP-versiota, jota kutsutaan "ASAP-syvyydeksi järjestelmäksi". Optisen virtauksen vääntymistä ja RGB-pikseleiden syntetisointialgoritmeja [17] on hyödynnetty spatiotemporaalisen ennustamisen suorittamiseen. Muistissa muistiverkkoa (MIM) ehdotetaan [18]:n ennustetehtäviin. Sen ero edellä mainituista toistuvista malleista on se, että MIM [18] soveltaa eroa muistisiirtymissä muuntaakseen ajassa muuttuvan polynomin vakioksi, mikä mahdollistaa deterministisen komponentin ennakoitavuuden. Nämä menetelmät [14–18] ovat kuitenkin edelleen haastavia pitkän aikavälin ennustamisessa, koska liialliset porttisiirtymät aiheuttaisivat esitysten menettämisen.

cistanche deserticolan edutsisäänmuisti

Toistuvien mallien lisäksi spatiotemporaaliseen ennustamiseen käytetään myös muita malleja. Julkaisussa [19] ehdotetaan retrospektioverkkoa, joka ottaa käyttöön retrospektiivisen häviön työntämään retrospektiivikehykset yhdenmukaisiksi havaittujen kehysten kanssa. Tietojen epätasapainon käsittelemiseksi kehitetään naapuruston puhdistusalgoritmi [20]. Satunnainen metsäalgoritmi poimii optimaaliset ominaisuudet ennustetehtävän suorittamiseksi. [21]:ssä on otettu käyttöön variaatioautoenkooderi epälineaaristen dynaamisten piirteiden erottamiseksi. Tämä malli analysoi muuttujien välisiä korrelaatioita sekä historiallisten näytteiden ja nykyisten näytteiden välisiä suhteita. [22]:ssa käytetään laajaa huomiomoduulia ja syväkomposiittimoduulia globaalien avainominaisuuksien ja paikallisten avainominaisuuksien poimimiseen. Nämä menetelmät [19–22] ovat kuitenkin jossain määrin riippuvaisia ​​paikallisista esityksistä, jotka eivät voi saavuttaa erinomaista suorituskykyä ennustetehtävissä. Keinotekoista hermoverkkoa [23] on ehdotettu mallintamaan spatiotemporaalisen datan ainutlaatuisia ominaisuuksia ja se saa aikaan tehokkaamman mallinnuskyvyn spatiotemporaaliseen dataan. Spatiotemporaalinen ennustejärjestelmä [24] on kehitetty keskittymään spatiaaliseen mallintamiseen ja koko spatio-ajallisen signaalin rekonstruoimiseen. Tämä menetelmä osoittaa koherenttien spatio-ajallisten kenttien mallintamisen tehokkuuden. Sekoitettua hermoverkkoa on ehdotettu mallintamaan dynaamista kuviota ja oppimaan ulkoasuesitystä annettujen videokehysten perusteella [25]. RNN:ssä käytetään 3D CNN:tä vuonna [26], mikä laajentaa esityksiä ajallisesti ja tekeemuistiyksikkö säilyttää parempia pitkän aikavälin esityksiä. Konvoluutiooperaatiot [24–26] kuitenkin selittävät lyhyen kantaman kehyksen sisäisiä riippuvuuksia, koska ne ovat rajallisia vastaanottavia kenttiä ja puuttuvat eksplisiittiset kehysten väliset mallinnusominaisuudet. Generatiiviset kontradiktoriset verkostot [8] ovat toinen lähestymistapa spatiotemporaaliseen ennustamiseen. [9] on ehdottanut ehdollista variaatioautoenkooderimenetelmää, joka tuottaa tulevaisuuden ihmisen liikeradat, jotka on ehdollistettu aikaisempien havaintojen ja robottien tulevien toimien perusteella. Ennustemenetelmillä [8,9] pyritään luomaan vähemmän epäselviä kehyksiä, mutta niiden suorituskyky riippuu merkittävästi epävakaudesta harjoitusprosessista.

Julkaisussa [27] ehdotetaan itsehuomiomekanismia, jota voidaan soveltaa pitkän kantaman riippuvuuksien sieppaamiseen ja joka on osoittautunut tehokkaaksi kokoamaan yhteen keskeisiä piirteitä kaikkien avaruusasemien välillä tietokonenäkötehtävissä [28–30]. [28]:ssa ehdotetaan kaksinkertaista huomion lohkoa, joka yhdistää koko tilan ominaisuudet kompaktiksi kokonaisuudeksi ja valitsee ja allokoi sitten adaptiivisesti ominaisuuksia kuhunkin paikkaan. Jotta kontekstuaalista tietoa voitaisiin hyödyntää tehokkaammin, ristikkäinen verkko [29] otti käyttöön crisscross-tarkkailumoduulin saadakseen kaikkien pikselien kontekstuaalisen tiedon, mikä on hyödyllistä visuaalisen ymmärtämisen ongelmissa. Lisäksi, toisin kuin monimittakaiset ominaisuusfuusiomenetelmät, kaksinkertaista huomioverkkoa [30] ehdotetaan yhdistämään paikalliset ominaisuudet globaaleihin riippuvuuksiin adaptiivisesti. Niitä ei kuitenkaan voida käyttää ennustetehtäviin, koska spatiotemporaalisia riippuvuuksia ei ole.

Yhteenvetona voidaan todeta, että aikaisemmat ennustemallit tuottavat erilaisia ​​haittoja. Aiemmasta työstä poiketen suunnittelemme ConvLSTM:n [5] uuden muunnelman tilaesitysten tallentamiseksi ja huomiomekanismin laajentamiseksi spatiotemporaalisen ennustamisen tehtävässä. Tämä arkkitehtuuri kaappaa rikkaat kontekstuaaliset suhteet paremman ominaisuuksien esittelyyn luokan sisäisellä kompaktilla.

Taulukossa 1 on esitetty käsitteen määritelmässä käytetyt lyhenteet.

3. DMA-hermoverkko

DMANetin vuokaavio on esitetty kuvassa 1. Esitykset on poimittu DMANetista syötekehysten perusteella. Esitykset osoittavat ennustustuloksia ja niitä voidaan käyttää seuraavien esitysten ennustamiseen.

Tässä osiossa annetaan DMANetin yksityiskohdat. Ensinnäkin osassa 3.1 esitellään uusi DMLSTM-yksikkö. Jälkeenpäin osiossa 3.2 ehdotetaan kaksoishuomiomekanismia, jonka avulla malli voi hyötyä aikaisemmista asiaankuuluvista esityksistä. Lopuksi ne kootaan yhteen DMANetin rakentamiseksi spatiotemporaalista ennustamista varten, mikä on kuvattu yksityiskohtaisesti osiossa 3.3.

3.1. Kaksoismuisti LSTM

Sitä valaisee PredRNN plus plus [7], joka lisää epälineaarisia kerroksia lisäämään verkon syvyyttä ja vahvistamaan tilakorrelaatioiden ja ajallisen dynamiikan mallinnuskykyä. Gradientin etenemisen ongelma kuitenkin vaikeutuu verkon syvyyden kasvaessa, vaikka GHU [7] lieventääkin sitä rajoitetusti. Jotkut työt [6,7,14] eivät toimi hyvin spatiotemporaalisten sekvenssien esitysten poimimisessa liiallisten porttisiirtymien yli, koska se voi väistämättä aiheuttaa esitysten menettämisen. Siksi pitkän kantaman spatiaaliset riippuvuudet voidaan kaapata pinotuilla konvoluutiokerroksilla. Kuitenkin mallinnuskyvyn tehokkuus spatiotemporaaliseen dynamiikkaan on rajoitettu monimutkaisen laver-to-layer -siirtymän vuoksi.

Uusi toistuva yksikkö nimeltä DMLSTM on kehitetty suorittamaan spatiotemporaalista ennustamista edellä mainittujen rajoitusten voittamiseksi, kuten kuvassa 2 on esitetty. Ensinnäkin lisämuistiyksikkö lisätään ConvLSTM:n[5] perusteella; tätä yksikköä käytetään spatiaalisten tilojen tallentamiseen, mikä mahdollistaa sen, että yksikkö oppii enemmän spatiotemporaalisia esityksiä. Uusi siirtymämekanismi on suunniteltu hylkäämällä ylimääräiset porttirakenteet, kuten tuloportit. Erilaiset epälineaariset rakenteet menettäisivät tehokkaat sisäiset esitykset pikselitason ennustamisessa. Toisaalta esityksiä erottelevia operaatioita on sovellettu tehokkaasti liikkuvien kohteiden esitysten kaappaamiseen. Siksi erotusta voidaan käyttää ennustetehtävissä täydentämään liikkuvien objektien esityksen yksityiskohtia. DMLSTM-yksikössä erotustoiminto on kehitetty saamaan esityksiä liikkeestä erottamalla vierekkäisiä piilotiloja tai raakakuvia, mikä tekee yksiköstä tehokkaamman mallinnuskyvyn spatiotemporaalista dynamiikkaa varten.

3.2. Kaksinkertainen huomiomekanismi

Spatiotemporaalinen ennuste voi ennustaa tulevia kehyksiä tarkkailemalla aikaisempia esityksiä. Ennustemallissa tulisi kuitenkin keskittyä enemmän historiallisiin esityksiin, jotka liittyvät ennustettuun sisältöön. Huomiomekanismi [27] voi vangita pitkän kantaman riippuvuuksia paikallisten ja globaalien edustajien välillä joissakin käytännön tehtävissä [32,33]. Lisäksi spatiotemporaalinen ennustaminen on haastavaa monimutkaisen dynamiikan ja ulkonäön muutosten vuoksi, jotka edellyttävät riippuvuuksia sekä aika- että spatiaalisista alueista. Huomiomekanismista ehdotetaan uutta muunnelmaa, nimeltään kaksoishuomiomekanismi. Tämä arkkitehtuuri kaappaa pitkän aikavälin spatiotemporaalista vuorovaikutusta vastaavasti ajallisista ja spatiaalisista ulottuvuuksista, ja sitten saadut esitykset kootaan yhteen tulevaisuuden ennustamista varten.

vesisäiliö myytävänämuistissa

Kaksoishuomiomoduuli on esitetty kuvassa 3 sisältäen nykyiset aikaleiman piilotilat Ht ∈ RH × W × C ja historialliset {H1 . . . Ht−1} ∈ Rn × H × W × C, jossa H ja W ovat spatiaalisia kokoja, C on kanavien lukumäärä ja n on vastaavasti ajallista ulottuvuutta pitkin ketjutettujen piiloesitysten lukumäärä.

4. Johtopäätökset

Tässä artikkelissa on ehdotettu DMANetiä spatiotemporaaliseen ennustamiseen. DML-STM-yksikköä käytetään esitysten tehokkaaseen poimimiseen hyödyntämällä erotustoimintoja peräkkäisten kuvien välillä ja ottamalla käyttöön kaksoismuistin siirtymämekanismi. Kaksoistarkkailumekanismi on suunniteltu vangitsemaan pitkäaikaiset spatiotemporaaliset riippuvuudet laskemalla korrelaatiot tällä hetkellä piilossa olevien esitysten ja historiallisten piiloesitysten välillä vastaavasti aika- ja tilaulottuvuuksista. DMANet yhdistää molemmat edut, ja tällainen arkkitehtoninen suunnittelu mahdollistaa mallin paremman mallinnuskyvyn lyhytaikaista dynamiikkaa ja pitkän aikavälin kontekstuaalisia esityksiä varten. Kokeelliset tulokset osoittavat, että menetelmällämme on erinomainen suorituskyky spatiotemporaalisessa ennustamisessa.

mistä ostaa cistanchea muistissa

Spatiotemporaalinen ennuste on lupaava keino rikkaiden spatiotemporaalisten korrelaatioiden omatoimiseen oppimiseen. Tulevaa työtä varten tutkimme kuinka erottaa liikkuvat kohteet taustasta ja kiinnittää enemmän huomiota liikkuviin esineisiin. Pyrimme myös rakentamaan näennäisen resistiivisyyden nytheittojärjestelmän suojaamaan kiinalaisia ​​luolia vedeltä.

Viitteet

1. Yao, Y.; Atkins, E.; Johnson-Roberson, M.; Vasudevan, R.; Du, X. Bitrap: Kaksisuuntainen jalankulkijoiden liikeradan ennuste multimodaalisen tavoitteen estimoinnilla. IEEE robotti. Autom. Lett. 2021, 2, 1463–1470. [CrossRef]

2. Song, Z.; Sui, H.; Li, H. Hierarkkinen objektien havaitsemismenetelmä laajamittaisessa optisessa kaukokartoitussatelliittikuvissa käyttämällä näkyvyyden havaitsemista ja CNN:tä. Int. J. Remote Sens. 2021, 42, 2827–2847. [CrossRef]

3. Li, Y.; Cai, Y.; Li, J.; Lang, S.; Zhang, X. Tila-ajallinen yhtenäisyysverkko videopoikkeamien havaitsemiseen. IEEE Access 2019, 1, 172425–172432. [CrossRef]

4. Yurtsever, E.; Lambert, J.; Carballo, A.; Takeda, K. Selvitys autonomisesta ajamisesta: yleisiä käytäntöjä ja uusia teknologioita. IEEE Access 2020, 8, 58443–58469. [CrossRef]

5. Shi, X.; Chen, Z.; Wang, H.; Yeung, DY Convolutional LSTM -verkko: Koneoppimismenetelmä sademäärän laskemiseen. Proceedings of the 29th Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 7.–12. kesäkuuta 2015; s. 802–810.

6. Wang, Y.; Li, M.; Wang, J.; Gao, Z.; Yu, P. PredRNN: Toistuvat hermoverkot ennustavaan oppimiseen käyttämällä spatiotemporaalisia LSTM:itä. Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Kanada, 4.–9. joulukuuta 2017; s. 879–888.

7. Wang, Y.; Gao, Z.; Long, M.; Wang, J.; Yu, P. PredRNN plus plus: Kohti spatiotemporaalisen ennustavan oppimisen syvällisen ajan dilemman ratkaisua. Proceedings of the 35th International Conference on Machine Learning, Tukholma, Ruotsi, 10.–15.4.2019; s. 5123–5132.

8. Goodfellow, IJ; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D. Generatiiviset kontradiktoriset verkostot. Proceedings of the 28th Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 8.–13. joulukuuta 2014; s. 2672–2680.

9. Ivanovic, B.; Karen, L.; Edward, S.; Pavone, M. Multimodaaliset syvägeneratiiviset mallit liikeradan ennustamiseen: ehdollinen variaatioautoenkooderi lähestymistapa. IEEE robotti. Autom. Lett. 2021, 2, 295–302. [CrossRef]

10. Rumelhart, D.; Hinton, G.; Williams, R. Esitysten oppiminen takaisin etenevien virheiden avulla. Nature 1986, 1, 533–536. [CrossRef]

11. Hochreiter, S.; Schmidhuber, J. Pitkä lyhytaikainen muisti. Neurolaskenta. 1997, 8, 1735–1780. [CrossRef]

12. Sutskever, I.; Vinyals, O.; Le, Q. Sequence to sekvenssioppiminen hermoverkkojen kanssa. julkaisussa Proceedings of the Advances in Neural Information Processing Systems, Montreal, QC, Kanada, 8.–13. joulukuuta 2014; s. 3104–3112.

13. Das, M.; Ghosh, S. Syväoppimiseen perustuva ennusteryhmä puuttuvien tietojen ennustamiseen kaukokartoitusanalyysiä varten. IEEE J. Sel. Yläosa. Appl. Maan tarkkailu. Remote Sens. 2017, 12, 5228–5236. [CrossRef]

14. Oliu, M.; Selva, J.; Escalera, S. Taitetut toistuvat hermoverkot tulevaisuuden videon ennustamista varten. Proceedings of the 15th European Conference on Computer Vision, München, Saksa, 8.–14.12.2018; s. 716–731.

15. Seng, D.; Zhang, Q.; Zhang, X.; Chen, G.; Chen, X. Ilmanlaadun spatiotemporaalinen ennuste perustuu LSTM-hermoverkkoon. Alex. Eng. J. 2021, 60, 2021–2032. [CrossRef]

16. Abed, A.; Ramin, Q.; Abed, A. Automaattinen auringonpurkausten ennustaminen SDO-kuvista syväoppimisen avulla. Adv. Space Res. 2021, 67, 2544–2557. [CrossRef]

17. Li, S.; Fang, J.; Xu, H.; Xue, J. Videokuvan ennustaminen syvällä monihaaraisella maskiverkolla. IEEE Trans. Circuits Syst. Videotekniikka. 2020, 4, 1–12. [CrossRef]

18. Wang, Y.; Zhang, J.; Zhu, H.; Long, M.; Wang, J.; Yu, P. Muisti muistissa: Ennustava hermoverkko korkeamman asteen ei-stationaarisuuden oppimiseen spatiotemporaalisesta dynamiikasta. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Kanada, 16.–20.6.2020; s. 9146–9154.

19. Chen, X.; Xu, C.; Yang, X.; Yang, X.; Tao, D. Pitkän aikavälin videoennuste kritiikin ja retrospektiivin kautta. IEEE Trans. Kuvaprosessi. 2020, 29, 7090–7103. [CrossRef]

20. Neda, E.; Reza, F. AptaNet syväoppimisena aptameeri-proteiini-vuorovaikutuksen ennustamiseen. Sci. Re. 2021, 11, 6074–6093.

21. Shen, B.; Ge, Z. Painotettu epälineaarinen dynaaminen järjestelmä epälineaaristen dynaamisten piilevien muuttujien syvään erottamiseen ja teolliseen käyttöön. IEEE Trans. Ind. Inform. 2021, 5, 3090–3098. [CrossRef]

22. Zhou, J.; Dai, H.; Wang, H.; Wang, T. Wide-attention ja syväkomposiittimalli liikennevirtojen ennustamiseen liikenteen kyberfysikaalisissa järjestelmissä. IEEE Trans. Ind. Inform. 2021, 17, 3431–3440. [CrossRef]

23. Patil, K.; Deo, M. Altaan mittakaava merenpinnan lämpötilan ennuste keinotekoisilla hermoverkoilla. J. Atmos. Valtameri. Technol. 2018, 7, 1441–1455. [CrossRef]

24. Amato, F.; Guinard, F.; Robert, S.; Kanevski, M. Uusi kehys ympäristödatan spatio-temporaaliseen ennustamiseen syväoppimisen avulla. Sci. Tasavalta 2020, 10, 22243–22254. [CrossRef]

25. Yan, J.; Qin, G.; Zhao, R.; Liang, Y.; Xu, Q. Mixpred: Videon ennustaminen optisen virtauksen ulkopuolella. IEEE Access 2019, 1, 185654–185665. [CrossRef]

26. Wang, Y.; Jiang, L.; Yang, M.; Li, L.; Long, M.; Li, F. Eidetic 3D LSTM: Malli videon ennustamiseen ja muuhun. Proceedings of the International Conference on Learning Representations, New Orleans, LA, USA, 6.–9. toukokuuta 2019; s. 1–14.

27. Vaswani, A.; Shazier, N.; Parmar, N.; Uszkoreit, J.; Jones, L. Huomio on kaikki mitä tarvitset. Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Kanada, 4.–9. joulukuuta 2017; s. 5998–6008.

28. Chen, Y.; Kalantidis, Y.; Li, J.; Feng, J. A2-verkot: Kaksinkertaiset huomioverkot. Proceedings of the 32nd Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 2.–8. joulukuuta 2018; s. 352–361.

29. Huang, Z.; Wang, X.; Wei, Y.; Huang, L.; Shi, H. Ccnet: Ristikkäistä huomiota semanttiseen segmentointiin. IEEE Trans. Pattern Anal. Mach. Intell. 2020, 1, 1–11. [CrossRef]

30. Fu, J.; Liu, J.; Tian, ​​H.; Li, Y. Kaksinkertainen huomioverkko kohtausten segmentointiin. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Kanada, 16.–20.6.2019; s. 3146–3154.

31. Wang, Z.; Bovik, A.; Sheikh, H. Kuvan laadun arviointi: Virheiden näkyvyydestä rakenteelliseen samankaltaisuuteen. IEEE Trans. Kuvaprosessi. 2004, 4, 600–612. [CrossRef]

32. Liu, Q.; Lu, S.; Lan, L. Yolov3 tarkkaavaisuuskasvotunnistin korkealla tarkkuudella ja tehokkuudella. Comp. Syst. Sci. Eng. 2021, 37, 283–295.

33. Li, X.; Xu, F.; Xin, L. Laajamittaisten satelliittien kaukokartoituskuvien kaksoishuomio syväfuusio semanttiset segmentointiverkot. Int. J. Remote Sens. 2021, 42, 3583–3610. [CrossRef]

34. Srivastava, N.; Mansimov, E.; Salakhutdinov, R. Videoesitysten ohjaamaton oppiminen LSTM:illä. Proceedings of the 32nd International Conference on Machine Learning, Lille, Ranska, 6.–11. kesäkuuta 2015; s. 843–852.

35. Geiger, A.; Lenz, P.; Stiller, C.; Urtasun, R. Vision kohtaa robotiikan: KITTI-aineisto. Int. J. Robot. Res. 2013, 32, 1231–1237. [CrossRef]

36. Dollar, P.; Wojek, C.; Schiele, B.; Perona, P. Jalankulkijoiden havaitseminen: vertailukohta. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, USA, 20.–25.6.2009; s. 304–311.

37. Liu, J.; Jin, B.; Yang, J.; Xu, L. Meren pinnan lämpötilan ennustaminen kuutio-B-spliiniinterpolaatiolla ja spatiotemporaalista huomiomekanismia käyttäen. Remote Sens. Lett. 2021, 12, 12478–12487. [CrossRef]