Epänormaali tunnistus suurdatavideossa parannetulla automaattisella kooderilla

1. Esittely

Korkean tason tietokonenäkötehtävänä videopoikkeamien havaitseminen viittaa epänormaalien tapahtumien automaattiseen havaitsemiseen tietyssä videojaksossa, mikä voi tehokkaasti erottaa epänormaalit ja normaalit toiminnot ja epänormaalit luokat videossa. Viime vuosina tutkijat ovat tehneet monia poikkeamien havaitsemiseen liittyviä tutkimuksia [1–9]. Normaalitapahtumiin verrattuna harvoin esiintyviä tai vähäisen todennäköisyyden aiheuttamia tapahtumia pidetään yleensä epänormaaleina. Käytännössä tehokkaan poikkeamien havaitsemismallin luominen on kuitenkin vaikeaa tuntemattomien tapahtumatyyppien ja epäselvien määritelmien vuoksi. Suurin osa olemassa olevista poikkeamien havaitsemismenetelmistä on suunniteltu sen olettamuksen perusteella, että mikä tahansa kuvio, joka poikkeaa opitusta normaalista kuviosta, katsotaan poikkeavuuksiksi. Tällaisten oletusten perusteella sama toiminta eri skenaarioissa voidaan esittää normaaleiksi tai epänormaaliksi tapahtumaksi. Esimerkiksi taistelukohtaus, jossa kaksi ihmistä taistelee kadulla, voidaan pitää epänormaalina, kun taas nämä kaksi ihmistä ovat normaaleja nyrkkeilyn aikana. Lisäksi korkeadimensionaalisessa videodatassa on suuri määrä redundanttia visuaalista informaatiota, mikä vaikeuttaa tapahtumien esittämistä videosekvenssissä.

Kiinalainen yrtti cistanche

Aikaisempien töiden mukaan poikkeamien havaitsemismenetelmät voidaan jakaa yleisesti kahteen tyyppiin. Jotkut poikkeamien havaitsemismenetelmät on suunniteltu rekonstruktiovirheiden avulla, jotka keskittyvät normaalien mallien mallintamiseen videojaksoissa [3–5, 7, 8, 10, 11]. (Nämä menetelmät oppivat normaalin kuvion piirteiden esitysmallin harjoitusvaiheessa ja käyttävät epänormaalin ja normaalin näytteen eroja määrittääkseen testidatan lopullisen epänormaalin pistemäärän testausvaiheen aikana, kuten rekonstruktiovirheet tai tietyt kynnykset [7 –14]. Vaikka rekonstruktioon perustuvat poikkeamien havaitsemismenetelmät ovat hyviä rekonstruoimaan videojaksojen normaaleja kuvioita, näiden menetelmien keskeinen ongelma on, että ne ovat vahvasti riippuvaisia ​​harjoitusdatasta. Toinen menetelmätyyppi pitää poikkeamien havaitsemista luokitusongelmana [ 15, 16]. Näissä menetelmissä videosekvenssin poikkeavuuspisteet ennustetaan käyttämällä koulutettua luokittelijaa sellaisten ominaisuuksien, kuten optisen stipendin (HOF) tai dynaamisen tekstuurin (DT) poimimiseen (näiden menetelmien suorituskyky on Hyvin riippuvainen harjoitusnäytteistä Tyydyttävän suorituskyvyn saamiseksi tehokkaiden ja erottelevien piirteiden erottaminen on olennaista tällaisissa poikkeamien havaitsemismenetelmissä [17–20]. Molemmat menetelmät kuitenkin yleensä mallintavat tapahtumien välisiä suhteita suhteellisen yksinkertaisella tavalla [7, 10, 21–23]. Esimerkiksi vain lineaarinen suhde otetaan huomioon, mikä ei monissa reaalimaailman tapauksissa riitä monimutkaisille, erittäin epälineaarisille suhteille.

Aavikon elävä vesisäiliö

Viime vuosina syväoppimiseen perustuvia menetelmiä on sovellettu videon havaitsemisen alalla ja ne ovat edistyneet suuresti [24–26]. Esimerkiksi autoenkooderit (AE) käyttävät rekonstruktiovirheitä havaitakseen poikkeavuuksia, ja joukko menetelmiä on parannettu tältä pohjalta. Lisäksi poikkeamien havaitsemisongelman ratkaisemiseen on sovellettu myös generatiivisia kilpailevia verkkoja (GAN) ja pitkää lyhytaikaista muistia (LSTM). AE:llä voi kuitenkin olla vahva yleistyskyky, mikä johtaa kykyyn rakentaa uudelleen epänormaaleja tapahtumia. [14]:ssä tutkijat huomauttivat, että koska epänormaaleja harjoitusnäytteitä ei ole, epänormaalien näytteiden rekonstruoinnin tulisi olla arvaamatonta, mikä voi johtaa suurempiin rekonstruktiovirheisiin epänormaaleissa näytteissä. Jos joillakin poikkeavuuksilla on yhteinen kokoonpanokuvio normaalin harjoitusdatan kanssa tai dekooderi on "liian vahva" eikä pysty purkaa joitakin poikkeavuuskoodeja hyvin, AE voi rekonstruoida poikkeaman hyvin. AE:n puutteiden voittamiseksi tässä paperissa käytetään muistimoduulia syvän AE:n tehostamiseen ja kehitetään muistilla lisätty AE (Memory AE) -menetelmä. Kun uusi testinäyte syötetään, Memory AE ei koodaa sitä suoraan ja syötä sitä dekooderiin, vaan käyttää sitä kyselynä asianmukaisen sisällön hakemiseksi muistimoduulista. (en, sisältö kootaan yhteen ja siirretään dekooderiin. (Onko prosessi toteutettu huomionosoituksella. Lisäksi tässä artikkelissa käytetään differentioituvia kutistumisoperaattoreita indusoimaan muistin osoitepainojen harvalukuisuus, mikä voi kannustaa muistin sisältöä lähestymään ominaisuuden kyselyitä tilaa. Harjoitusvaiheessa kooderi ja dekooderi päivittävät muistimoduulia samanaikaisesti saadakseen pienemmän keskimääräisen rekonstruktiovirheen. Testivaiheessa opittu muistin sisältö on kiinteä ja pieni määrä normaaleja muistikohteita käytetään Jos nämä valitaan syöttökoodin lähialueeksi, rekonstruktiovirhe on hyvin ilmeinen. Useilla julkisilla vertailutietosarjoilla tehdyt kokeet osoittavat, että Memory AE:n havaitsemissuorituskyky on saavuttanut tekniikan tason.

Cistanche deserticolan tärkeimmät kemialliset ainesosat

2. Algoritmin periaate

Kuvassa 1 on esitetty Memory AE:n yleinen verkkorakenne, joka on jaettu kolmeen alirakenteeseen: kooderi (käytetään syötteiden koodaamiseen ja kyselyjen luomiseen), dekooderi (käytetään rekonstruoinnissa) ja muistimoduuli (muistin ja siihen liittyvien osoitustoimintojen kanssa). Kuten kuviossa 1 on esitetty, kooderi saa ensin koodatun arvonsa testattavan tapahtuman perusteella. Käyttämällä koodattua arvoa kyselynä muistimoduuli hakee muistimoduulin oleellisimman sisällön huomiopohjaisen osoitusoperaattorin kautta ja välittää sen sitten dekooderille rekonstruoitavaksi. Harjoittelun aikana kooderi ja dekooderi optimoivat parametrit rekonstruktiovirheen minimoimiseksi ja samalla päivittävät muistimoduulin tallentamaan koodatun normaalin datan prototyyppielementit. Testinäytteen perusteella malli käyttää vain rajoitettuja normaalikuvioita, jotka on tallennettu muistimoduuliin rekonstruoinnin suorittamiseen. Tällä tavalla rekonstruktio pyrkii olemaan lähellä normaalia näytettä. Näin ollen normaalin näytteen rekonstruktiovirhe on pieni ja epänormaali virhe on suuri.

Kuva 1: (evuokaavio ehdotetusta muistista AE.

2.1. Enkooderit ja dekooderit. (ekooderi ja dekooderi ovat kaksi osaa AE:stä. (edellinen kartoittaa syöttödatan ominaisuusavaruuteen saadakseen sen koodatun arvon, ja jälkimmäinen muodostaa koodatun arvon uudelleen syöttödataksi. (e AE koostuu kooderi fw1 (·) ja dekooderi gw2 (·), jotka voidaan ilmaista seuraavasti

missä x ja x' on AE:n ja vastaavasti rekonstruoidun tulon tulo, z on x:n koodaustulokset ja W1 ja W2 tarkoittavat kooderin ja dekooderin parametreja, jotka voidaan saada minimoimalla rekonstruktiovirhe x ja x′:

Rekonstruoimalla normaalinäytteen virhe [19, 20] sen määrittämiseksi, onko se epänormaali, AE:tä on käytetty menestyksekkäästi epänormaalin havaitsemistehtävän ratkaisemiseen. Poikkeavien näytteiden rekonstruoinnin tulisi kuitenkin olla arvaamatonta, mikä voi johtaa suurempiin rekonstruktiovirheisiin epänormaaleissa näytteissä. Tämän ongelman ratkaisemiseksi osassa 2.2 esitetään AE:ssä muistimoduuli ja ehdotetaan Memory AE:tä.

2.2. Muistimoduuli. (Ehdotettu menetelmä sisältää muistimoduulin prototyypin koodaustilan tallentamiseksi ja osoitetoiminnon muistimoduuliin pääsyä varten.

2.2.1. Huomiopohjainen esitys. (Huomiomoduuli on suunniteltu matriisiksi M ∈ RN×C, joka sisältää N reaaliaikaista vektoria. Yksinkertaisuuden vuoksi oletetaan, että C on z:n ulottuvuus; olkoon sitten Ζ � RC. Kun on annettu rivivektori mi, ∀i ∈ [ N], jossa [N] on kokonaisluku 1:stä N:ään. Jokainen edustaa mi muistikohdetta; jos kyselyt z ∈ RC, muistiverkko saa z z ja vastaa pehmeällä osoitevektorilla w ∈ R1×N kuten seuraa:

missä w on rivivektori ja kaikkien alkioiden summa on 1, mikä edustaa wi:tä, i:n erää w. (e painovektori w voidaan saada z-laskemalla. Kuten yhtälöstä (4) näkyy, osoitteen painon on oltava lähellä w muistimoduulia. (e sekoitettu parametri määritellään N:ksi, muistimoduulin maksimikapasiteettiksi. Vaikka se on N, ei ole helppoa löytää parasta eri aineistoille, onneksi Memory AE ei ole herkkä N:n asetukselle. Riittävästi suurta N:ää voidaan soveltaa hyvin jokaiseen aineistoon.

2.2.2. Huomio muistiosoitteisiin. Memory AE:ssä muistimoduuli on suunniteltu tallentamaan yksityiskohtaisesti harjoitusvaiheen alkuperäinen normaalitila M. (E muistimoduuli määritellään sisältöosoitteelliseksi muistiksi, z⌢ , ja sen osoituskaavio laskee w:n, huomiopainon kyselyn ja muistikohteen samankaltaisuuden perusteella. Kuten kuvasta 1 näkyy, kukin painotus voidaan laskea softmax-käyttö wi:

missä d(·, ·) edustaa samankaltaisuuden mittaa. (määrittääkö paperi sen kosinin samankaltaiseksi:

Aivan kuten yhtälöt (4)–(6), muistimoduuli hakee eniten samankaltaisen muistikohteen saadakseen z:n esityksen. Muistin koon ja harvan osoitustekniikan vuoksi vain pieni määrä sisäisiä muistikohteita voidaan käsitellä kerrallaan. (Siksi muistimoduulin tehokas käyttäytyminen voidaan selittää seuraavasti. Harjoitusvaiheessa Memory AE:n dekooderi rajoittuu käyttämään hyvin harvoja mainoksille sopivia muistikohteita rekonstruktioon, mikä edellyttää muistikohteiden tehokasta käyttöä. (Siksi , rekonstruoinnin aikana muistimoduuli täytyy pakottaa tallentamaan edustavin prototyyppitila tulon normaalitilassa. Testivaiheessa, kun otetaan huomioon opetettu muisti, vain normaali tila muistista voidaan hakea rekonstruktiota varten. (Siksi , normaalit näytteet voidaan rekonstruoida paremmin. Kääntäen, epänormaalin syötteen koodattu arvo voidaan korvata haetulla normaalikuviolla, mikä johtaa suureen rekonstruktiovirheeseen epänormaalissa näytteessä.

2.3. Koulutus. Annettu tietojoukko, joka sisältää näytteitä xi? ?TI�1, olkoon xi' xi:n rekonstruktionäytteitä opetusnäytteissä; minimirefaktorointi suoritetaan seuraavasti:

(e l2 normia käytetään rekonstruktiovirheen mittaamiseen; wi′ edustaa kunkin näytteen xi muistiosoitteiden painoa. Jotta w′:n harvalukuisuutta voitaisiin edistää entisestään, harva regularisointi minimoidaan harjoituksen aikana. Ottaen huomioon, että kaikki w′ ovat ei-negatiivisia ja ‖w′‖1 � 1, optimointitehtävä muodostetaan seuraavasti:

Yhdistämällä yhtälön (7) ja yhtälön (8) häviöfunktio Memory AE:n tavoitefunktio on seuraava:

tässä on harjoitusprosessin hyperparametri. Käytännössä arvo on 0.0002. Harjoitteluprosessissa muistia päivitetään backpropagation ja gradient-laskumisen kautta. Takaisin etenemisessä vain sen muistiyksikön gradientti, jonka osoituspaino ei ole nolla, voi olla nollasta poikkeava.

2.4. Testata. Mallin harjoittelun jälkeen hampaiden rungon t kohdassa (x, y) olevan pikselin rekonstruktiovirhe voidaan laskea seuraavalla yhtälöllä:

missä h(·) edustaa koko mallia. Kun otetaan huomioon kymmenennen kehyksen pikselitason rekonstruktiovirhe, kuvan koko kehyksen rekonstruktiovirhe voidaan saada summaamalla e(t) � . (x,y)e(x,y,t). (fi, kehyksen poikkeavuuspisteet voidaan laskea seuraavasti:

Lopuksi voidaan asettaa kynnys sen määrittämiseksi, onko se epänormaali, koska s(t) > θ.

3. Kokeile

Tässä osiossa ehdotetun menetelmän tehokkuus varmistetaan ja sitä verrataan muihin olemassa oleviin menetelmiin. Tällä hetkellä kokeisiin käytetään kahta julkista tietojoukkoa eli Avenue-aineistoa ja ShanghaiTech-aineistoa. (Kvantitatiivisina arviointiindikaattoreina käytetään kehystason alapuolista pinta-alaa (AUC) ja EER:ää.

3.1. Valmistautuminen. (e Avenue-tietojoukko käyttää kiinteää kameraa, jonka resoluutio on 640 × 360 pikseliä Hongkongin kaupunginyliopiston katutoiminnan kaappaamiseen ja tallentamiseen. (Tietokone Computational Intelligence and Neuroscience 3 sisältää 16 harjoitusvideota, jotka sisältävät normaalin ihmisen käyttäytymisen ja 21 testaa videoleikkeitä, jotka sisältävät poikkeavia tapahtumia ja ihmisen käyttäytymistä. Siinä on yhteensä 30 652 kuvaa ja kaikissa testivideoissa on kohdetason merkinnät, eli suorakaiteen muotoista aluetta käytetään poikkeamien merkitsemiseen spatiaalisissa sijainneissa. Normaali käyttäytyminen on ihmisten kävelemistä jalkakäytävällä, kun taas epänormaalit tapahtumat ovat ihmisten roskaamista/hävittämistä, vaeltelua, kameraa kohti kävelemistä, ruoholla kävelemistä ja esineiden heittämistä pois. (e ShanghaiTech-tietojoukko on erittäin haastava kokoelma epänormaalien tapahtuman havaitsemiseen. Toisin kuin muut tietojoukot, se sisältää 13 erilaista kohtauksia erilaisilla valaistusolosuhteilla ja kamerakulmilla, mukaan lukien yhteensä 330 harjoitusvideota ja 107 testivideota (yksi testisarja sisältää yhteensä 130 epänormaalia tapahtumaa pikselitason huomautuksilla. (koko tietojoukossa on yhteensä 316154 kehystä, mukaan lukien 274515 kehystä harjoitussarjassa, 42883 kehystä testisarjassa ja 17090 kehystä epänormaalissa kehyksessä. (Jokaisen videokehyksen e resoluutio on 480 × 856. testattu alustalla, jossa on NVIDIA GTX1080TI -laitteistoalusta ja 8 Gt videomuisti, ja ohjelmistoympäristö on PyTorch ja Python 3.6. Tässä artikkelissa ehdotetun videopoikkeamien havaitsemismenetelmän tehokkuuden mittaamiseksi kehystason AUC Arviointiindeksinä käytetään vastaanottimen toimintakäyrää (ROC). Kehystason arviointiindikaattoreille, jos vähintään yksi kehyksen pikseli on merkitty epänormaaliksi, kehys katsotaan epänormaaliksi. Ja kehystason AUC lasketaan vertaamalla kehystason tunnistustulos todellisen etiketin kehystason kanssa.

Cistanche deserticolan tärkeimmät kemialliset ainesosat

Napsauta tästä nähdäksesi Cistanche-tuotteet

【Kysy lisää】 Sähköposti:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

3.2. Kokeellinen asennus. Kaikki videokehykset säädetään arvoon 227 × 227 ja muunnetaan sitten harmaasävykuviksi. (Mallin e sisääntulo on 227 × 227 × 5, eli mallin syötteenä käytetään 5 peräkkäistä kehystä. Jokaisen konvoluutiokerroksen jälkeen on eränormalisointikerros ja ReLU-virityskerros. (e-dekooderi sisältää 4 dekonvoluutiokerrosta. (yksi huomiomoduuli on asetettu sallimaan kunkin muistisegmentin tallentaa piirteen ominaisuuskartan pikseliin, joka vastaa videosegmentin alialuetta. (Siksi muistimoduuli on 10 00 × 64 matriisi. (e Adam Optimizer valitaan koko mallin parametrien optimointiin. (e alkuopetusnopeus on 0,0001 ja iteraatioiden määrä on 1000. (e momenttiparametri on ρ1 � 0,9 ja ρ2 � 0,999, ja eräkoko on 128.

3.3. Kokeelliset tulokset. Tässä artikkelissa verrataan sitä 12 erilaiseen olemassa olevaan menetelmään ehdotetun menetelmän tehokkuuden osoittamiseksi videopoikkeamien havaitsemisessa. Niistä MPPCA (todennäköisyyspohjaisen pääkomponenttianalysaattorin hybridi) plus SF (sosiaalinen voima) [17] ja MDT (dynaamisen tekstuurin hybridi) [18] ovat manuaalisiin ominaisuuksiin perustuvia menetelmiä; Conv-AE [8], 3D Conv [19], pinottu RNN [20] ja ConvLSTM-AE [21], MemNormality [10] ja ClusterAE [22] ovat kaikki menetelmiä, jotka perustuvat autoenkooderiin; AbnormalGAN [7] ja Pred plus Recon [23] perustuvat kontradiktoristen verkkojen menetelmän luomiseen. Taulukossa 1 on esitetty eri menetelmien kehystason videopoikkeamien havaitsemistulokset. Voidaan havaita, että näiden kahden aineiston tuloksissa AE:hen perustuva menetelmä on yleensä parempi kuin käsintehtyihin ominaisuuksiin perustuva menetelmä ja saadaan korkeammat kehystason AUC:t. (syy, koska käsintehdyt ominaisuudet poimitaan yleensä muiden tehtävien perusteella, ja siksi ne voivat olla epäoptimaalisia. AE-pohjaisissa menetelmissä ConvLSTM-AE on parempi kuin Conv-AE, koska edellinen voi siepata paremmin aikatietoja. Lisäksi se voi myös Huomaa, että GAN:iin perustuvat menetelmät toimivat paremmin kuin useimmat perusmenetelmät. Lopuksi tässä artikkelissa ehdotettu Memory AE -menetelmä saavuttaa 85,7 prosentin kehystason AUC:n Avenue-tietojoukossa, mikä on 0,6 prosenttia parempi kuin parhaiten suoriutuneen Pred plus Recon [23] -menetelmällä; vaikka tässä artikkelissa ehdotettu menetelmä saavutti 75,3 prosentin kehystason AUC-arvon ShanghaiTech-tietojoukossa, mikä on 2 prosenttia muita kehystason AUC-menetelmiä edellä, ja vaikutus on hyvin ilmeinen. ehdotettu Memory AE:hen perustuva menetelmä käyttää muistifragmentteja, jotka pystyvät rekonstruoimaan poikkeavuuksia hyvin ja aiheuttamaan joitain satunnaisia ​​virheitä. Lisäksi ShanghaiTech-tietojoukossa on Avenue-tietoaineistoon verrattuna saavutettu korkeampi kehystason AUC (johtuen pääasiassa siitä, että ShanghaiTech-tietoaineisto sisältää useita kohtauksia ja epänormaaleja tapahtumia, joita ei ole aiemmin esiintynyt muissa tietojoukoissa, mikä on monimutkaisempaa. Yhden kohtauksen havaitsemistulosten tarkistamiseksi ShanghaiTech-tietojoukossa käytetään yhden kohtauksen videosegmenttiä harjoitteluun ja testaukseen. 83 segmenttiä (25 prosenttia ) käytetään harjoitteluun ja 34 segmenttiä (32 prosenttia ) testaukseen, jolloin saavutetaan 86,3 prosentin kehystason AUC, joka on saavuttanut saman tason kuin Avenue-tietojoukossa. Yhteenvetona voidaan todeta, että ehdotettua Memory AE -menetelmää voidaan soveltaa joustavasti erityyppisiin tietoihin. Ainoastaan ​​rekonstruktiovirheitä käyttämällä ehdotetulla menetelmällä voidaan saada parempia tuloksia vähimmällä tiedolla. Jotta voidaan arvioida ennalta määritetyn muistimoduulin suorituskykyä epänormaalien videotapahtumien havaitsemisessa, seuraava vaihe on muuttaa muistimoduulin kokoa ja suorittaa kokeita Avenue-tietojoukolla. Taulukossa 2 on annettu kehystason AUC-arvot. voidaan havaita, että riittävän suurella muistimoduulilla Memory AE -menetelmä voi tuottaa parhaat tulokset vakaasti. Kun muistimoduulin koko on suurempi kuin 1000, vaikutus tunnistustulokseen on pieni, mutta suuremman muistimoduulikoon käyttö johtaa enemmän laskentaan, joten muistimoduulin kooksi valitaan 1000. Kuvat Kuvat 2(a) ja 2(b) esittävät joitain tunnistustuloksia Avenue-tietojoukossa ja ShanghaiTech-tietojoukossa. (e Taulukko 1: AUC:n vertailu uusimpien menetelmien kanssa.

parempi kuin käsintehtyihin ominaisuuksiin perustuva menetelmä, ja saadaan korkeammat kehystason AUC-arvot. (syy, koska käsintehdyt ominaisuudet poimitaan yleensä muiden tehtävien perusteella, ja siksi ne voivat olla epäoptimaalisia. AE-pohjaisissa menetelmissä ConvLSTM-AE on parempi kuin Conv-AE, koska edellinen voi siepata paremmin aikatietoja. Lisäksi se voi myös Huomaa, että GAN:iin perustuvat menetelmät toimivat paremmin kuin useimmat perusmenetelmät. Lopuksi tässä artikkelissa ehdotettu Memory AE -menetelmä saavuttaa 85,7 prosentin kehystason AUC:n Avenue-tietojoukossa, mikä on 0,6 prosenttia edellä parhaiten suoriutuva Pred plus Recon [23] -menetelmä; kun taas tässä artikkelissa ehdotettu menetelmä saavutti 75,3 prosentin kehystason AUC:n ShanghaiTech-tietojoukossa, mikä on 2 prosenttia muita menetelmiä edellä kehystason AUC:ssa, ja vaikutus on hyvin ilmeinen. . (pääasiassa siksi, että ehdotettu Memory AE:hen perustuva menetelmä käyttää muistifragmentteja, jotka pystyvät rekonstruoimaan poikkeavuuksia hyvin ja aiheuttamaan satunnaisia ​​virheitä. Lisäksi ShanghaiTech-tietojoukko on saavuttanut korkeamman kehystason AUC:n verrattuna Avenue-tietojoukkoon. lähinnä siksi, että ShanghaiTech-tietojoukko sisältää useita kohtauksia ja epänormaaleja tapahtumia, joita ei ole aiemmin esiintynyt muissa tietojoukoissa, mikä on monimutkaisempaa. Yhden kohtauksen havaitsemistulosten tarkistamiseksi ShanghaiTech-tietojoukossa käytetään yhden kohtauksen videosegmenttiä harjoitteluun ja testaukseen. 83 segmenttiä (25 prosenttia ) käytetään harjoitteluun ja 34 segmenttiä (32 prosenttia ) testaukseen, jolloin saavutetaan 86,3 prosentin kehystason AUC, joka on saavuttanut saman tason kuin Avenue-tietojoukossa. Yhteenvetona voidaan todeta, että ehdotettua Memory AE -menetelmää voidaan soveltaa joustavasti erityyppisiin tietoihin. Ainoastaan ​​rekonstruktiovirheitä käyttämällä ehdotetulla menetelmällä voidaan saada parempia tuloksia vähimmällä tiedolla. Jotta voidaan arvioida ennalta määritetyn muistimoduulin suorituskykyä epänormaalien videotapahtumien havaitsemisessa, seuraava vaihe on muuttaa muistimoduulin kokoa ja suorittaa kokeita Avenue-tietojoukolla. Taulukossa 2 on annettu kehystason AUC-arvot. voidaan havaita, että riittävän suurella muistimoduulilla Memory AE -menetelmä voi tuottaa parhaat tulokset vakaasti. Kun muistimoduulin koko on suurempi kuin 1000, vaikutus tunnistustulokseen on pieni, mutta suuremman muistimoduulikoon käyttö johtaa enemmän laskentaan, joten muistimoduulin kooksi valitaan 1000. Kuvat Kuvat 2(a) ja 2(b) esittävät joitain tunnistustuloksia Avenue-tietojoukossa ja ShanghaiTech-tietojoukossa. (vihreän laatikon kehykset ovat normaaleja kehyksiä tavallisista videoleikkeistä ja punaisen ruudun kehykset ovat epänormaalit kehykset epänormaaleista videoleikkeistä. Jotkut epänormaalit tapahtumat, kuten konfettien pudottaminen, polkupyörällä ajaminen jalkakäytävällä, hakkaaminen jne. havaita.

Taulukko 2: (e muistikoon määrän vaikutus Avenue-tietojoukon kokeellisiin tuloksiin (kehystason AUC/prosentti).

Kuva 2: Esimerkkejä havaitsemistuloksista. (a) Esimerkki Avenue-tietojoukosta. (b) Esimerkki ShanghaiTech-tietojoukosta.

4. Johtopäätös

(Onko paperissa ehdotettu Memory AE:tä suuren datan poikkeamien havaitsemisen tehokkuuden parantamiseksi videoissa. Ehdotettu Memory AE -menetelmä käyttää ensin kooderia saadakseen koodatun esityksen ja käyttää sitten koodia kyselynä hakeakseen tärkeimmän Koska muistimoduuli on koulutettu tallentamaan tyypillisiä normaaleja kuvioita, ehdotettu Memory AE voi rekonstruoida normaalit näytteet hyvin ja suurentaa poikkeavuuksien rekonstruktiovirhettä, mikä vahvistaa rekonstruktiovirheen roolia poikkeavuuksien havaitsemisstandardina. Kahdella tietojoukolla tehdyt kokeet osoittavat ehdotetun menetelmän monipuolisuuden ja tehokkuuden. Jatkossa tutkimme osoituspainojen käyttöä poikkeamien havaitsemiseen Ottaen huomioon, että ehdotettu muistimoduuli on universaali eikä sillä ole mitään tekemistä kooderin rakenteen ja dekooderi, se integroidaan monimutkaisempaan perusmalliin ja sitä käytetään kokeissa haastavammilla tietojouksilla.

Cistanche-lisä lähellä minua - Muistin parantaminen

Viitteet

[1] F. Dong, Y. Zhang ja X. Nie, "Dual discriminator generative adversarial network for video anomaly detection", IEEE Access, voi. 8, s. 88170–88176, 2020.

[2] K. Doshi ja Y. Yilmaz, "Any-shot sequential anomaly detection in valvevideos", julkaisussa Proceedings of the CVPRW, s. 934-935, Seattle, WA, USA, kesäkuu 2020.

[3] K. Doshi ja Y. Yilmaz, "Continual learning for anomaly detection in valvevideos", Proceedings of the CVPRW, s. 254-255, Seattle, WA, USA, kesäkuu 2020.

[4] K. Jayanta, "Dutta and bonny Banerjee. Online-havaitseminen epänormaalit tapahtumat käyttämällä inkrementaalista koodauspituutta", Proceedings of the AAAI, s. 3755–3761, Austin, Texas, USA, tammikuu 2015.

[5] Y. Feng, Y. Yuan ja X. Lu, "Learning deep event models for crowd anomaly detection", Neurocomputing, voi. 219, s. 548–556, 2017.

[6] D. Gong, L. Liu, V. Le et al., "Memorizing normality to detect anomaly: memory-augmented deep autoencoder for unsupervised anomaly detection", julkaisussa Proceedings of the ICCV, s. 1705–1714, Soul, Korea, lokakuu 2019.

[7] M. Ravanbakhsh, M. Nabi, E. Sangineto, L. Marcenaro, C. Regazzoni ja N. Sebe, "Abnormal event detection in videos using generative adversarial nets", Proceedings of the IEEE International Conference on Image Processing , s. 1577–1581, Peking, Kiina, syyskuu 2017.

[8] M. Hasan, J. Choi, J. Neumann, AK Roy-Chowdhury ja LS Davis, "Learning temporal regularity in video series", julkaisussa Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, s. 733– 742, Las Vegas, NV, USA, kesäkuu 2016.

[9] W. Liu, W. Luo, D. Lian ja S. Gao, "Future frame ennustaminen poikkeamien havaitsemiseksi – uusi lähtökohta", julkaisussa Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, s. 6536– 6545, Salt Lake City, UT, USA, kesäkuu 2018.

[10] H. Park, J. Noh ja B. Ham, "Learning memory-guided normality for anomaly detection", julkaisussa Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, s. 14 372–{{ 3}}, Seattle, WA, USA, kesäkuu 2020.

[11] MZ Zaheer, J.-h. Lee, M. Astrid ja S.-I. Lee, "Vanha on kultaa: vastakkain opitun yhden luokan luokitteluparadigman uudelleenmäärittely", julkaisussa Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, s. 14 183–214 193, Seattle, WA, USA, kesäkuu 2020.

[12] X. Zhu, J. Liu, J. Wang, Y. Fang ja H. Lu, "Anomaly detection in the crowded scene via look and dynamics joint modeling", julkaisussa Proceedings of the IEEE International Conference on Image Processing, s. 2705–2708, Melbourne, VIC, Australia, syyskuu 2013.

[13] RVHM Colque, CAC J´unior ja WR Schwartz, "Histograms of Optical Fellow orientation and Magnitude to detect anomalous events in videos", Proceedings of the Sibgrapi Conference on Graphics, Patterns, and Images, s. 126–133 , Salvador, Bahia, Brasilia, elokuu 2015.

[14] Bo Zong, S. Qi, RM Martin et ai., "Deep autoencoding Gaussian mix model for unsupervised anomaly detection", Proceedings of the International Conference on Learning Representations, Vancouver, Kanada, huhtikuu 2018.

[15] M. Sabokrou, M. Fayyaz, M. Fathy, Z. Moayed ja R. Klette, "Deep-anomaly: täysin konvoluutiohermoverkko nopeaan poikkeamien havaitsemiseen ruuhkaisissa kohtauksissa", Computer Vision and Image Understanding, voi. 172, s. 88–97, 2018.

[16] C. Li, Z. Han, Q. Ye ja J. Jiao, "Visual abnormal behavior detection based on trajectory sparse rekonstruction analysis", Neurocomputing, voi. 119, nro. 7, s. 94–100, 2013.

[17] V. Mahadevan, W. Li, V. Bhalodia ja N. Vasconcelos, "Anomaly detection in crowded scenes", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), s. 1975–1981, IEEE, San Francisco, CA, USA, kesäkuu 2010.

[18] W. Li, V. Mahadevan ja N. Vasconcelos, "Anomaly detection and localization in crowded scenes", IEEE Transactions on Pattern Analysis and Machine Intelligence, voi. 36, s. 18–32, 2014.

[19] Y. Zhao, B. Deng, C. Shen, Y. Liu, H. Lu ja X.-S. Hua, "Spatio-Temporal AutoEncoder for video anomaly detection", julkaisussa Proceedings of the ACM International Conference on Multimedia (ACM MM), s. 1933–1941, ACM, Mountain View California USA, lokakuu 2017.

[20] W. Luo, L. Wen ja S. Gao, "A Revisit of sparse coding based anomaly detection in stacked RNN framework", Proceedings of the IEEE International Conference on Computer Vision (ICCV), Venetsia, Italia, lokakuu 2017

[21] W. Luo, L. Wen ja S. Gao, "Remembering history with convolutional LSTM for anomaly detection", Proceedings of the IEEE International Conference on Multimedia and Expo (ICME), s. 439–444, IEEE, Hong Kong, heinäkuu 2017.

[22] Y. Chang, Z. Tu, W. Xie ja J. Yuan, "Clustering driven deep autoencoder for video anomaly detection", julkaisussa Proceedings of the European Conference on Computer Vision (ECCV), s. 329–345, Springer, Glasgow, Iso-Britannia, elokuu 2020.

[23] L. Wen, W. Luo, D. Lian ja S. Gao, "Future frame ennustaminen poikkeamien havaitsemiseksi – uusi lähtökohta", julkaisussa Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), ss. 6536–6545, IEEE, Salt Lake City, UT, USA, kesäkuu 2018.

[24] M. Song, "Keskitasoinen kenttänäkymä kaksikerroksisten hermoverkkojen maisemasta", Proceedings of the National Academy of Sciences, voi. 115, nro. 33, s. E7665–E7671, 2018.

[25] B. Ding ja G. Wen, "Sparsity constraint lähin aliavaruuden luokitin SAR-kuvien kohdetunnistukseen", Journal of Visual Communication and Image Representation, voi. 52, s. 170–176, 2018.

[26] T. Wang ja H. Snoussi, "Detection of abnormal visual events via global optical Fellow orientation histogram", IEEE Transactions on Information Forensics and Security, voi. 9, ei. 6, s. 988–998, 2014.