Parannettu ominaisuusparametrien erottaminen puhesignaaleista koneoppimisalgoritmin avulla (1)

Abstrakti: Puheentunnistus viittaa ohjelmiston tai laitteiston kykyyn vastaanottaa puhesignaali, tunnistaa puhujan ominaisuudet puhesignaalissa ja tunnistaa puhuja sen jälkeen. Yleisesti ottaen puheentunnistusprosessiin kuuluu kolme päävaihetta: akustinen käsittely, piirteiden poimiminen ja luokittelu/tunnistus. Ominaisuuden poimimisen tarkoituksena on havainnollistaa puhesignaalia käyttämällä ennalta määrättyä määrää signaalikomponentteja. Tämä johtuu siitä, että kaiken akustisen signaalin informaation käsittely on liian hankalaa ja osa tiedoista on merkityksetöntä tunnistustehtävässä. Tässä tutkimuksessa ehdotetaan koneoppimiseen perustuvaa lähestymistapaa, joka poimii ominaisuusparametreja puhesignaaleista puheentunnistussovellusten suorituskyvyn parantamiseksi reaaliaikaisissa älykkäissä kaupunkiympäristöissä. Lisäksi periaatetta yhdistää päämuistilohko välimuistiin käytetään tehokkaasti vähentämään laskenta-aikaa. Välimuistin lohkokoko on parametri, joka vaikuttaa voimakkaasti välimuistin suorituskykyyn. Erityisesti tällaisten prosessien toteuttaminen reaaliaikaisissa järjestelmissä vaatii suurta laskentanopeutta. Käsittelynopeudella on tärkeä rooli puheentunnistuksessa reaaliaikaisissa järjestelmissä. Se edellyttää nykyaikaisten teknologioiden ja nopeiden algoritmien käyttöä, jotka lisäävät kiihtyvyyttä ominaisparametrien poimimisessa puhesignaaleista. Puhesignaalien digitaalisen käsittelyn aikana esiintyviä ylikellotusongelmia ei ole vielä täysin ratkaistu. Kokeelliset tulokset osoittavat, että ehdotettu menetelmä erottaa onnistuneesti signaalin ominaisuudet ja saavuttaa saumattoman luokittelun muihin perinteisiin puheentunnistusalgoritmeihin verrattuna.

Cistanche deserticola

Avainsanat: puheentunnistus; rinnakkaislaskenta; hajautettu tietotekniikka; moniydin prosessori; ominaisuuksien erottaminen; spektrianalyysi

1. Esittely

Viestintätapojen luominen ihmisten ja tietotekniikan välille on kriittinen tehtävä nykyaikaisessa tekoälyssä. Yksi helpoimmista tavoista käyttäjien syöttää tietoja on puhesignaalien avulla. Siksi puhesignaalinkäsittelyteknologiasta ja sen työkaluista on tullut välttämätön osa tietoyhteiskuntaa. Puheentunnistus on olennainen tutkimusnäkökohta puhesignaalin käsittelyssä ja elintärkeä ihmisen ja tietokoneen vuorovaikutustekniikka. Puhesignaalit sisältävät semanttista, henkilökohtaista ja ympäristötietoa [1]. Yleisenä lähestymistapana puhesignaalin käsittelyyn on käyttää lyhytaikaista analyysiä, jossa signaali jaetaan kiinteän kokoisiin aikaikkunoihin olettaen, että signaaliparametrit eivät muutu. Ikkunoiden väliin asetetaan limitys tarkemman signaaliesityksen saamiseksi. Ominaisuuksien erotusalgoritmeja, kuten spektrianalyysiä ja lineaarista ennustetta, sovelletaan jokaiseen ikkunaan. Näissä prosesseissa on kuitenkin otettava huomioon myös nopeus ja aika.

Aavikon ginseng

Ajoitus on merkittävä huolenaihe useilla reaaliaikaisen signaalinkäsittelyn alueilla. Prosessointinopeussuhdetta voidaan kasvattaa käyttämällä tehokkaasti prosessoriresursseja ja kehittämällä uusia ja nopeita algoritmeja digitaalisen käsittelyajan lyhentämiseksi. Suuren suorituskyvyn laskennan ongelmia ei kuitenkaan ole vielä täysin ratkaistu [2]. Lisäksi automaattisessa puheentunnistuksessa on edistytty merkittävästi digitaalisen signaalinkäsittelylaitteiston ja -ohjelmiston kehityksen myötä. Näistä edistysaskeleista huolimatta koneet eivät kuitenkaan voi verrata ihmisten suorituskykyä tarkkuuden ja nopeuden tunnistuksen suhteen, etenkään puhujariippumattomassa puheentunnistuksessa. Näin ollen suuri määrä puheentunnistusta koskevaa tutkimusta on keskittynyt puhujasta riippumattomiin puheentunnistusongelmiin, mikä johtuu käytettävissä olevien puheentunnistustekniikoiden laajasta sovellusvalikoimasta ja rajoituksista [3].

Yhteenvetona tutkimuksen tärkeimmät panokset ovat seuraavat:

Cistanche teetä

Napsauta tästä nähdäksesi Cistanche deserticola -teetuotteet

【Kysy lisää】 Sähköposti:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Prosessi henkilön tunnistamiseksi puhesignaaleilla koostuu useista vaiheista. Niistä jotkut vaiheet vaativat enemmän laskenta-aikaa. Tämä on spektrianalyysi. Yksi koneoppimisalgoritmeissa erityisen tärkeä parametreistä on harjoitusaika. Tässä työssä havaitsimme, että piirteiden poimintaprosessi on tärkeä puhesignaalien tunnistamisen kannalta. Lisäksi koneoppiminen vie paljon aikaa. On todettu, että spektrianalyysiprosessi koostuu itsenäisistä operaatioista ja rinnakkaisuus on mahdollista.

Kokeet ovat osoittaneet, että FFT- ja DCT-spektrimuunnokset antavat hyviä tuloksia spektrianalyysissä. Spektrianalyysiprosessi on voimassa jokaiselle puhesignaalin segmentille. Tämän ansiosta voimme selvästi erottaa nämä ominaisuudet puhesignaalista. OpenMP- ja TBB-työkalujen avulla kehitettiin rinnakkaislaskenta-algoritmi, joka mahdollisti laskelmien nopeuttamisen.

Segmentin koko on tärkeä, kun puhesignaali jaetaan segmentteihin. Kokeiden aikana havaittiin, että puhesignaalin segmentin koko riippuu keskusprosessorin välimuistista. Erityisesti segmentin sovittamisella välimuistin kokoon moniytimisissä prosessoreissa on havaittu olevan positiivinen vaikutus laskentanopeuteen koneoppimisessa.

Uutta rinnakkaista toteutusmenetelmää ehdotetaan signaalien spektrimuunnoksille ominaisparametrien erottamiseksi puhesignaaleista käyttämällä koneoppimisalgoritmia moniytimisissä prosessoreissa, joissa käytetään TBB:tä ja OpenMP:tä.

Havaittiin myös, että päämuistilohkon välimuistiin yhdistämisperiaatteen ja välimuistilohkon koon tehokas käyttö voi lisätä käsittelynopeutta.

Cistanche-lisä lähellä minua - Muistin parantaminen

Tämän asiakirjan loppuosa on järjestetty seuraavasti. Osassa 2 tarkastellaan olemassa olevia tutkimuksia tiettyjen puhesignaalin ominaisuuksien poimimiseksi. Osassa 3 kuvataan piirteiden poistamisen vaiheet kokeiden avulla. Osassa 4 esitetään yksityiskohtaisesti ehdotettu korkean suorituskyvyn laskentaalgoritmi piirreparametrien poimimiseksi puhesignaaleista. Toteutusimme perustuvia kokeellisia tuloksia käsitellään luvussa 5. Osassa 6 tuodaan esille ehdotetun menetelmän rajoitukset. Lopuksi osa 7 päättää tutkimuksen tekemällä yhteenvedon tuloksista ja huomioimalla tulevaisuuden tutkimussuunnat.

2. Aiheeseen liittyvät teokset

Parhaillaan kehitetään ja parannetaan uusia menetelmiä, algoritmeja ja nykyaikaisempia sovelluksia puhesignaalien segmentointiin ja valittujen fragmenttien parametristen indikaattoreiden laskemiseen, jolloin luodaan puhesignaalien spektrogrammi spektrianalyysin avulla [4–7]. Kaiuttimien tunnistaminen monipuolisilla äänileikkeillä eri puolilla maailmaa on ratkaiseva ja haastava tehtävä, erityisesti voimakkaiden ja erottelevien ominaisuuksien poimimisessa [8]. Korkmaz et al. ehdottivat uutta Mel Frequency Cepstral Coefficients (MFCC) -ominaisuusuuttojärjestelmää, joka on nopeampi ja energiatehokkaampi kuin perinteinen MFCC-toteutus. [9]. Sen sijaan, että käyttäisivät ylipäästösuodatinta, he käyttivät alipäästösuodatinta. He toteuttivat kaistanpäästösuodattimen ylipäästösuodattimella, koska esikorostusta tarvitaan signaalin energian lisäämiseksi korkeilla taajuuksilla. Edellisessä työssämme [10] esitimme uuden MFCC-pohjaisen menetelmän puhujien tunnistamiseen. Perinteisten MFCC-laitteiden sijaan käytämme ominaisuusjoukona Mel-spektrogrammin pikseleitä. Spektrogrammi muutettiin 2-D-taulukoksi uuden tietojoukon luomiseksi. Puhujan tunnistamiseksi otettiin käyttöön useita oppimisalgoritmeja 10-kertaisen ristiinvalidointitekniikan avulla. Tanh-aktivointitoiminnolla varustetun monikerroksisen perceptronin (MLP) avulla saavutettiin paras 90,2 prosentin tarkkuus.

Ominaisuus erotetaan muuttamalla puheen aaltomuoto parametrisen esityksen muotoon suhteellisen pienemmällä datanopeudella myöhempää käsittelyä ja analysointia varten [11–14]. Ominaisuuden erotusmenetelmät antavat yleensä moniulotteisen piirrevektorin jokaiselle puhesignaalille. Ominaisuuden poistaminen on kaiuttimen tunnistuksen oleellisin osa. Puheen ominaisuuksilla on tärkeä osa puhujan erottamisessa muista. Ominaisuuden poistaminen vähentää puhesignaalin voimakkuutta, mutta ei vahingoita puhesignaalin tehoa [15–17]. Vuonna [18] kirjoittajat esittelivät uuden lähestymistavan, joka hyödyntää alkuperäisen lyhytaikaisen Fourier-muunnoksen laskemiseen käytetyn spektrianalyysiikkunan koon ja siirtoparametrien hienosäätöä parantaakseen puhujasta riippuvan automaattisen puheentunnistuksen suorituskykyä. (ASR) järjestelmä. Lääkäreiden puuttuessa maallikot voivat käyttää päätöksentekoapujärjestelmiä, jotka on luotu tekoälyn avulla. Varhainen ja ei-invasiivinen sydämen tilan havaitseminen voidaan suorittaa käyttämällä phonocardiogram (PCG) -signaaleja [19–21].

Konvoluutiohermoverkkojen (CNN:t) on osoitettu onnistuneesti simuloivan rakenteellista sijaintia piirreavaruudessa sekä käyttävän pooliaa puolueellisella taajuusalueella vähentääkseen translaation vaihtelua ja mukautuvan häiriöihin ja pieniin muutoksiin piirreavaruudessa [22]. Mukhamadiyev et ai. ehdotti end-to-end syvän hermoverkon piilotettua Markov-mallin puheentunnistusmallia ja hybridikonnektionistista ajallista luokittelua (CTC) huomioivaa verkkoa uzbekistanin kielelle ja sen murteille. Ehdotettu lähestymistapa vähentää harjoitusaikaa ja parantaa puheentunnistuksen tarkkuutta käyttämällä tehokkaasti CTC-tavoitetta huomiomallikoulutuksessa [23]. [24] ehdotti piirteiden erottamista ja luokittelua käyttämällä yksiulotteista konvoluutiohermoverkkomallia (CNN), joka jakaa sydämen äänisignaalit normaaleihin ja epänormaaleihin suoraan EKG:sta riippumatta. He väittävät, että tässä tutkimuksessa käytettyjen sydänäänisignaalien luokittelutarkkuus on korkeampi 1D CNN:ssä kuin 2D CNN:ssä, kun konvoluutioydin on alle 52, koska suuri konvoluutioydin voi johtaa laskennan monimutkaisuuteen ja on yhä enemmän aikaa vievää. . Vuonna [25] opetettiin syvää neuroverkkoa maksimoimaan puheen piirresekvenssien akustisten mallien tilasekvenssien posteriorinen tarkkuus käyttämällä TIMIT-tietokantaa (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Esikäsittely: Materiaalin yleiskatsaus

Cistanche-lisä lähellä minua - Muistin parantaminen

Tätä tarkoitusta varten on välttämätöntä kehittää nopeita algoritmeja piirreparametrien poimimiseksi puhesignaaleista ja parametrisista esityksistä, hyödyllisten ja informatiivisten näytteiden poimiminen käsittelyä varten sekä ohjelmien kehittäminen valittujen akustisten segmenttien spektrogrammien toteuttamiseksi.

Puheentunnistusjärjestelmät koostuvat kahdesta pääalijärjestelmästä:

Puhesignaalien ensisijainen käsittely (äänikuva);

Akustisten symbolien luokittelu älykkään algoritmin (spektrogrammin) avulla.

Ensimmäinen alijärjestelmä generoi akustisia symboleja signaalien ja signaalin ominaisuuksien informatiivisten akustisten ominaisuuksien joukona. Toinen alijärjestelmä muuntaa puhesignaalin parametriseen muotoon saatujen akustisten ominaisuuksien perusteella. Puhesignaalin käsittely koostuu seuraavista vaiheista:

Puhesignaalin rajojen erottaminen;

Digitaalinen suodatus;

Segmentointi;

Tasoitusikkunan käyttö;

Spektrimuunnos ja spektritaajuuksien normalisointi.

Näitä vaiheita käytetään laajasti piirreparametrien poimimiseen puhesignaaleista, ja niiden pääpiirteitä tarkastellaan seuraavassa.

3.1. Rajojen erottelu

Vain puheen osien erottaminen tulevasta signaalista tai lauseen aloitus- ja lopetushetken määrittäminen meluisassa ympäristössä on olennainen tehtävä puheenkäsittelyssä. Tämän ongelman ratkaisemiseen käytetään puhesignaalin seuraavia ominaisuuksia: puhesignaalin lyhytaikainen energia, nollassa leikkaavien pisteiden lukumäärä, signaalin hiljaisuuskentän arvojen jakautumisen tiheys ja spektrinen entropia. Perinteiset puheentunnistusjärjestelmät käyttävät signaalin transientti- ja spektrienergioihin perustuvia tekniikoita (esim. puheaktiivisuuden tunnistus) puherajojen määrittämiseksi saapuvista puhesignaaleista [26–28].

Puhesignaalin pääparametrit ovat puhesignaalin lyhytaikainen energia ja nollan läpi kulkevien pisteiden lukumäärä. Puhesignaalin parametrit muuttuvat yleensä nopeasti ajan kuluessa; siksi on tapana käsitellä puhesignaali 10 - 30 ms pituisiksi fragmenteiksi, jotka eivät mene päällekkäin. Puhesignaali on paikallaan tällä alueella, ja puhesignaalin hiljaisuusalueet poistetaan laskemalla transienttienergia. Algoritmi tämän ongelman ratkaisemiseksi on jaettu N sekvenssiin, jossa on 256 seuraavan puhesignaalin lyhytaikaista energia-arvoa.

Kunkin fragmentin energian laskeminen jakamalla puhesignaali on sopiva rinnakkais- ja hajautettuun laskentaan. Jokainen fragmentti käsitellään itsenäisesti. Jos prosessointia käytetään n-ytimen moniprosessorissa, on mahdollista laskea n fragmentin energia samanaikaisesti. Siksi rinnakkaiskäsittelyn tehokkuutta on mahdollista lisätä tässä vaiheessa [29–32].

3.2. Nollan ylitysten määrä

Nollan ylitys on piste, jossa matemaattisen funktion etumerkki muuttuu (esim. positiivisesta negatiiviseksi), jota edustaa akselin leikkauspiste (nolla-arvo) funktion kuvaajassa [33]. Signaalin nollan ylitystaajuus voi olla yksinkertaisin sen spektriominaisuuksien indikaattori. Esimerkiksi puhesignaalin nollan kautta kulkevien pisteiden lukumäärä voidaan määrittää käyttämällä seuraavaa yhtälöä:

Kuva 1. Spektrientropiaanalyysiin perustuva puheenerottelumenetelmä.

3.3. Digitaalinen suodatus

Tyypillisen hyödyllisen signaalin lisäksi esiintyy monenlaista kohinaa. Koska melu vaikuttaa negatiivisesti puheentunnistusjärjestelmien laatuun, kohinan käsittely on kiireellinen ongelma. Järjestelmän melutason vähentämiseen käytetään kahdenlaisia ​​digitaalisia suodattimia: linjasuodatinta ja alkusuodatinta. Lineaarista suodatinta voidaan pitää matala- ja korkeataajuisten suodattimien yhdistelmänä, koska se kaappaa kaikki matalat ja korkeat taajuudet. Alkusuodatusta käytetään minimoimaan paikallisten häiriöiden vaikutus ominaisuusmerkintöihin, joita käytetään myöhempään tunnistamiseen. Puhesignaali on johdettava alipäästösuodattimen läpi spektrin kohdistusta varten [35].

3.4. Segmentointi

Segmentointi on prosessi, jossa puhesignaali jaetaan erillisiksi, ei-päällekkäisiksi fragmenteiksi. Signaali on yleensä jaettu puheyksiköihin, kuten lauseisiin, sanoihin, tavuihin, foneemiin tai jopa pienempiin foneettisiin yksiköihin. Useiden puhujien puheita sisältävien tallenteiden segmentointi voi koostua ilmaisukappaleiden liittämisestä tietyille puhujille. Termiä "segmenttiasemat" käytetään joskus viittaamaan puhesignaalin jakamiseen kehyksiin ennen sen parametrointia [36,37].

3.5. Spektrimuunnos

On tarpeen erottaa puhesignaalien pääpiirteet, joita käytetään puheentunnistusprosessin myöhemmissä vaiheissa. Alkuominaisuudet määritetään analysoimalla puhesignaalien spektriominaisuudet. Nopeaa Fourier-muunnosalgoritmia käytetään yleisesti puhesignaalin spektritaajuuden saamiseksi [38,39].

3.6. Spektritaajuuksien normalisointi

Älykkäiden algoritmien koko laskentaprosessi perustuu liikkuviin desimaalilukuihin. Siksi hermoverkkojen avulla luokiteltujen objektien parametrit on rajoitettu alueelle [{{0}}.0, 1.0]. Tuloksena oleva spektri normalisoidaan välillä 0 ja 1 spektrikäsittelyn soveltamiseksi neuroverkkoa käyttämällä. Tämän saavuttamiseksi jokainen vektorikomponentti jaetaan sen maksimikomponentteihin.

Spektrikäsittelymenetelmät mahdollistavat kaikkien puhesignaalista saatujen datanäytteiden käytön. Monilla puhesignaaleilla on tietty taajuusrakenne ja spektriominaisuudet. Spektrimenetelmät mahdollistavat puhesignaalien erittäin tarkan käsittelyn. Spektrikäsittelyn haittoja ovat signaalien paikallisten ominaisuuksien alhainen joustavuus, spektrimittojen puute ja suhteellisen korkeat laskentakustannukset.

Fourier-muunnoksia, wavelet-analyysiä ja monia muita algoritmeja käytetään laajasti puhesignaalien spektrikäsittelyssä. Fourier-muunnoksia käytetään monilla tieteenaloilla, mukaan lukien puheenkäsittely. Puhesignaalin käsittelyssä Fourier-muunnos muuntaa signaalin aikakentästä spektrikenttään taajuuskomponentiksi [40].

Aiemmissa tutkimuksissa spektrianalyysiin sovellettiin diskreettiä Fourier-muunnos (DFT), diskreetti kosinimuunnos (DCT), lyhytaikainen Fourier-muunnos ja aallokemuunnos. Näitä menetelmiä käytettiin puhesignaalin fragmenttien muuntamiseen taajuusalueeseen ja spektrin laskemiseen. TBB- ja OpenMP-paketteja käytettiin luomaan rinnakkaisalgoritmeja spektrimuunnoksille. Näissä menetelmissä komento jakaa signaalin kehyksiin; esimerkiksi N=16, 32, … tai 4096 jokaiselle kehykselle [4]. Kunkin luodun kehyksen koko on yhtä suuri kuin välimuistin lohkokoko, koska välimuisti on tekijä, joka vaikuttaa rinnakkaiskäsittelyn tehokkuuteen. Kiihtyvyystulokset on esitetty kuvassa 2.

Kuva 2. Kiihtyvyystulokset (a) neljän ja (b) kahdeksanytimisen prosessoreille.

Rinnakkaiskäsittelyalgoritmien ohjelmistototeutuksessa suoritettiin sarja- ja rinnakkaiskäsittely neljä- ja kahdeksanytimisillä prosessoreilla, joita sovellettiin käyttämällä henkilökohtaisia ​​tietokoneita ja palvelimia taulukon 1 mukaisesti.

Taulukko 1. Intel-suorittimien ominaisuudet.

DCT-algoritmin pääominaisuus on jaksollisuus. DCT:n etuna on, että sillä on taipumus keskittää suurin osa signaalienergiasta pieneen määrään tekijöitä. Seuraavat yhtälöt tarjoavat kerroinmatriisin elementit:

jossa L(k) on DCT:n arvo, k on kertoimien indeksi, x(n) edustaa dataelementtejä ja N on kehyksen koko.

Fourier-analyysiparametrit ovat perusta menetelmille, joita käytetään piirrevektoreiden muodostamiseen useimmissa puheentunnistusjärjestelmissä puhesignaalien digitaalisessa käsittelyssä spektrialueen sisällä. Fourier-analyysissä käytetään spektrogrammikuvien muodostamiseen puhesignaaleista mel-taajuisia cepstral-kertoimia (MFCC:t) [41] ja lineaarista ennustavaa koodaustekniikkaa (LPC) [42,43]. Fourier-analyysillä saadut spektrit tarjoavat tiivistä ja täsmällistä tietoa puhesignaalista, kuten kuvassa 3 on esitetty.

Kuva 3. DFT: (a) muutos taajuusalueella aika-alueella ja (b) spektrogrammi.

Kokeissa käytettiin kaksiulotteisia (2D) signaaleja spektrianalyysiin. Rinnakkaiskuvankäsittelyalgoritmeissa käytetyt 2D-spektrianalyysiominaisuudet soveltuvat rinnakkaiskäsittelyyn moniytimisissä prosessoreissa [38]. Erityisesti myötä- ja käänteismuunnosvektoreilla ja -matriiseilla on binäärimitat, ja tämän moniytimisen prosessoriarkkitehtuurin yhteensopivuus voi tehokkaasti lisätä laskentanopeutta. Siksi sovelsimme peräkkäistä ja rinnakkaista prosessointia tietokoneella, jolla on erilaiset prosessoriominaisuudet, 2D-signaalien käsittelyyn käytettyjen algoritmien laitteistototeutukseen (taulukko 2).

Taulukko 2. Intel-prosessorien käytön ominaisuudet.

Koko 2D-signaali jaettiin jokaisessa vaiheessa identtisiksi erikokoisiksi fragmenteiksi [44]. Valittujen fragmenttien arvot olivat pikseliresoluutioiden välillä 16 × 16 ja 1024 × 1024. OpenMP-pakettia käyttävän rinnakkais-DCT-algoritmin nopeus verrattuna sekventiaalialgoritmiin on esitetty kuvassa 4 Rinnakkaisen 2D-spektrianalyysin käyttö Algoritmi moniytimisissä prosessoreissa tuottaa ylikellotustuloksen, joka on lähellä ytimien määrää.

Kuva 4. Kiihtyvyystulokset 2D-rinnakkaisspektrianalyysissä.