Uusi sumea DBNet lääketieteellisen kuvan segmentointiin, osa 1

Abstrakti:Kun lääkärit ovat väsyneitä, he tekevät usein diagnostisia virheitä. Samoin farmaseutit voivat tehdä virheitä lääkkeiden jakamisessa. Siksi objektien segmentoinnilla on keskeinen rooli monilla terveydenhuoltoon liittyvillä aloilla, kuten oireanalyysissä biolääketieteellisessä kuvantamisessa ja lääkkeiden luokittelussa. Monet perinteiset syväoppimisalgoritmit käyttävät kuitenkin yhtä kuvan näkymää segmentointiin tai luokitteluun. Kun kuva on epäselvä tai epätäydellinen, nämä algoritmit eivät pysty segmentoimaan patologista aluetta tai lääkkeiden muotoa tarkasti, mikä voi sitten vaikuttaa myöhempään hoitosuunnitelmaan. Tästä syystä ehdotamme Fuzzy DBNetiä, joka yhdistää kaksoisperhosverkon ja sumean ASPP:n syvään oppivaan verkkoon ja käsittelee kuvia kohteen molemmilta puolilta samanaikaisesti. Kokeissamme käytettiin koulutukseen usean luokan pillereiden ja keuhkojen röntgenaineistoja. Ehdottamamme mallimme keskimääräinen noppakerroin saavutti 95,05 % usean pillerin segmentoinnissa ja 97,05 % keuhkojen segmentoinnissa. Tulokset osoittivat, että ehdottamamme mallimme suoriutui muita huippuluokan verkkoja molemmissa sovelluksissa, mikä osoitti, että mallimme voi käyttää useita kuvan näkymiä kuvan segmentoimiseksi tai tunnistamiseksi.

Cistanche voi toimia väsymystä ja kestävyyttä lisäävänä aineena, ja kokeelliset tutkimukset ovat osoittaneet, että Cistanche tubulosa -keittiö voi tehokkaasti suojata maksan maksasoluja ja endoteelisoluja, jotka ovat vaurioituneet painoa kantavissa uimahiirissä, säätelevät NOS3:n ekspressiota ja edistävät maksan glykogeenia. synteesiä, jolloin se tehostaa väsymystä. Fenyylietanoli-glykosideja sisältävä Cistanche tubulosa -uute voi merkittävästi vähentää seerumin kreatiinikinaasi-, laktaattidehydrogenaasi- ja laktaattitasoja ja lisätä hemoglobiini- (HB)- ja glukoositasoja ICR-hiirillä, ja tällä voi olla väsymystä ehkäisevä rooli vähentämällä lihasvaurioita. ja maitohapon rikastamisen viivyttäminen energian varastointia varten hiirillä. Yhdiste Cistanche Tubulosa Tablets pidensi merkittävästi painoa kantavaa uintiaikaa, lisäsi maksan glykogeenivarastoa ja alensi seerumin ureatasoa harjoituksen jälkeen hiirillä, mikä osoittaa sen väsymystä ehkäisevän vaikutuksen. Cistanchis-keite voi parantaa hiirten kestävyyttä ja nopeuttaa väsymyksen poistumista harjoitushiiristä, ja se voi myös vähentää seerumin kreatiinikinaasin nousua kuormituksen jälkeen ja pitää hiirten luustolihasten ultrarakenteen normaalina harjoituksen jälkeen, mikä viittaa siihen, että sillä on vaikutuksia. fyysisen voiman lisäämiseen ja väsymykseen. Cistanchis myös pidensi merkittävästi nitriitimyrkytettyjen hiirten eloonjäämisaikaa ja paransi sietokykyä hypoksiaa ja väsymystä vastaan.

Napsauta äärimmäistä väsymystä

【Lisätietoja:george.deng@wecistanche.com / WhatsApp:8613632399501】

1. Esittely

Lääketieteessä on esiintynyt lukuisia tapauksia, joissa kuvan segmentointi on toteutettu ensisijaisesti siksi, että lääketieteellisten kuvien tulkitseminen TT- ja MRI-skannauksista vaatii huomattavaa lääketieteellistä tietoa ja aikaa. Lisäksi tilastot osoittavat, että lääketieteelliset virheet aiheuttavat 7 000–9 000 ihmisen kuoleman vuosittain Yhdysvalloissa [1]. Siksi näiden ongelmien ratkaisemiseksi on ehdotettu useita teknisiä ratkaisuja. Esimerkiksi Ronnebergerin et ai. kehittämä U-Net. [2] käytetään biolääketieteellisten kuvien segmentoinnissa. Debesh Jha et ai. käyttämä DoubleU-Net. [3] käytetään toimenpiteissä, kuten kolonoskopiassa. Se perustuu pääasiassa U-Netiin ja VGG-19-verkkoon, jotka koostuvat kahdesta kooderista ja dekooderista. Samalla tavalla Chin et ai. [4] käyttää Mask R-CNN -syväoppimisalgoritmia äänihuulten ja äänihuulten segmentointiin kurkunpäävideoista, mikä auttaa lääkäreitä diagnoosissa ja hoidossa.

Keuhkojen kuvantunnistuksen joukossa Jakub et ai. huomautti, että verisuonet tukkivat helposti sairauden leesioista otettujen röntgenkuvien tulokset. Vaikka keuhkojen kuvantunnistuksen koneoppimismenetelmät voivat auttaa vähentämään hoitohenkilökunnan taakkaa, niiden tarkkuus on vain 91 % [5]. Lisäksi syväoppimismalli keuhkosairauden tunnistamiseen on osoittautunut paremmaksi kuin perinteiset koneoppimismenetelmät [6,7]. Siksi käytimme syväoppimista kuvan tunnistamiseen. Pneumotoraksin thoracostomiassa lääkärin on katsottava rintakehän röntgenkuvaa löytääkseen läpikuultavan keuhkopussin linjan, joka on päällekkäin kylkiluiden kanssa. Koska tämä kuva on taipuvainen hämärtymään kudosten päällekkäisyydestä, perinteinen kuvantunnistus ei ole tehokasta [8], varsinkin koska ilma kerääntyy vartalon etupuolelle eikä yläosaan, mikä vaikeuttaa lääkäreiden tulkintaa ilmarintakehän alueilla. Koska monien keuhkovaurioiden alkuoireet eivät ole ilmeisiä ja keuhkoilla on monimutkaisia ​​patologisia ominaisuuksia [9], monet tutkijat ovat ehdottaneet syväoppimismenetelmiä diagnoosin tarkkuuden ja tehokkuuden parantamiseksi [10]. Laura et ai. [11] ehdotti monimutkaista verkkoa keuhkojen kuvantunnistusta varten, ja heidän kokeilunsa osoitti korkean tarkkuuden tekstuurin tunnistamisessa. Näin ollen monimutkainen verkkomenetelmä voi poimia tärkeitä ominaisuuksia. Alhassan et ai. [12] käytti ensemble-oppimismenetelmää keuhkokuumeen havaitsemiseen rintakehän röntgenkuvissa parannetulla 93 prosentin tarkkuudella. Ensemble-oppimisen ominaisuuksien perusteella menetelmää käytetään mallintunnistuksen tarkkuuden parantamiseen. Mohammad et ai. [13] ehdotti syväoppimismallia COVIDin-19 varhaisen havaitsemisen helpottamiseksi, mikä auttoi hoitohenkilökuntaa vähentämään työtaakkaa. Keuhkojen kuvan segmentointia varten Feidao et ai. [14] ehdotti kolmen terminaalin huomiomekanismia, joka korostaa kohdealuetta automaattisesti ja parantaa keuhkojen segmentointia. Seurauksena on, että huomioporttimoduulia käytetään parantamaan mallin koulutusvaikutusta. Nämä mallit eivät kuitenkaan käyttäneet rintakehän röntgenkuvia täysin. Keuhkojen röntgenkuvien ottamiseksi on kaksi tilaa: anteroposterior ja posteroanterior. Anteroposterioriset keuhkojen röntgenkuvat otetaan rintaontelosta; posteroanterior keuhkojen röntgenkuvat otetaan selästä. Nykyiset syväoppimismallit voivat syöttää vain yhden kuvan kerrallaan tunnistamista varten [15]. Siksi malli ei ehkä pysty tunnistamaan vaurion sijaintia, koska vain röntgenkuvan toinen puoli syötetään [16]. Tästä syystä käytimme syväoppimismenetelmiä keuhkokuvan tunnistamiseen.

Pillerikuvatunnistuksen joukossa suurin osa olemassa olevista luokittelumenetelmistä perustuu vain yksipuoliseen tietoon, mutta joissain tapauksissa monia pillereitä ei voida luokitella. Esimerkiksi samantyyppisillä pillereillä voi olla eri muotoja, kun niitä tarkastellaan eri kulmista; joissakin pillereissä voi olla teksti vain toisella puolella; ja ne, joilla on samanlaiset muodot ja värit, voivat myös olla haaste. Tällaisissa tapauksissa malli ei ehkä pysty luokittelemaan pilleriryhmää tarkasti. Pandemian vuoksi suuri määrä ihmisiä kerääntyy sairaaloihin joka päivä, mikä lisää merkittävästi pillereiden käyttöä ja lääketieteellisiä virheitä [17,18]. Näiden ongelmien ratkaisemiseksi Ou et ai. [19] ehdotti kaksivaiheista syväoppimisarkkitehtuuria 1000 pillerityypin havaitsemiseksi ja myöhemmin luokittelemiseksi. Lisäksi lääketietämyksen parantaminen ja potilaiden riittävän tiedon tarjoaminen ovat nousseet tärkeiksi tekijöiksi lääkehävikin ja haitallisten sivuvaikutusten välttämiseksi [20]. Ulkonäköön perustuva pillereiden tunnistaminen on kuitenkin edelleen pelottava tehtävä potilaille. Wang et ai. [21] käytti GoogLeNet Inception Networkia kouluttaakseen syvälle oppivaa arkkitehtuuria ja kuvanparannustekniikoita keskittymällä väriin, muotoon ja merkintöihin, mutta se pystyy tunnistamaan vain yhden tyyppisen pillerin, mikä on sen suuri puute. Useiden pillerityyppien samanaikainen tunnistaminen voi vastata paremmin yleisön tarpeisiin. Pillerikuvan segmentoinnin alalla Kwon et ai. [22] käytti Mask R-CNN:ää, ja heidän käyttämänsä harjoitustietojoukot sisälsivät vain 27 tyyppistä pilleriä, joista jokaisella oli erilainen muoto ja väri. Todellisuudessa monilla muilla pillereillä on samanlainen ulkonäkö. Todellisten tarpeiden mukaan mallimme kouluttamisessa käytettiin 93 erilaista pilleriä. Niillä oli samanlaiset muodot ja värit ja ne vaihtelivat pääosin eri painatuksissa, mikä teki mallistamme soveltuvamman kliinisiin tarpeisiin. Pilleriobjektin havaitsemisessa Lu et ai. [23] ehdotti monia esineiden havaitsemismenetelmiä. Vaikka nämä mallit havaitsivat pillereiden sijainnin, kartta on vain 87%. Lisäksi aiemmat tutkijat eivät ole käsitelleet tehokkaasti pillereiden tunnistamiseen liittyviä ongelmia, mukaan lukien niiden satunnainen sijoittaminen ja useiden pillereiden esiintyminen kuvassa. Pillerin kiertokulmaa on myös vaikea määrittää ja standardoida jokaiselle pilleriluokalle.

Tietokonenäköä varten muissa tapauksissa käytetään miehittämättömiä ilma-aluksia (UAV) yhdistettynä syvään oppimiseen, Keiller et al. [24] tutki kasvien luokittelua tila- ja spektrinäkökulmasta käyttämällä 2D-CNN-tekniikkaan perustuvia RGB- ja spektraalisia UAV-kuvia.

Nykyiset kuvien segmentointimenetelmät käyttävät enimmäkseen yhtä kuvaa syötteenä. Kun malliin syötetään yksittäinen huonolaatuinen kuva, syntyy ongelmia kohteen epätarkkuuden ja luokituksen kanssa. Lääketieteen alalla kuvien monimutkaisten ominaisuuksien vuoksi Akinobu et al. [25] ehdotti BtrflyNetiä tunnistamaan luumetastaasit, jotka voivat hyväksyä kaksi syöttökuvaa samanaikaisesti. Kokeelliset tulokset osoittivat, että se voi parantaa mallikoulutuksen onnistumisastetta. Tätä mallia voidaan kuitenkin soveltaa vain luumetastaasikuviin. Tämän paperin perusteella paransimme BtrflyNetiä ehdottamaan Fuzzy DBNetiä, joka on saavuttanut erinomaisia ​​tuloksia pillerikuvan ja keuhkojen kuvantunnistuksessa.

2. Materiaalit ja metodit

2.1. Tietojoukot

Tässä artikkelissa käytettiin rintakehän röntgen- ja pilleritietosarjoja. Rintakehän röntgentiedot saatiin NIH:n rintakehän röntgentietojoukosta [26], joka sisälsi 112 120 kuvaa, joista poimimme 72 324 sekä anteroposteriorista (AP) että posteroanteriorista (PA) samoista potilaista. Yhdistimme sitten AP-kuvat niitä vastaaviin PA-kuviin, mikä johti yhteensä 267 105 AP-PA-paria lisäyksen jälkeen.

Pilleritietoaineisto sisältää 93 luokkaa, joissa on yhteensä 1238 kuvaa: pyöreät, soikeat, suorakaiteen muotoiset, kolmiomaiset ja eriväriset. Kunkin pillerin molempien puolten vangitsemiseksi otettiin kuvia sen jälkeen, kun pillerit oli siroteltu läpinäkyvälle taululle ja kuvattu suoraan ylhäältä ja alhaalta. Tietojoukko jaettiin sitten 8 0 %:iin koulutusta varten, 10 %:iin testausta varten ja 10 %:iin validointia varten. Parantaaksemme mallin tarkkuutta käytimme AutoAugment-mallia [27] erottaaksemme jokaisen operaation magnitudin (M) arvosta [0, 10] tietojen lisäämistä varten, mikä johti 2476 kuvan suurempaan tietojoukkoon.

Tietojoukko oli mallimme merkittävin rajoitus. Ensinnäkin syötettyjen kuviemme oli oltava kaksipuolisia, ei vain yleiskuvia, vaan myös kuvia, jotka läpäisevät esineitä, kuten röntgensäteitä. Toiseksi vaadittiin kuvien kohteiden sijaintien kiinteät vastaavuudet. Tämän ratkaisemiseksi tiimimme pyrki kohdistamaan pillereiden sijainnit niiden kaksipuolisten kuvien välillä tietojoukon keräämisen aikana.

On tärkeää huomata, että tässä tutkimuksessa käytetyt keuhkojen röntgenkuvausaineistot toimitti NIH, kun taas pilleritietojoukon taltioi tiimimme valokuvaus.

2.2. Tietojen esikäsittely

Apteekkihenkilöstön avuksi pillereiden luokittelussa merkittiin 93 pillerityyppiä. Käytimme VGG-kuvaannotaattoria [28] nimeämään jokaisen nimensä 93 eri kategoriaan. Merkitsimme pillerin reunan ja muunsimme merkityt tiedot JSON-tiedostoksi harjoitustietojen perustotuudeksi. Esikäsittelyalgoritmi löytyy Algoritmista A1.

2.3. Sumea DBNet

Tässä artikkelissa ehdotetaan uutta syvälle oppivaa arkkitehtuuria, Fuzzy Double-Butterfly Network (DBNet), johon voidaan syöttää kaksi kuvaa, joilla on toisiaan täydentäviä ominaisuuksia, suorittamaan kuvan segmentointi. Se koostuu pääasiassa kolmesta osasta: kaksoisperhonen kooderi-dekooderiarkkitehtuuri, Fuzzy Atrous Spatial Pyramid Pooling (ASPP) -lohko ja huomioportti, kuten kuvassa 1 näkyy.

Koulutettua VGG 19:ää käytettiin koodaamaan ensimmäinen perhosarkkitehtuuri, joka poimi kuvaominaisuuksia harjoitusajan säästämiseksi ja liiallisen sovituksen estämiseksi. Kahden perhosen muotoisen kooderin ja dekooderin välillä oli kaksi ketjutettua lohkoa, jotka yhdistivät kaksi sumea ASPP-lohkosarjaa vaihtaen siten kuvien erilaisia ​​ominaisuuksia. Sitten ensimmäisen perhosen muotoisen arkkitehtuurin tuottama alkuperäinen tulos kerrottiin alkuperäisellä kuvalla kuvan 1 kerroinlohkon osoittamalla tavalla. Tämä lisäsi ominaisuuden ominaispainoa tarkemman segmentoinnin saavuttamiseksi. Fuzzy DBNet -algoritmi löytyy algoritmista A2.

Fuzzy ASPP yhdisti ASPP:n sumean teorian kanssa ja sijoitettiin kahden butterfly-tyyppisen verkon kooderin ja dekooderin väliin. Kuvassa 2 on esitetty Fuzzy ASPP:n rakenne.

Fuzzy Pooling -osiossa käytettiin kellonmuotoista jäsenyystoimintoa toimenpiteen suorittamiseen, ja kunkin poolauskorjauksen tuloksia säädettiin dynaamisesti. Algoritmi A3 näyttää dynaamisen säätöalgoritmin. Päätarkoituksena oli vähentää epävarmuustekijöiden vaikuttaman kohteen osuutta. Sumea ASPP-algoritmi löytyy algoritmista A4.

Ohitusyhteyksissä huomiomekanismia käytettiin eliminoimaan meluisia ja epäolennaisia ​​vastauksia käyttämällä karkeammista karttakohdekartoista poimittuja ominaisuuksia. Se vähensi tehokkaasti melua ja tarpeettomia ominaisuuksia mallissa ja paransi sen suorituskykyä ja tarkkuutta. Kuva 3 esittää huomioportin rakennetta.

3. Tulos

3.1. Kokeiluasetus

Ehdotetun mallin koulutuksen validointi ja testaus tehtiin tietokoneella, jossa oli 8-ydinsuoritin (Intel Xeon W-3223), 64 Gt muistia, GPU (RTX 3090) ja 24 Gt grafiikkamuisti, ja 10 496 CUDA-ydintä. Toteutus tehtiin PyTorch-kehyksellä. Taulukossa 1 esitetään kaikissa kokeissa käytetyt hyperparametrit.

Kokonaishäviöfunktio (LDC) yhdistää keskimääräisen noppahäviön (LavgDice) kategorialliseen ristientropiahäviöön (LCCE) ja se lasketaan seuraavasti:

missä N on näytteiden lukumäärä ja C on luokkien lukumäärä. Koska verkon tulos oli moniluokkaisia ​​kuvia, laskemme LCCE:n yhtälön (3) avulla. Sitten laskemme kunkin luokan LDice:n käyttämällä yhtälöä (2). Oli mahdollista nollata pois kaikki Ppred:n pikselit, jotka eivät olleet aktiivisia Ptruessa. Aktivoitujen pikseleiden kohdalla alhaisen luotettavuuden ennusteet rangaistiin enimmäkseen, kun taas korkeammat ennustearvot saivat korkeammat noppakertoimet. Siksi malli oppi eri luokkien ja kokoisia kohteita LDice:n ja LCCE:n kautta.

3.2. Suorituskyvyn arviointiindeksi

Tässä tutkimuksessa käytimme kolmea mittaria mallin suorituskyvyn arvioimiseen: pikselikohtaista tarkkuutta, keskimääräistä noppakerrointa (Dice) ja keskimääräistä leikkausta unionin yli (minä). Nämä indikaattorit esitetään seuraavassa kaavassa.

jossa Xi tarkoittaa perustotuusarvoja ja Yi tarkoittaa ennustettuja arvoja. TP, FP, TN ja FN kuvaavat todellisten positiivisten, väärien positiivisten, todellisten negatiivisten ja väärien negatiivisten tapausten lukumäärää. Pikselikohtainen tarkkuus mittasi oikein tunnistettujen pikselien prosenttiosuuden kuvassa; Dice-pisteet mittasivat päällekkäisyyttä ennustetun segmentoinnin ja totuuden välillä; ja mIoU mittasi ennustetun segmentoinnin pohjatotuudella. Nämä mittarit valittiin, koska ne antoivat kattavan kuvan mallin suorituskyvystä ja mahdollistivat mielekkäitä vertailuja alan muihin malleihin. Näiden mittareiden korkeammat arvot osoittivat parempaa mallin suorituskykyä.

3.3. Keuhkojen röntgenkuvien segmentointi

Teimme kokeita ehdotetun menetelmän kouluttamiseksi ja validoimme mallin validointisarjan avulla. Kuten kuvasta 4 näkyy, Fuzzy DBNet -harjoitushäviö keuhkojen röntgentietojoukossa saavutti konvergenssin noin 100. aikakaudella ja saavutti täydellisen konvergenssin noin 300. aikakaudella.

Valitsimme keuhkojen röntgenaineistosta joukon kuvia esimerkkeiksi mallitestausta varten. Se sisälsi kuusi kuvaa: anterior–posterior ja posteroanterior raw-kuvat, vastaavat pohjatotuuskuvat ja segmentoidut tulokset. Nämä kuvat näkyvät kuvassa 5.

Vertasimme Fuzzy DBNetin tuloksia ja sen perustotuutta testaustietoihin käyttämällä keskimääräistä Dice-kerrointa, mIoU:ta ja pikselikohtaista tarkkuutta mallin suorituskyvyn mittaamiseksi. Tulokset on esitetty taulukossa 2.

Valitsimme kaksi keuhkon röntgenkuvasarjaa testisarjamme segmentointituloksista esimerkkeinä. Kuvassa 6 mallimme segmentoinnin täydellisyys oli paljon parempi kuin BtrflyNetin. Kuvassa 7, kun alkuperäiset keuhkokuvat olivat epäselviä, DoubleU-Netin segmentointikyky oli huono, kun taas mallimme segmentoi keuhkot tarkasti.

【Lisätietoja:george.deng@wecistanche.com / WhatsApp:8613632399501】