Keinotekoinen älykkyyspohjainen digitaalinen interaktiivinen suunnittelu ja julkinen viestintä Hua TUO: n viisi-eläimestä
Feb 26, 2025
3. Keinotekoisiin älykkyysalgoritmeihin perustuva liikekaappaus
Kameran edessä olevan viiden eläimen harjoituslaitteen interaktiivisen toiminnallisuuden mahdollistamiseksi ydin on yhteyden luomisessa virtuaalisen ja reaalimaailman esitysten välillä. Osallistuja on olemassa todellisessa maailmassa, mutta se on ensin rekonstruoida virtuaalimaailmassa. Sitten virtuaalinen merkki sovitetaan osallistujan rekonstruoituun kuvaan, mikä mahdollistaa erilaiset interaktiiviset ominaisuudet. Erittäin synkronoidun vuorovaikutuksen saavuttamiseksi on käsiteltävä kahta suurta teknistä haastetta:Ihmisen poseeraajaIhmisen liikkeen uudelleenkohdistus. Perinteiset ihmisen jälleenrakennusmenetelmät luottavat usein kalliisiin liikkeen sieppauslaitteisiin, mutta tämä tutkimus hyödyntää tekoälyn etuja ihmisen jälleenrakennuksen saavuttamiseksi halvemmalla.
Uusi TCM -yrttipinta kehonrakennukseen
Ihmisen asennon arviointitekniikan ensisijainen tavoite on havaita ihmisen asemat ja avainpisteet videovirroista. Tätä tekniikkaa voidaan soveltaa laitteen suunnittelun kahteen keskeiseen ominaisuuteen:
Reaaliaikaiset videovirrat kaapataan kameran kautta, ja malli havaitsee ihmisen avainpisteet valmistautuen seuraaviin toimintoihin.
Viiden eläinten harjoitusliikkeiden vaatimusten täyttämiseksi näiden harjoitusten videoleikkeet esitetään malliin, joka havaitsee kunkin liikkeen avainpisteet ja tuottaa viiden eläimen harjoitushahmojen luurankojen sekvenssit, jotka valmistautuvat käyttäjän esitysten siirtoon.
Uusi TCM -yrtti Cistanche kehon rakentamiseen
Seuraava osa antaa yksityiskohtaisen selityksen teknisestä toteutusprosessista.
Uusi TCM -yrtti Cistanche kehon rakentamiseen
3.1 Luurankojen uuttaminen
Tässä tutkimuksessa käytetäänAvoinTyökalu [13] reaaliaikaisen 2D-avainpisteen sieppauksen ja tallennuksen saavuttamiseksi. Openpose käytetään ensisijaisesti reaaliaikaiseen monen hengen 2D-pose-arviointiin. Havaitsemalla ja yhdistämällä kuvassa olevan henkilön avainpisteet (kuten nivelpaikat), se mahdollistaa poseeraa, vaikka se ei tarjoa 3D -pintatietoja tai kehon osien yksityiskohtaista segmentointia. Tämä menetelmä esittelee käsitteenOsa affiniteettikentät (PAF), joka ennustaa konvoluutiohermoston (CNN) kautta samanaikaisesti kehon osien ja affiniteettikenttien luottamuskarttoja osien välillä. Keypointit jäsentetään ahneella päätelmäprosessilla, joka tarjoaa vahvan reaaliaikaisen suorituskyvyn.
Esi koulutetun avoimen mallin avulla tämä tutkimus syöttää videovirtatiedot (käyttämällä kansallisen mestarin Cao Jinin demonstraatiovideoita) päätelmitysmalliin, purkaen luurankotiedot luurankojen sekvenssien saamiseksi (katso kuva 4).
Kuva 4 ihmiskehon avainpisteiden havaitsemistulokset
3.2 Tiheä ihmisen poseerointi arvio
2D -luurankojen uuttaminen tarjoaa rajoitetun tuen seuraaville liikkeen uudelleenkohdistustehtäville, ja sitä voidaan soveltaa vain yksinkertaiseen merkkikartoitukseen 2D -luurankoihin. Monimutkaisempien luonteen esitysten tarpeiden tyydyttämiseksi on myös uutettava ihmiskehon 3D -pintarakenne.Densepose. Tämä menetelmä ei vain tunnista näppäinpisteitä, vaan tarjoaa myös yksityiskohtaisen pintaparametroinnin jokaiselle kehon osalle, joka tuottaa UV -koordinaatit ja kehon osan segmentointimaskeja.
SeDenspose-rcnnJärjestelmä käyttää konvoluutiohermostoverkkoa (CNN), joka yhdistääTiheysMenetelmä maski-RCNN-arkkitehtuurilla. Siinä käytetään Cascade of Alue -ehdotuksen luomista ja ominaisuuksien yhdistämistä, sitten käyttää täysin konvoluutioverkkoa tiheisiin ennusteisiin. Tämä tuottaa erillisiä osan etikettejä ja jatkuvia pintakoordinaateja ennustaen ihmisen pinnan tiheän kirjeenvaihtosuhteen harjoituksen avulla.
Koska densepose tarjoaa rikkaan kehon pintatietoja, se soveltuu sovelluksiin, jotka vaativat yksityiskohtaisia ihmismuotoja ja esiintymisiä, kuten 3D -mallinnus, virtuaalitodellisuus (VR) ja lisätty todellisuus (AR). Viime kädessä DensePose pystyy tuottamaan yksityiskohtaisia tietoja, jotka sisältävät ihmisen pintatiedot ja liikesekvenssit, tukemaan monimutkaisempien merkkiesitysten siirtoa (katso kuva 5).
Kuva 5 Hua TUO: n viisi-eläinfrolilaisten videokuva ja tiheä poseeraa vertailukartta
3.3 Ihmisen liikkeen uudelleenkohdistus
Mahdollistaa virtuaalisen hahmon jäljittelemään käyttäjän reaaliaikaisia liikkeitä tai animoida käyttäjän valokuvia viiden eläinten harjoittelujen suorittamiseksi, se kaikki riippuuIhmisen liikkeen uudelleenkohdistustekniikka. Tämä tekniikka ohjaa lähteen liikesekvenssin uuteen liikesekvenssiin. Tämän saavuttamiseksi on olemassa useita lähestymistapoja, ja interaktiivisen laitteen vaatimusten perusteella tämä tutkimus hyväksyy kaksi sovellettavaa tekniikkaa.
Uutetulleluurankosekvenssi, yksinkertainen prosessointi, joka perustuu luurankoon, riittää siirtämään sen uuteen muotoon. Esimerkiksi suunnittelemalla "tikkukuvio" -mallin voimme suurentaa pään näppäimistöjä ja lisätä erilaisia värejä kehon osiin, mikä tuottaa uuden esityksen.Taulukko 3kuvaa liikkeen uudelleenkohdistuksen vaikutuksia viiden eläinten harjoitusvideolla.
TAB.3 Tulokset, jotka sisältävät avainpisteen kuvan ja kuvan uudelleenkohdistetusta videosta
Monimutkaisempien liikkeenmuodostusskenaarioiden saavuttamiseksi diffuusiomallit voidaan ottaa käyttöön tavoitteen saavuttamisessa. SeTaikuusKehys [15] mahdollistaa videoanimaatioiden luomisen, jotka noudattavat tiettyä liikesarjaa pitäen samalla ajallisen konsistenssin ja uskollisuuden viitekuvaan. Tämä malli upottaa referenssikuvan ulkonäön kooderiin upotuksen upottamisen tuottamiseksi, kun taas kohdepostisekvenssi (esim. DensePose) syötetään pose -ohjausverkkoon (ControlNet) liikeolosuhteiden purkamiseksi. Näiden kahden signaalin perusteella malli kouluttaa videon diffuusiomallin, joka animoi vertailuidentiteetin annetun poseeraa.
Tätä ominaisuutta käyttämällä interaktiivinen laite voi ottaa käyttäjän liikesekvenssin kohde-pose-sekvenssinä ja viiden eläinharjoituksen merkkikuvana referenssikuvana. Tämä antaa käyttäjän ilmaisille liikkeille kameran edessä ajaa viiden eläinharjoituksen luonteen synkronoidun liikkeen luomalla interaktiivisen kokemuksen (katso (katsoKuva 6).
Kuva 6 näytön efekin luominen
4
4.1 Toiminnalliset ominaisuudet
"Siirrä, pysy terveenä ja nauti" interaktiivinen laite hyödyntää kameroita ja tekoälytekniikkaa, jotta osallistujat voivat suorittaa sarjan tehtäviä laitteen edessä. Nämä liikkeet tallennetaan sitten reaaliajassa ja sovitetaan virtuaalisiin hahmokuviin tarjoamalla kiehtovan interaktiivisen kokemuksen. Interaktiivisen laitteen sovellusskenaariot on esitettyKuva 7.
Ominaisuus 1: Käyttäjät voivat valita monista virtuaalisten hahmojen esityksistä, jotka perustuvat henkilökohtaisiin mieltymyksiin, mukaan lukien vilkkaat Kung Fu -merkit, ainutlaatuisesti tyyliset lohkot ja yksinkertaistetut sauvakuviot. Näiden visuaalisten tehosteiden avulla käyttäjät nauttivat rikkaasta interaktiivisesta kokemuksesta. Nämä merkit eivät vain jäljittele käyttäjien liikkeitä, vaan vastaavat myös niihin.
Ominaisuus 2: Käyttäjät voivat ottaa koko kehon valokuvia kameran edessä parantaakseen kokemusta viiden eläinten harjoitusten suorittamisesta. Järjestelmä lisää käyttäjän kuvan viiden eläimen harjoitteluvideoleikkeisiin, jolloin käyttäjät voivat kuvitella itsensä Hua Tuo: n viiden eläinharjoittelujen mestareiksi suorittaen erilaisia ammatillisia liikkeitä tarkasti.
Kuva 7 Wildfit -sovellusskenaariot
4.2 Parametriasetukset
Laite on nimetty"Liikkua, pysy terveenä ja nauti"Yhteyden luomiseksi eläinten, luonnon ja kunton välillä. Tavoitteena on tehdä suunnittelusta silta näiden kolmen elementin välillä. Tämän konseptin perusteella laite on vuorovaikutteinen näytön asennus, joka on tarkoitettu sijoitettavaksi ulkoilma- tai huvipuistoihin. Se on varustettu erilaisilla parametreilla, kuten esitetäänTaulukko 4.
Taulukko 4: "Siirrä, pysy terveenä ja nauti" parametrien kokoonpano
| Parametri | Yksityiskohdat |
|---|---|
| Näytönkoko | 2,5 m × 1,5 metriä |
| Ratkaisu | 1920 pikseliä × 1080 pikseliä |
| Interaktiiviset painikkeet | Käynnistä -painike; Liikkeen seuranta ja palautteen ilmaisin -painike; poistumispainike |
| Koskettaa herkkyyttä | 10 ms: n vasteaika, 30 fps kehysnopeus; Tukea käsin eleitä, kehon asentoa ja fyysistä tunnistamista |
| Palautteen vuorovaikutus | Äänikehotukset; tai visuaalinen palaute (esim. Indikaattorit, jotka osoittavat kohdistamattomia kehon asentoja tai epätäydellisiä liikkeen eleitä) |
| Kestävyys | IP65 -vedenpitävä luokitus; alumiiniseosmateriaali
|
Kuva 8 Wildfit Design Concept Demonstration
4.3.2 Fyysinen arviointi: Sisältö ja menetelmät
Fyysisen laitteen vaikutuksen arvioimiseksi edelleen sen käytön jälkeen ehdotetaan seuraavia arviointimenetelmiä:
1) Fyysisen terveyden indikaattorit
Tarkoitus: Vertaa osallistujien fyysisiä terveysindikaattoreita ennen ja jälkeen kunto -ohjelmaa (esim. Paino, kehon rasvaprosentti, syke, verenpaine) kunto -ohjelman vaikutuksen arvioimiseksi fyysiseen terveyteen.
Menetelmä: Lineaarinen regressioanalyysi
Lineaarista regressiota käytetään analysoimaan muutoksia osallistujien fyysisissä terveysindikaattoreissa ennen kunto -ohjelmaa ja sen jälkeen. Kaava on seuraava:
Y=β₀ + β₁x + ε
Y: Riippuvainen muuttuja (esim. Painonmuutos).
X: Riippumaton muuttuja.
β₀jaβ₁: Regressiokertoimet.
ε: Satunnainen virhe.
2) Psykologiset terveysindikaattorit
Tarkoitus: Tutki osallistujien psykologisia terveysindikaattoreita osallistumisen jälkeen kunto-ohjelmaan (esim. Emotionaalinen tila, stressitaso, onnellisuus) arvioidakseen sen vaikutusta henkiseen hyvinvointiin.
Menetelmä: Logistinen regressioanalyysi
Logistista regressiota käytetään arvioimaan ohjelman vaikutusta psykologisiin terveysindikaattoreihin (esim. Onnellisuus). Kaava on seuraava:
P (y =1)=1 / (1 + e^-(β₀ + β₁x)))
Y: Binaarimuuttuja (esim. Osallistuuko osallistuja onnelliseksi).
X: Riippumaton muuttuja.
β₀jaβ₁: Regressiokertoimet.
"Siirrä, pysy terveenä ja nauti" laitteessa riippumattomat muuttujat yksityiskohtaisestiTaulukko 5.
3) Sitoutumis- ja tyytyväisyyskysely
Tarkoitus: Tutki osallistujien sitoutumista ja tyytyväisyyttä kunto -ohjelmaan.
Menetelmä: Suunnittele ja jaa kyselykysely käyttäjien palautteen keräämiseksi laitteen käytettävyydestä, nautinnosta ja käytännöllisyydestä sekä yleisen tyytyväisyyden viiden eläimen harjoituksen interaktiivisesta laitteesta.
Osallistujat arvioivat nämä näkökohdat, ja palautepisteitä ja ehdotuksia käytetään laitteen tehokkuuden arviointiin.
