Dėkojame, kad apsilankėte Nature.com.Naudojate naršyklės versiją su ribotu CSS palaikymu.Norėdami gauti geriausią patirtį, rekomenduojame naudoti atnaujintą naršyklę (arba išjungti suderinamumo režimą „Internet Explorer“).Be to, norėdami užtikrinti nuolatinį palaikymą, svetainę rodome be stilių ir „JavaScript“.
Slankikliai, rodantys tris straipsnius vienoje skaidrėje.Norėdami pereiti per skaidres, naudokite mygtukus „Atgal“ ir „Kitas“ arba, norėdami pereiti per kiekvieną skaidrę, naudokite skaidrių valdiklio mygtukus pabaigoje.
Optinė koherentinė tomografinė angiografija (OCTA) yra naujas neinvazinės tinklainės kraujagyslių vizualizacijos metodas.Nors OCTA turi daug perspektyvių klinikinių pritaikymų, vaizdo kokybės nustatymas išlieka iššūkiu.Sukūrėme giluminiu mokymusi pagrįstą sistemą, naudodami ResNet152 neuroninio tinklo klasifikatorių, iš anksto apmokytą su ImageNet, kad būtų galima klasifikuoti paviršinius kapiliarų rezginio vaizdus iš 347 nuskaitymų, kuriuose dalyvavo 134 pacientai.Du nepriklausomi prižiūrimo mokymosi modelio vertintojai taip pat rankiniu būdu įvertino vaizdus kaip tikrą tiesą.Kadangi vaizdo kokybės reikalavimai gali skirtis priklausomai nuo klinikinių ar tyrimų nustatymų, buvo parengti du modeliai: vienas aukštos kokybės vaizdo atpažinimui, o kitas žemos kokybės vaizdo atpažinimui.Mūsų neuroninio tinklo modelis rodo puikų plotą po kreive (AUC), 95% PI 0,96–0,99, \(\kappa\) = 0,81), o tai yra žymiai geresnis nei mašinos nurodytas signalo lygis (AUC = 0,82, 95). % PI).0,77–0,86, \(\kappa\) = 0,52 ir AUC = 0,78, 95 % PI 0,73–0,83, \(\kappa\) = 0,27).Mūsų tyrimas rodo, kad mašininio mokymosi metodai gali būti naudojami kuriant lanksčius ir patikimus OCTA vaizdų kokybės kontrolės metodus.
Optinės koherentinės tomografijos angiografija (OCTA) yra palyginti nauja metodika, pagrįsta optine koherentine tomografija (OCT), kuri gali būti naudojama neinvaziniam tinklainės mikrovaskuliacijos vizualizavimui.OCTA matuoja atspindžių modelių skirtumus nuo pasikartojančių šviesos impulsų toje pačioje tinklainės srityje, o tada galima apskaičiuoti rekonstrukcijas, kad būtų atskleistos kraujagyslės, nenaudojant invazinio dažų ar kitų kontrastinių medžiagų.OCTA taip pat leidžia atlikti gylio skiriamosios gebos kraujagyslių vaizdavimą, leidžiantį gydytojams atskirai tirti paviršinius ir giliuosius kraujagyslių sluoksnius, o tai padeda atskirti chorioretinalinę ligą.
Nors šis metodas yra perspektyvus, vaizdo kokybės svyravimai išlieka pagrindiniu iššūkiu atliekant patikimą vaizdų analizę, todėl sunku interpretuoti vaizdą ir užkirsti kelią plačiai paplitusiam klinikiniam pritaikymui.Kadangi OCTA naudoja kelis iš eilės UŠT nuskaitymus, jis yra jautresnis vaizdo artefaktams nei standartinis UŠT.Dauguma komercinių OCTA platformų pateikia savo vaizdo kokybės metriką, vadinamą signalo stiprumu (SS) arba kartais signalo stiprumo indeksu (SSI).Tačiau vaizdai, turintys didelę SS arba SSI vertę, negarantuoja, kad nėra vaizdo artefaktų, kurie gali turėti įtakos bet kokiai vėlesnei vaizdo analizei ir lemti neteisingus klinikinius sprendimus.Įprasti vaizdo artefaktai, kurie gali atsirasti atliekant OCTA vaizdus, ​​yra judesio artefaktai, segmentavimo artefaktai, medijos neskaidrumo artefaktai ir projekcijos artefaktai1,2,3.
Kadangi OCTA išvestos priemonės, tokios kaip kraujagyslių tankis, vis dažniau naudojamos atliekant transliacinius tyrimus, klinikinius tyrimus ir klinikinę praktiką, skubiai reikia sukurti tvirtus ir patikimus vaizdo kokybės kontrolės procesus, kad būtų pašalinti vaizdo artefaktai4.Praleidžiamieji ryšiai, taip pat žinomi kaip liekamieji ryšiai, yra neuroninio tinklo architektūros projekcijos, leidžiančios informacijai apeiti konvoliucinius sluoksnius išsaugant informaciją skirtingais masteliais arba skiriamąja geba5.Kadangi vaizdo artefaktai gali turėti įtakos mažo ir bendro didelio masto vaizdo našumui, praleidžiamo ryšio neuroniniai tinklai puikiai tinka automatizuoti šią kokybės kontrolės užduotį5.Neseniai paskelbtas darbas parodė tam tikrą pažadą giliems konvoliuciniams neuroniniams tinklams, apmokytiems naudojant aukštos kokybės duomenis iš žmogaus vertintojų6.
Šiame tyrime mes mokome ryšį praleidžiantį konvoliucinį neuroninį tinklą, kad automatiškai nustatytų OCTA vaizdų kokybę.Remdamiesi ankstesniu darbu, kurdami atskirus modelius aukštos kokybės ir žemos kokybės vaizdams nustatyti, nes vaizdo kokybės reikalavimai gali skirtis atsižvelgiant į konkrečius klinikinius ar tyrimų scenarijus.Šių tinklų rezultatus lyginame su konvoliuciniais neuroniniais tinklais be trūkstamų jungčių, kad įvertintume kelių detalumo lygių funkcijų įtraukimo į gilų mokymąsi vertę.Tada palyginome savo rezultatus su signalo stiprumu – visuotinai priimtu gamintojų teikiamu vaizdo kokybės matu.
Mūsų tyrime dalyvavo diabetu sergantys pacientai, kurie dalyvavo Jeilio akių centre nuo 2017 m. rugpjūčio 11 d. iki 2019 m. balandžio 11 d. Pacientai, sergantys bet kokia ne diabetine chorioretinaline liga, nebuvo įtraukti.Nebuvo įtraukimo ar atmetimo kriterijų pagal amžių, lytį, rasę, vaizdo kokybę ar bet kokį kitą veiksnį.
OCTA vaizdai buvo gauti naudojant AngioPlex platformą Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) pagal 8\(\times\)8 mm ir 6\(\times\)6 mm vaizdo gavimo protokolus.Iš kiekvieno tyrimo dalyvio buvo gautas informuotas sutikimas dalyvauti tyrime, o Jeilio universiteto Institucinė peržiūros taryba (IRB) patvirtino informuoto sutikimo naudojimą su visuotine fotografija visiems šiems pacientams.Vadovaujantis Helsinkio deklaracijos principais.Tyrimą patvirtino Jeilio universiteto IRB.
Paviršiaus plokštės vaizdai buvo įvertinti remiantis anksčiau aprašytu judesio artefakto balu (MAS), anksčiau aprašytu segmentavimo artefakto balu (SAS), fovealiniu centru, terpės neskaidrumu ir gera mažų kapiliarų vizualizacija, kaip nustatė vaizdo vertintojas.Vaizdus analizavo du nepriklausomi vertintojai (RD ir JW).Vaizdas įvertintas 2 balais (tinkamas), jei tenkinami visi šie kriterijai: vaizdas yra centre židinyje (mažiau nei 100 pikselių nuo vaizdo centro), MAS yra 1 arba 2, SAS yra 1 ir laikmenos neskaidrumas yra mažesnis nei 1. Yra / 16 dydžio vaizduose, o maži kapiliarai matomi didesniuose nei 15/16 vaizduose.Vaizdas įvertinamas 0 (be įvertinimo), jei tenkinamas bet kuris iš šių kriterijų: vaizdas yra ne centre, jei MAS yra 4, jei SAS yra 2 arba vidutinis neskaidrumas yra didesnis nei 1/4 vaizdo ir maži kapiliarai negali būti reguliuojami daugiau nei 1 paveikslėliu /4, kad būtų galima atskirti.Visi kiti vaizdai, neatitinkantys 0 arba 2 vertinimo kriterijų, vertinami kaip 1 (iškirpimas).
Ant pav.1 rodomi kiekvieno mastelio įvertinimo ir vaizdo artefakto vaizdų pavyzdžiai.Individualių balų patikimumas tarp vertintojų buvo įvertintas Coheno kappa svoriu8.Kiekvieno vertintojo individualūs balai sumuojami, kad būtų gautas bendras kiekvieno vaizdo balas, svyruojantis nuo 0 iki 4. Vaizdai, kurių bendras balas yra 4, laikomi gerais.Vaizdai, kurių bendras balas yra 0 arba 1, laikomi žemos kokybės.
ResNet152 architektūros konvoliucinis neuroninis tinklas (3A.i pav.), iš anksto paruoštas vaizdams iš ImageNet duomenų bazės, buvo sugeneruotas naudojant fast.ai ir PyTorch sistemą5, 9, 10, 11. Konvoliucinis neuroninis tinklas yra tinklas, kuris naudoja išmoktus filtrai, skirti nuskaityti vaizdo fragmentus, kad būtų galima ištirti erdvines ir vietines ypatybes.Mūsų apmokytas ResNet yra 152 sluoksnių neuroninis tinklas, kuriam būdingi tarpai arba „liekamieji ryšiai“, kurie vienu metu perduoda informaciją keliomis raiškomis.Projektuodama informaciją tinkle skirtingomis raiškomis, platforma gali išmokti žemos kokybės vaizdų ypatybes įvairiais detalumo lygiais.Be mūsų ResNet modelio, mes taip pat apmokėme AlexNet, gerai ištirtą neuroninio tinklo architektūrą, neprarasdami jungčių palyginimui (3A.ii pav.)12.Neturint jungčių šis tinklas negalės užfiksuoti didesnio detalumo funkcijų.
Originalus 8\(\times\)8mm OCTA13 vaizdų rinkinys buvo patobulintas naudojant horizontalaus ir vertikalaus atspindžio technologijas.Tada visas duomenų rinkinys buvo atsitiktinai padalytas vaizdo lygiu į mokymo (51,2 %), testavimo (12,8 %), hiperparametrų derinimo (16 %) ir patvirtinimo (20 %) duomenų rinkinius, naudojant scikit-learn įrankių rinkinį python14.Buvo svarstomi du atvejai: vienas pagrįstas tik aukščiausios kokybės vaizdų aptikimu (bendras balas 4), o kitas pagrįstas tik žemiausios kokybės vaizdų aptikimu (bendras balas 0 arba 1).Kiekvienu aukštos kokybės ir žemos kokybės naudojimo atveju neuroninis tinklas vieną kartą apmokomas mūsų vaizdo duomenims.Kiekvienu atveju neuroninis tinklas buvo treniruojamas 10 epochų, visi sluoksnių svoriai, išskyrus didžiausius, buvo užšaldyti, o visų vidinių parametrų svoriai buvo išmokti 40 epochų, naudojant diskriminacinį mokymosi greičio metodą su kryžminės entropijos praradimo funkcija 15, 16..Kryžminės entropijos praradimo funkcija yra prognozuojamų tinklo etikečių ir realių duomenų neatitikimo logaritminės skalės matas.Treniruotės metu atliekamas gradientinis nusileidimas pagal vidinius neuroninio tinklo parametrus, siekiant sumažinti nuostolius.Mokymosi greičio, atmetimo rodiklio ir svorio mažinimo hiperparametrai buvo sureguliuoti naudojant Bajeso optimizavimą su 2 atsitiktiniais pradžios taškais ir 10 iteracijų, o duomenų rinkinio AUC buvo sureguliuotas naudojant hiperparametrus kaip 17 tikslą.
Reprezentatyvūs paviršinių kapiliarų rezginių 8 × 8 mm OCTA vaizdų pavyzdžiai, įvertinti 2 (A, B), 1 (C, D) ir 0 (E, F).Rodomi vaizdo artefaktai: mirgančios linijos (rodyklės), segmentavimo artefaktai (žvaigždutės) ir medijos neskaidrumas (rodyklės).Vaizdas (E) taip pat yra ne centre.
Tada sugeneruojamos imtuvo veikimo charakteristikų (ROC) kreivės visiems neuroninių tinklų modeliams, o variklio signalo stiprumo ataskaitos generuojamos kiekvienu žemos kokybės ir aukštos kokybės naudojimo atveju.Plotas po kreive (AUC) buvo apskaičiuotas naudojant proROC R paketą, o 95% pasikliautinieji intervalai ir p reikšmės buvo apskaičiuotos naudojant DeLong metodą18,19.Žmonių vertintojų suminiai balai naudojami kaip visų ROC skaičiavimų pagrindas.Aparato pranešto signalo stiprumo AUC buvo apskaičiuotas du kartus: vieną kartą aukštos kokybės mastelio ribą ir vieną kartą žemos kokybės mastelio keitimo balo ribą.Neuroninis tinklas lyginamas su AUC signalo stiprumu, atspindinčiu jo paties mokymo ir vertinimo sąlygas.
Norint toliau išbandyti apmokytą gilaus mokymosi modelį atskirame duomenų rinkinyje, aukštos kokybės ir žemos kokybės modeliai buvo tiesiogiai pritaikyti vertinant 32 viso veido 6\(\times\) 6 mm paviršiaus plokščių vaizdų, surinktų iš Jeilio universiteto.Akių masė centruojama tuo pačiu metu kaip vaizdas 8 \(\times \) 8 mm.6\(\×\) 6 mm vaizdus rankiniu būdu įvertino tie patys vertintojai (RD ir JW) taip pat, kaip ir 8\(\×\) 8 mm vaizdus, ​​buvo apskaičiuotas AUC, taip pat tikslumas ir Coheno kappa. .vienodai.
Klasės disbalanso koeficientas yra 158:189 (\(\rho = 1,19\)) žemos kokybės modeliui ir 80:267 (\(\rho = 3,3\)) aukštos kokybės modeliui.Kadangi klasės disbalanso santykis yra mažesnis nei 1:4, nebuvo atlikta jokių konkrečių architektūrinių pakeitimų, kad būtų ištaisytas klasės disbalansas20,21.
Siekiant geriau vizualizuoti mokymosi procesą, buvo sugeneruoti klasių aktyvinimo žemėlapiai visiems keturiems mokomiems gilaus mokymosi modeliams: aukštos kokybės ResNet152 modeliui, žemos kokybės ResNet152 modeliui, aukštos kokybės AlexNet modeliui ir žemos kokybės AlexNet modeliui.Klasių aktyvinimo žemėlapiai generuojami iš šių keturių modelių įvesties konvoliucinių sluoksnių, o šilumos žemėlapiai generuojami perdengiant aktyvinimo žemėlapius su šaltinio vaizdais iš 8 × 8 mm ir 6 × 6 mm patvirtinimo rinkinių 22, 23.
Visiems statistiniams skaičiavimams buvo naudojama R versija 4.0.3, o vizualizacijos buvo sukurtos naudojant ggplot2 grafikos įrankių biblioteką.
Iš 134 žmonių surinkome 347 paviršinio kapiliarinio rezginio priekinius vaizdus, ​​kurių dydis 8 \(\times \)8 mm.Aparatas pranešė apie visų vaizdų signalo stiprumą skalėje nuo 0 iki 10 (vidurkis = 6,99 ± 2,29).Iš 347 gautų vaizdų vidutinis amžiaus tyrimas buvo 58,7 ± 14,6 metų, o 39,2% buvo iš vyrų.Iš visų vaizdų 30,8% buvo iš baltųjų, 32,6% iš juodaodžių, 30,8% iš ispanų, 4% iš azijiečių ir 1,7% iš kitų rasių (1 lentelė).).Sergančiųjų OCTA amžiaus pasiskirstymas reikšmingai skyrėsi priklausomai nuo vaizdo kokybės (p < 0,001).Aukštos kokybės vaizdų procentas jaunesniems 18–45 metų pacientams buvo 33,8%, palyginti su 12,2% žemos kokybės vaizdų (1 lentelė).Diabetinės retinopatijos būklės pasiskirstymas taip pat labai skyrėsi pagal vaizdo kokybę (p < 0,017).Tarp visų aukštos kokybės vaizdų pacientų, sergančių PDR, procentas buvo 18,8%, palyginti su 38,8% visų žemos kokybės vaizdų (1 lentelė).
Atskiri visų vaizdų įvertinimai parodė vidutinį ar stiprų žmonių, skaitančių vaizdus, ​​tarpusavio vertinimų patikimumą (Coheno svertinis kappa = 0,79, 95 % PI: 0,76–0,82), ir nebuvo vaizdo taškų, kuriuose vertintojai skyrėsi daugiau nei 1 (1 pav.). 2A)..Signalo intensyvumas reikšmingai koreliavo su rankiniu balais (Pearson produkto momentų koreliacija = 0,58, 95 % PI 0,51–0,65, p < 0,001), tačiau daugelis vaizdų buvo identifikuoti kaip turintys didelį signalo intensyvumą, bet žemą rankinį balą (.2B pav.).
Treniruojant ResNet152 ir AlexNet architektūras, patvirtinimo ir mokymo kryžminės entropijos praradimas nukrenta daugiau nei 50 epochų (3B, C pav.).Patvirtinimo tikslumas paskutinėje mokymo epochoje yra daugiau nei 90% tiek aukštos kokybės, tiek žemos kokybės naudojimo atvejais.
Imtuvo veikimo kreivės rodo, kad ResNet152 modelis gerokai pranoksta įrenginio praneštą signalo galią tiek žemos, tiek aukštos kokybės naudojimo atvejais (p < 0,001).ResNet152 modelis taip pat gerokai lenkia AlexNet architektūrą (p = 0,005 ir p = 0,014 atitinkamai žemos kokybės ir aukštos kokybės atvejais).Kiekvienai iš šių užduočių sukurti modeliai galėjo pasiekti AUC reikšmes atitinkamai 0,99 ir 0,97, o tai yra žymiai geriau nei atitinkamos AUC vertės 0,82 ir 0,78 mašinos signalo stiprumo indeksui arba 0,97 ir 0,94 AlexNet. ..(3 pav.).Signalo stiprumo skirtumas tarp ResNet ir AUC yra didesnis, kai atpažįstami aukštos kokybės vaizdai, o tai rodo papildomus ResNet naudojimo šiai užduočiai pranašumus.
Grafikai rodo kiekvieno nepriklausomo vertintojo gebėjimą surinkti balus ir palyginti su įrenginio praneštu signalo stiprumu.(A) Įvertintinų balų suma naudojama bendram vertinamų balų skaičiui apskaičiuoti.Vaizdams, kurių bendras mastelio balas yra 4, priskiriama aukšta kokybė, o vaizdams, kurių bendras mastelio balas yra 1 ar mažesnis, priskiriama žema kokybė.(B) Signalo intensyvumas koreliuoja su rankiniu būdu apskaičiuotais įverčiais, tačiau didelio signalo intensyvumo vaizdai gali būti prastesnės kokybės.Raudona punktyrinė linija nurodo gamintojo rekomenduojamą kokybės slenkstį, pagrįstą signalo stiprumu (signalo stiprumas \(\ge\)6).
„ResNet“ perdavimo mokymasis žymiai pagerina vaizdo kokybės identifikavimą tiek žemos, tiek aukštos kokybės naudojimo atvejais, palyginti su mašinų praneštais signalo lygiais.(A) Supaprastintos iš anksto paruoštų (i) ResNet152 ir (ii) AlexNet architektūrų architektūros schemos.(B) ResNet152 treniruočių istorija ir imtuvo veikimo kreivės, palyginti su mašinos praneštu signalo stiprumu ir žemos AlexNet kokybės kriterijais.(C) ResNet152 imtuvo mokymo istorija ir veikimo kreivės, palyginti su mašinos praneštu signalo stiprumu ir aukštais AlexNet kokybės kriterijais.
Pakoregavus sprendimo ribos slenkstį, didžiausias ResNet152 modelio prognozės tikslumas yra 95,3% žemos kokybės atveju ir 93,5% aukštos kokybės atveju (2 lentelė).Maksimalus AlexNet modelio numatymo tikslumas yra 91,0 % žemos kokybės atveju ir 90,1 % aukštos kokybės atveju (2 lentelė).Maksimalus signalo stiprumo numatymo tikslumas yra 76,1% žemos kokybės naudojimo atveju ir 77,8% aukštos kokybės naudojimo atveju.Pagal Coheno kappa (\(\kappa\)), susitarimas tarp ResNet152 modelio ir vertintojų yra 0,90 žemos kokybės atveju ir 0,81 aukštos kokybės atveju.Cohen AlexNet kappa yra atitinkamai 0,82 ir 0,71 žemos kokybės ir aukštos kokybės naudojimo atvejais.Coheno signalo stiprumo kappa yra atitinkamai 0,52 ir 0,27 žemos ir aukštos kokybės naudojimo atvejais.
Aukštos ir žemos kokybės atpažinimo modelių patvirtinimas 6 mm plokščios plokštės 6\(\x\) vaizduose parodo apmokyto modelio gebėjimą nustatyti vaizdo kokybę pagal įvairius vaizdo parametrus.Naudojant 6\(\x\) 6 mm seklias plokštes vaizdo kokybei užtikrinti, žemos kokybės modelio AUC buvo 0,83 (95 % PI: 0,69–0,98), o aukštos kokybės modelio AUC buvo 0,85.(95 % PI: 0,55–1,00) (2 lentelė).
Vizualiai apžiūrėjus įvesties sluoksnio klasių aktyvinimo žemėlapius, paaiškėjo, kad visi apmokyti neuroniniai tinklai vaizdų klasifikavimo metu naudojo vaizdo ypatybes (4A, B pav.).8 \(\times \) 8 mm ir 6 \(\times \) 6 mm vaizdams ResNet aktyvinimo vaizdai tiksliai seka tinklainės kraujagysles.AlexNet aktyvinimo žemėlapiai taip pat seka tinklainės kraujagysles, tačiau su didesne skiriamąja geba.
„ResNet152“ ir „AlexNet“ modelių klasės aktyvinimo žemėlapiuose pabrėžiamos funkcijos, susijusios su vaizdo kokybe.(A) Klasės aktyvinimo žemėlapis, rodantis nuoseklų aktyvavimą po paviršinių tinklainės kraujagyslių 8 \(\times \) 8 mm patvirtinimo vaizdų ir (B) apimties mažesniuose 6 \(\times \) 6 mm patvirtinimo vaizduose.LQ modelis apmokytas pagal žemos kokybės kriterijus, HQ modelis apmokytas pagal aukštus kokybės kriterijus.
Anksčiau buvo įrodyta, kad vaizdo kokybė gali labai paveikti bet kokį OCTA vaizdų kiekybinį įvertinimą.Be to, retinopatija padidina vaizdo artefaktų dažnį7, 26.Tiesą sakant, mūsų duomenys, atitinkantys ankstesnius tyrimus, nustatėme reikšmingą ryšį tarp didėjančio amžiaus ir tinklainės ligos sunkumo bei vaizdo kokybės pablogėjimo (p < 0,001, p = 0,017 atitinkamai pagal amžių ir DR būklę; 1 lentelė) 27 Todėl prieš atliekant kiekybinę OCTA vaizdų analizę labai svarbu įvertinti vaizdo kokybę.Dauguma tyrimų, analizuojančių OCTA vaizdus, ​​naudoja mašinų praneštus signalo intensyvumo slenksčius, kad būtų išvengta žemos kokybės vaizdų.Nors buvo įrodyta, kad signalo intensyvumas turi įtakos kiekybiniam OCTA parametrų įvertinimui, vien didelio signalo intensyvumo gali nepakakti, kad būtų atmesti vaizdai su vaizdo artefaktais 2, 3, 28, 29.Todėl būtina sukurti patikimesnį vaizdo kokybės kontrolės metodą.Šiuo tikslu vertiname prižiūrimų giluminio mokymosi metodų našumą pagal įrenginio praneštą signalo stiprumą.
Sukūrėme kelis vaizdo kokybės vertinimo modelius, nes skirtingi OCTA naudojimo atvejai gali turėti skirtingus vaizdo kokybės reikalavimus.Pavyzdžiui, vaizdai turėtų būti aukštesnės kokybės.Be to, svarbūs ir konkretūs dominantys kiekybiniai parametrai.Pavyzdžiui, fovealinės kraujagyslių zonos plotas nepriklauso nuo necentrinės terpės drumstumo, bet turi įtakos kraujagyslių tankiui.Nors mūsų tyrimai ir toliau orientuojasi į bendrą požiūrį į vaizdo kokybę, nesusietą su kokio nors konkretaus bandymo reikalavimais, o skirtu tiesiogiai pakeisti įrenginio praneštą signalo stiprumą, tikimės, kad naudotojams bus suteikta daugiau kontrolės, kad jie gali pasirinkti konkrečią vartotoją dominančią metriką.pasirinkite modelį, atitinkantį didžiausią priimtinu laikomą vaizdo artefaktų laipsnį.
Žemos kokybės ir aukštos kokybės scenoms rodome puikų jungties neturinčių giliųjų konvoliucinių neuroninių tinklų našumą, kurių AUC atitinkamai yra 0,97 ir 0,99, o žemos kokybės modeliai.Taip pat demonstruojame puikų gilaus mokymosi metodo našumą, palyginti su signalo lygiais, kuriuos praneša tik mašinos.Praleisti jungtis leidžia neuroniniams tinklams išmokti kelių detalumo lygių funkcijas, užfiksuoti smulkesnius vaizdų aspektus (pvz., kontrastą), taip pat bendrąsias savybes (pvz., vaizdo centravimą30,31).Kadangi vaizdo artefaktai, kurie turi įtakos vaizdo kokybei, tikriausiai geriausiai atpažįstami plačiame diapazone, neuroninių tinklų architektūros, kuriose trūksta jungčių, gali veikti geriau nei tos, kuriose nėra vaizdo kokybės nustatymo užduočių.
Bandydami savo modelį ant 6\(\×6mm) OCTA vaizdų, pastebėjome tiek aukštos kokybės, tiek žemos kokybės modelių klasifikavimo efektyvumo sumažėjimą (2 pav.), priešingai nei klasifikuoti paruošto modelio dydis.Palyginti su ResNet modeliu, AlexNet modelis turi didesnį kritimą.Santykinai geresnis „ResNet“ veikimas gali būti dėl likusių jungčių gebėjimo perduoti informaciją įvairiais masteliais, todėl modelis yra patikimesnis klasifikuojant vaizdus, ​​užfiksuotus skirtingais masteliais ir (arba) padidinimais.
Kai kurie skirtumai tarp 8 \(\×\) 8 mm vaizdų ir 6 \(\×\) 6 mm vaizdų gali lemti prastą klasifikaciją, įskaitant santykinai didelę vaizdų, kuriuose yra fovealinių kraujagyslių sričių, matomumo pokyčius, kraujagyslių arkadas ir vaizde nėra regos nervo 6×6 mm.Nepaisant to, mūsų aukštos kokybės ResNet modelis sugebėjo pasiekti 85% AUC 6 \(\x\) 6 mm vaizdams, o tai konfigūracija, kuriai modelis nebuvo apmokytas, o tai rodo, kad vaizdo kokybės informacija buvo užkoduota neuroniniame tinkle. yra tinkamas.vienam vaizdo dydžiui arba mašinos konfigūracijai, kuri nėra mokymo programa (2 lentelė).Įtikinama, kad į ResNet ir AlexNet panašūs 8 \(\times \) 8 mm ir 6 \(\times \) 6 mm vaizdų aktyvinimo žemėlapiai abiem atvejais galėjo išryškinti tinklainės kraujagysles, o tai rodo, kad modelis turi svarbios informacijos.yra tinkami klasifikuojant abiejų tipų OCTA vaizdus (4 pav.).
Lauerman ir kt.OCTA vaizdų vaizdo kokybės vertinimas buvo panašiai atliktas naudojant Inception architektūrą, kitą praleisto ryšio konvoliucinį neuroninį tinklą6, 32, naudojant gilaus mokymosi metodus.Jie taip pat apribojo tyrimą paviršinio kapiliarinio rezginio vaizdais, tačiau naudojo tik mažesnius 3 × 3 mm vaizdus iš Optovue AngioVue, nors buvo įtraukti ir pacientai, sergantys įvairiomis chorioretinalinėmis ligomis.Mūsų darbas grindžiamas jų pagrindu, įskaitant kelis modelius, skirtus įvairioms vaizdo kokybės slenksčiams nustatyti ir skirtingų dydžių vaizdų rezultatams patvirtinti.Taip pat pranešame apie mašininio mokymosi modelių AUC metriką ir padidiname jau įspūdingą jų tikslumą (90 %)6 tiek žemos kokybės (96%), tiek aukštos kokybės (95,7 %) modeliuose6.
Šis mokymas turi keletą apribojimų.Pirma, vaizdai buvo gauti tik vienu OCTA aparatu, įskaitant tik paviršinio kapiliarinio rezginio vaizdus 8 \ ( \ times \ ) 8 mm ir 6 \ ( \ ) 6 mm.Priežastis, kodėl vaizdai neįtraukiami į gilesnius sluoksnius, yra ta, kad projekciniai artefaktai gali apsunkinti rankinį vaizdų įvertinimą ir galbūt ne tokius nuoseklius.Be to, vaizdai buvo gauti tik diabetu sergantiems pacientams, kuriems OCTA tampa svarbia diagnostikos ir prognozavimo priemone33, 34.Nors galėjome išbandyti savo modelį su skirtingų dydžių vaizdais, kad įsitikintume, jog rezultatai yra patikimi, negalėjome nustatyti tinkamų duomenų rinkinių iš skirtingų centrų, o tai apribojo modelio apibendrinimo vertinimą.Nors vaizdai buvo gauti tik iš vieno centro, jie buvo gauti iš skirtingos etninės ir rasinės kilmės pacientų, o tai yra unikali mūsų tyrimo stiprybė.Įtraukdami įvairovę į mūsų mokymo procesą, tikimės, kad mūsų rezultatai bus apibendrinti platesne prasme ir išvengsime rasinio šališkumo kodavimo modeliuose, kuriuos treniruojame.
Mūsų tyrimas rodo, kad ryšio praleidžiantys neuroniniai tinklai gali būti išmokyti pasiekti aukštą našumą nustatant OCTA vaizdo kokybę.Šiuos modelius pateikiame kaip įrankius tolesniems tyrimams.Kadangi skirtingos metrikos gali turėti skirtingus vaizdo kokybės reikalavimus, kiekvienai metrikai galima sukurti individualų kokybės kontrolės modelį, naudojant čia nustatytą struktūrą.
Būsimi tyrimai turėtų apimti įvairaus dydžio vaizdus iš skirtingų gylių ir skirtingų OCTA mašinų, kad būtų gautas gilaus mokymosi vaizdo kokybės vertinimo procesas, kurį būtų galima apibendrinti OCTA platformoms ir vaizdo gavimo protokolams.Dabartiniai tyrimai taip pat yra pagrįsti prižiūrimais gilaus mokymosi metodais, kuriems reikalingas žmogaus ir įvaizdžio įvertinimas, o tai gali būti daug darbo ir daug laiko reikalaujanti didelių duomenų rinkinių.Dar reikia išsiaiškinti, ar neprižiūrimi gilaus mokymosi metodai gali tinkamai atskirti žemos kokybės vaizdus nuo aukštos kokybės vaizdų.
OCTA technologijai toliau tobulėjant ir didėjant nuskaitymo greičiui, gali sumažėti vaizdo artefaktų ir prastos kokybės vaizdų.Programinės įrangos patobulinimai, pavyzdžiui, neseniai pristatyta projekcijos artefaktų pašalinimo funkcija, taip pat gali sumažinti šiuos apribojimus.Tačiau išlieka daug problemų, nes atliekant pacientų, kurių fiksacija prastai fiksuojama arba didelė terpės drumstumas, vaizdavimas visada sukelia vaizdo artefaktus.Kadangi OCTA tampa vis plačiau naudojama klinikiniuose tyrimuose, reikia atidžiai apsvarstyti, kad būtų nustatytos aiškios gairės dėl priimtinų vaizdo artefaktų lygių vaizdų analizei.Giluminio mokymosi metodų taikymas OCTA vaizdams yra daug žadantis, todėl šioje srityje reikia atlikti tolesnius tyrimus, kad būtų sukurtas tvirtas vaizdo kokybės kontrolės metodas.
Dabartiniame tyrime naudojamas kodas yra octa-qc saugykloje, https://github.com/rahuldhodapkar/octa-qc.Dabartinio tyrimo metu sugeneruotus ir (arba) analizuotus duomenų rinkinius gali gauti atitinkami autoriai, pateikę pagrįstą prašymą.
Spaide, RF, Fujimoto, JG & Waheed, NK Vaizdo artefaktai optinėje koherentinėje angiografijoje.Retina 35, 2163–2180 (2015).
Fenner, BJ ir kt.Vaizdo ypatybių, lemiančių tinklainės kapiliarinio rezginio tankio matavimų UŠT angiografijoje kokybę ir atkuriamumą, nustatymas.BR.J. Ophthalmolis.102, 509–514 (2018).
Lauerman, JL ir kt.Akių stebėjimo technologijos įtaka UŠT angiografijos vaizdo kokybei esant su amžiumi susijusiai geltonosios dėmės degeneracijai.Kapo arka.klinikinis.Exp.oftalmologija.255, 1535–1542 (2017).
Babyuch AS ir kt.OCTA kapiliarų perfuzijos tankio matavimai naudojami geltonosios dėmės išemijai nustatyti ir įvertinti.oftalmologinė chirurgija.Tinklainės lazerinis vaizdas 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S. ir Sun, J. Deep Residual Learning for Image Recognition.2016 m. IEEE konferencijoje apie kompiuterinį regėjimą ir modelių atpažinimą (2016).
Lauerman, JL ir kt.Automatizuotas UŠT angiografinio vaizdo kokybės vertinimas naudojant giluminio mokymosi algoritmus.Kapo arka.klinikinis.Exp.oftalmologija.257, 1641–1648 (2019).
Lauermann, J. ir kt.Segmentacijos klaidų ir judesio artefaktų paplitimas UŠT angiografijoje priklauso nuo tinklainės ligos.Kapo arka.klinikinis.Exp.oftalmologija.256, 1807–1816 (2018).
Pask, Adam ir kt.Pytorch: būtina, didelio našumo giluminio mokymosi biblioteka.Pažangus nervinės informacijos apdorojimas.sistema.32, 8026–8037 (2019).
Deng, J. ir kt.ImageNet: didelio masto hierarchinė vaizdų duomenų bazė.2009 m. IEEE konferencija apie kompiuterinį regėjimą ir modelių atpažinimą.248–255.(2009).
Krizhevsky A., Sutzkever I. ir Hinton GE Imagenet klasifikacija naudojant giluminius konvoliucinius neuroninius tinklus.Pažangus nervinės informacijos apdorojimas.sistema.25, 1 (2012).