Dankie dat jy Nature.com besoek het.Jy gebruik 'n blaaierweergawe met beperkte CSS-ondersteuning.Vir die beste ervaring, beveel ons aan dat jy 'n opgedateerde blaaier gebruik (of versoenbaarheidsmodus in Internet Explorer deaktiveer).Daarbenewens, om volgehoue ​​ondersteuning te verseker, wys ons die webwerf sonder style en JavaScript.
Sliders wat drie artikels per skyfie wys.Gebruik die terug- en volgende-knoppies om deur die skyfies te beweeg, of die skyfiebeheerknoppies aan die einde om deur elke skyfie te beweeg.
Optiese koherensie tomografiese angiografie (OCTA) is 'n nuwe metode vir nie-indringende visualisering van retinale vate.Alhoewel OCTA baie belowende kliniese toepassings het, bly die bepaling van beeldkwaliteit 'n uitdaging.Ons het 'n diepleer-gebaseerde stelsel ontwikkel met behulp van die ResNet152 neurale netwerk klassifiseerder wat vooraf opgelei is met ImageNet om oppervlakkige kapillêre pleksus beelde van 347 skanderings van 134 pasiënte te klassifiseer.Die beelde is ook met die hand as ware waarheid beoordeel deur twee onafhanklike beoordelaars vir 'n leermodel onder toesig.Omdat beeldkwaliteitvereistes kan verskil na gelang van kliniese of navorsingsinstellings, is twee modelle opgelei, een vir hoë kwaliteit beeldherkenning en die ander vir lae kwaliteit beeldherkenning.Ons neurale netwerkmodel toon 'n uitstekende area onder die kromme (AUC), 95% CI 0.96-0.99, \(\kappa\) = 0.81), wat aansienlik beter is as die seinvlak wat deur die masjien gerapporteer word (AUC = 0.82, 95) % CI).0.77-0.86, \(\kappa\) = 0.52 en AUC = 0.78, 95% CI 0.73-0.83, \(\kappa\) = 0.27, onderskeidelik).Ons studie demonstreer dat masjienleermetodes gebruik kan word om buigsame en robuuste gehaltebeheermetodes vir OCTA-beelde te ontwikkel.
Optiese koherensie tomografiese angiografie (OCTA) is 'n relatief nuwe tegniek gebaseer op optiese koherensie tomografie (OCT) wat gebruik kan word vir nie-indringende visualisering van die retinale mikrovaskulatuur.OCTA meet die verskil in weerkaatsingspatrone van herhaalde ligpulse in dieselfde area van die retina, en rekonstruksies kan dan bereken word om bloedvate te openbaar sonder die indringende gebruik van kleurstowwe of ander kontrasmiddels.OCTA maak ook vaskulêre beelding met diepte-resolusie moontlik, wat klinici toelaat om oppervlakkige en diep vaatlae afsonderlik te ondersoek, wat help om tussen chorioretinale siektes te onderskei.
Alhoewel hierdie tegniek belowend is, bly beeldkwaliteitvariasie 'n groot uitdaging vir betroubare beeldanalise, wat beeldinterpretasie moeilik maak en wydverspreide kliniese aanvaarding voorkom.Omdat OCTA veelvuldige opeenvolgende OCT-skanderings gebruik, is dit meer sensitief vir beeldartefakte as standaard OCT.Die meeste kommersiële OCTA-platforms bied hul eie beeldkwaliteit-metriek genaamd Signal Strength (SS) of soms Signal Strength Index (SSI).Beelde met 'n hoë SS- of SSI-waarde waarborg egter nie die afwesigheid van beeldartefakte nie, wat enige daaropvolgende beeldanalise kan beïnvloed en tot verkeerde kliniese besluite kan lei.Algemene beeldartefakte wat in OCTA-beelding kan voorkom, sluit in bewegingsartefakte, segmenteringsartefakte, media-ondeursigtigheid-artefakte en projeksie-artefakte1,2,3.
Aangesien OCTA-afgeleide maatreëls soos vaskulêre digtheid toenemend gebruik word in translasienavorsing, kliniese proewe en kliniese praktyk, is daar 'n dringende behoefte om robuuste en betroubare beeldkwaliteitbeheerprosesse te ontwikkel om beeldartefakte uit te skakel4.Slaan verbindings, ook bekend as residuele verbindings, is projeksies in neurale netwerkargitektuur wat inligting toelaat om konvolusielae te omseil terwyl inligting op verskillende skale of resolusies gestoor word5.Omdat beeldartefakte kleinskaalse en algemene grootskaalse beeldprestasie kan beïnvloed, is oorslaan-verbinding neurale netwerke goed geskik om hierdie kwaliteitbeheertaak te outomatiseer5.Onlangs gepubliseerde werk het 'n mate van belofte getoon vir diep konvolusionele neurale netwerke wat opgelei is met behulp van hoë kwaliteit data van menslike beramers6.
In hierdie studie lei ons 'n konvolusionele neurale netwerk wat deur verbindings oorslaan om outomaties die kwaliteit van OCTA-beelde te bepaal.Ons bou voort op vorige werk deur afsonderlike modelle te ontwikkel vir die identifisering van hoë kwaliteit beelde en lae kwaliteit beelde, aangesien beeld kwaliteit vereistes kan verskil vir spesifieke kliniese of navorsing scenario's.Ons vergelyk die resultate van hierdie netwerke met konvolusionele neurale netwerke sonder ontbrekende verbindings om die waarde van die insluiting van kenmerke op verskeie vlakke van granulariteit binne diep leer te evalueer.Ons het toe ons resultate vergelyk met seinsterkte, 'n algemeen aanvaarde maatstaf van beeldkwaliteit wat deur vervaardigers verskaf word.
Ons studie het pasiënte met diabetes ingesluit wat die Yale-oogsentrum tussen 11 Augustus 2017 en 11 April 2019 bygewoon het. Pasiënte met enige nie-diabetiese chorioretinale siekte is uitgesluit.Daar was geen insluiting- of uitsluitingskriteria gebaseer op ouderdom, geslag, ras, beeldkwaliteit of enige ander faktor nie.
OCTA beelde is verkry deur gebruik te maak van die AngioPlex platform op 'n Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) onder 8\(\times\)8 mm en 6\(\times\)6 mm beeldingsprotokolle.Ingeligte toestemming vir deelname aan die studie is van elke studiedeelnemer verkry, en die Yale University Institutional Review Board (IRB) het die gebruik van ingeligte toestemming met globale fotografie vir al hierdie pasiënte goedgekeur.Na aanleiding van die beginsels van die Verklaring van Helsinki.Die studie is deur die Yale Universiteit IRB goedgekeur.
Oppervlakplaatbeelde is geëvalueer op grond van die voorheen beskryfde Motion Artifact Score (MAS), die voorheen beskryfde Segmentation Artefak-telling (SAS), die foveale sentrum, die teenwoordigheid van media-deursigtigheid en goeie visualisering van klein kapillêre soos bepaal deur die beeldevalueerder.Die beelde is deur twee onafhanklike evalueerders (RD en JW) ontleed.'n Beeld het 'n gegradeerde telling van 2 (kwalifiseer) indien aan al die volgende kriteria voldoen word: beeld is gesentreer by die fovea (minder as 100 pixels vanaf die middel van die beeld), MAS is 1 of 2, SAS is 1, en media-deursigtigheid is minder as 1. Aanwesig op beelde van grootte / 16, en klein kapillêre word gesien in beelde groter as 15/16.'n Prent word as 0 gegradeer (geen gradering) as daar aan enige van die volgende kriteria voldoen word: die prent is buite die middel, as MAS 4 is, as SAS 2 is, of die gemiddelde ondeursigtigheid groter as 1/4 van die prent is, en die klein kapillêre kan nie meer as 1 beeld /4 aangepas word om te onderskei nie.Alle ander beelde wat nie aan die puntekriteria 0 of 2 voldoen nie, word as 1 (knipsel) aangeteken.
Op fig.1 toon voorbeeldbeelde vir elk van die geskaalde skattings en beeldartefakte.Inter-beoordelaar betroubaarheid van individuele tellings is geassesseer deur Cohen se kappa-gewig8.Die individuele tellings van elke beoordelaar word opgetel om 'n algehele telling vir elke beeld te verkry, wat wissel van 0 tot 4. Beelde met 'n totale telling van 4 word as goed beskou.Prente met 'n totale telling van 0 of 1 word as lae kwaliteit beskou.
'n ResNet152-argitektuur-konvolusionele neurale netwerk (Fig. 3A.i) wat vooraf op beelde vanaf die ImageNet-databasis opgelei is, is gegenereer deur gebruik te maak van fast.ai en die PyTorch-raamwerk5, 9, 10, 11. 'n Konvolusionele neurale netwerk is 'n netwerk wat die geleerde gebruik filters vir die skandering van beeldfragmente om ruimtelike en plaaslike kenmerke te bestudeer.Ons opgeleide ResNet is 'n 152-laag neurale netwerk wat gekenmerk word deur gapings of "residuele verbindings" wat gelyktydig inligting met veelvuldige resolusies oordra.Deur inligting met verskillende resolusies oor die netwerk te projekteer, kan die platform die kenmerke van lae-gehalte beelde op verskeie vlakke van detail leer.Benewens ons ResNet-model, het ons ook AlexNet, 'n goed bestudeerde neurale netwerkargitektuur, opgelei sonder om verbindings vir vergelyking te ontbreek (Figuur 3A.ii)12.Sonder ontbrekende verbindings sal hierdie netwerk nie kenmerke met 'n hoër korreligheid kan vaslê nie.
Die oorspronklike 8\(\times\)8mm OCTA13-beeldstel is verbeter deur horisontale en vertikale refleksietegnieke te gebruik.Die volledige datastel is toe ewekansig op beeldvlak verdeel in opleiding (51.2%), toetsing (12.8%), hiperparameter-instelling (16%) en validering (20%) datastelle met behulp van die scikit-leer toolbox python14.Twee gevalle is oorweeg, een gebaseer op die opsporing van slegs die hoogste kwaliteit beelde (algehele telling 4) en die ander gebaseer op die opsporing van slegs die laagste kwaliteit beelde (algehele telling 0 of 1).Vir elke gebruik van hoë gehalte en lae gehalte word die neurale netwerk een keer op ons beelddata opgelei.In elke gebruiksgeval is die neurale netwerk vir 10 tydperke opgelei, almal behalwe die hoogste laaggewigte is gevries, en die gewigte van alle interne parameters is vir 40 tydperke geleer deur gebruik te maak van 'n diskriminatiewe leertempo-metode met 'n kruis-entropieverliesfunksie 15, 16..Die kruisentropieverliesfunksie is 'n maatstaf van die logaritmiese skaal van die verskil tussen voorspelde netwerketikette en werklike data.Tydens opleiding word gradiënt afkoms uitgevoer op die interne parameters van die neurale netwerk om verliese te minimaliseer.Die leertempo, uitvaltempo en gewigsvermindering hiperparameters is ingestel met behulp van Bayesiaanse optimalisering met 2 ewekansige beginpunte en 10 iterasies, en die AUC op die datastel is ingestel deur die hiperparameters as 'n teiken van 17 te gebruik.
Verteenwoordigende voorbeelde van 8 × 8 mm OCTA-beelde van oppervlakkige kapillêre pleksusse het 2 (A, B), 1 (C, D) en 0 (E, F) behaal.Beeldartefakte wat gewys word, sluit in flikkerende lyne (pyle), segmenteringsartefakte (sterretjies) en media-ondeursigtigheid (pyltjies).Beeld (E) is ook buite die middel.
Ontvanger bedryfskenmerke (ROC) kurwes word dan gegenereer vir alle neurale netwerk modelle, en enjin seinsterkte verslae word gegenereer vir elke lae-gehalte en hoë-gehalte gebruik geval.Oppervlakte onder die kromme (AUC) is met behulp van die pROC R-pakket bereken, en 95% vertrouensintervalle en p-waardes is bereken deur die DeLong-metode18,19 te gebruik.Die kumulatiewe tellings van die menslike beoordelaars word gebruik as die basislyn vir alle ROC-berekeninge.Vir die seinsterkte wat deur die masjien gerapporteer is, is die AUC twee keer bereken: een keer vir die hoë kwaliteit skaalbaarheid telling afsnypunt en een keer vir die lae kwaliteit skaalbaarheid telling afsnypunt.Die neurale netwerk word vergelyk met die AUC seinsterkte wat sy eie opleidings- en evalueringstoestande weerspieël.
Om die opgeleide diepleermodel verder op 'n aparte datastel te toets, is hoë kwaliteit en lae kwaliteit modelle direk toegepas op prestasie-evaluering van 32 volvlak 6\(\keer\) 6mm oppervlakbladbeelde wat van Yale Universiteit versamel is.Oogmassa word gesentreer op dieselfde tyd as die beeld 8 \(\maal \) 8 mm.Die 6\(\×\) 6 mm beelde is met die hand deur dieselfde beoordelaars (RD en JW) beoordeel op dieselfde manier as die 8\(\×\) 8 mm beelde, AUC is bereken asook akkuraatheid en Cohen se kappa .ewe.
Die klaswanbalansverhouding is 158:189 (\(\rho = 1.19\)) vir die lae kwaliteit model en 80:267 (\(\rho = 3.3\)) vir die hoë kwaliteit model.Omdat die klaswanbalansverhouding minder as 1:4 is, is geen spesifieke argitektoniese veranderinge aangebring om klaswanbalans reg te stel nie20,21.
Om die leerproses beter te visualiseer, is klasaktiveringskaarte vir al vier opgeleide diepleermodelle gegenereer: hoë kwaliteit ResNet152 model, lae kwaliteit ResNet152 model, hoë kwaliteit AlexNet model en lae kwaliteit AlexNet model.Klasaktiveringskaarte word gegenereer uit die insetkonvolusionele lae van hierdie vier modelle, en hittekaarte word gegenereer deur aktiveringskaarte te oorlê met bronbeelde van die 8 × 8 mm en 6 × 6 mm validasiestelle22, 23.
R-weergawe 4.0.3 is vir alle statistiese berekeninge gebruik, en visualisasies is geskep met behulp van die ggplot2 grafiese hulpmiddel biblioteek.
Ons het 347 frontale beelde van die oppervlakkige kapillêre pleksus wat 8 \(\ keer \)8 mm gemeet het van 134 mense versamel.Die masjien het seinsterkte gerapporteer op 'n skaal van 0 tot 10 vir alle beelde (gemiddeld = 6,99 ± 2,29).Van die 347 beelde wat verkry is, was die gemiddelde ouderdom by ondersoek 58,7 ± 14,6 jaar, en 39,2% was van manlike pasiënte.Van alle beelde was 30,8% van Kaukasiërs, 32,6% van Swartes, 30,8% van Hispanics, 4% van Asiërs en 1,7% van ander rasse (Tabel 1).).Die ouderdomsverspreiding van pasiënte met OCTA het betekenisvol verskil na gelang van die kwaliteit van die beeld (p < 0,001).Die persentasie van hoë kwaliteit beelde in jonger pasiënte tussen die ouderdomme 18-45 jaar was 33,8% in vergelyking met 12,2% van lae kwaliteit beelde (Tabel 1).Die verspreiding van diabetiese retinopatiestatus het ook aansienlik gevarieer in beeldkwaliteit (p < 0,017).Onder alle hoë kwaliteit beelde was die persentasie pasiënte met PDR 18.8% in vergelyking met 38.8% van alle lae kwaliteit beelde (Tabel 1).
Individuele graderings van alle beelde het matige tot sterk inter-gradering betroubaarheid getoon tussen mense wat die beelde gelees het (Cohen se geweegde kappa = 0.79, 95% CI: 0.76-0.82), en daar was geen beeldpunte waar beoordelaars met meer as 1 verskil het nie (Fig. 2A)..Seinintensiteit het betekenisvol gekorreleer met manuele telling (Pearson produkmomentkorrelasie = 0.58, 95% CI 0.51-0.65, p<0.001), maar baie beelde is geïdentifiseer as met 'n hoë seinintensiteit maar lae manuele telling (Fig. .2B).
Tydens die opleiding van die ResNet152- en AlexNet-argitekture val die kruis-entropieverlies op validering en opleiding oor 50 tydperke (Figuur 3B,C).Validasie akkuraatheid in die finale opleiding tydperk is meer as 90% vir beide hoë kwaliteit en lae kwaliteit gebruik gevalle.
Ontvangerprestasiekurwes toon dat die ResNet152-model aansienlik beter presteer as die seinkrag wat deur die masjien gerapporteer word in beide lae en hoë kwaliteit gebruiksgevalle (p < 0,001).Die ResNet152-model presteer ook aansienlik beter as die AlexNet-argitektuur (p = 0,005 en p = 0,014 vir onderskeidelik lae kwaliteit en hoë kwaliteit gevalle).Die gevolglike modelle vir elk van hierdie take kon AUC-waardes van onderskeidelik 0.99 en 0.97 behaal, wat aansienlik beter is as die ooreenstemmende AUC-waardes van 0.82 en 0.78 vir die masjienseinsterkte-indeks of 0.97 en 0.94 vir AlexNet ..(Fig. 3).Die verskil tussen ResNet en AUC in seinsterkte is hoër wanneer hoë kwaliteit beelde herken word, wat bykomende voordele aandui om ResNet vir hierdie taak te gebruik.
Die grafieke toon elke onafhanklike beoordelaar se vermoë om punte aan te teken en te vergelyk met die seinsterkte wat deur die masjien gerapporteer word.(A) Die som van die punte wat geassesseer moet word, word gebruik om die totale aantal punte wat geassesseer moet word, te skep.Beelde met 'n algehele skaalbaarheidtelling van 4 word van hoë gehalte toegeken, terwyl beelde met 'n algehele skaalbaarheidtelling van 1 of minder lae gehalte toegeken word.(B) Seinintensiteit korreleer met handskattings, maar beelde met hoë seinintensiteit kan van swakker gehalte wees.Die rooi stippellyn dui die vervaardiger se aanbevole gehaltedrempel aan op grond van seinsterkte (seinsterkte \(\ge\)6).
ResNet-oordragleer bied 'n aansienlike verbetering in beeldkwaliteit-identifikasie vir beide lae kwaliteit en hoë kwaliteit gebruik gevalle in vergelyking met masjien-gerapporteerde seinvlakke.(A) Vereenvoudigde argitektuurdiagramme van vooraf opgeleide (i) ResNet152- en (ii) AlexNet-argitekture.(B) Opleidingsgeskiedenis en ontvangerprestasiekurwes vir ResNet152 in vergelyking met masjiengerapporteerde seinsterkte en AlexNet lae kwaliteitkriteria.(C) ResNet152 ontvanger opleiding geskiedenis en prestasie kurwes in vergelyking met masjien gerapporteerde seinsterkte en AlexNet hoë kwaliteit kriteria.
Nadat die besluitgrensdrempel aangepas is, is die maksimum voorspellingsakkuraatheid van die ResNet152-model 95.3% vir die lae kwaliteit geval en 93.5% vir die hoë kwaliteit geval (Tabel 2).Die maksimum voorspelling akkuraatheid van die AlexNet model is 91.0% vir die lae kwaliteit geval en 90.1% vir die hoë kwaliteit geval (Tabel 2).Die maksimum seinsterkte voorspelling akkuraatheid is 76.1% vir die lae gehalte gebruik geval en 77.8% vir die hoë gehalte gebruik geval.Volgens Cohen se kappa (\(\kappa\)) is die ooreenkoms tussen die ResNet152-model en die beramers 0,90 vir die lae kwaliteit geval en 0,81 vir die hoë kwaliteit geval.Cohen se AlexNet-kappa is onderskeidelik 0.82 en 0.71 vir lae kwaliteit en hoë kwaliteit gebruik gevalle.Cohen se seinsterkte kappa is 0.52 en 0.27 vir die lae en hoë kwaliteit gebruik gevalle, onderskeidelik.
Validasie van hoë en lae kwaliteit herkenningsmodelle op 6\(\x\) beelde van 'n 6 mm plat plaat demonstreer die vermoë van die opgeleide model om beeldkwaliteit oor verskeie beeldparameters te bepaal.Wanneer 6\(\x\) 6 mm vlak blaaie vir beeldkwaliteit gebruik is, het die lae kwaliteit model 'n AUC van 0.83 (95% CI: 0.69–0.98) en die hoë kwaliteit model 'n AUC van 0.85 gehad.(95% CI: 0,55–1,00) (Tabel 2).
Visuele inspeksie van die insetlaagklasaktiveringskaarte het getoon dat alle opgeleide neurale netwerke beeldkenmerke tydens beeldklassifikasie gebruik het (Fig. 4A, B).Vir 8 \(\keer \) 8 mm en 6 \(\keer \) 6 mm beelde volg die ResNet-aktiveringsbeelde die retinale vaskulatuur noukeurig.AlexNet-aktiveringskaarte volg ook retinale vate, maar met growwer resolusie.
Die klasaktiveringskaarte vir die ResNet152- en AlexNet-modelle beklemtoon kenmerke wat met beeldkwaliteit verband hou.(A) Klasaktiveringskaart wat koherente aktivering toon na oppervlakkige retinale vaskulatuur op 8 \(\keer \) 8 mm valideringsbeelde en (B) omvang op kleiner 6 \(\times \) 6 mm valideringsbeelde.LQ model opgelei op lae kwaliteit kriteria, HQ model opgelei op hoë kwaliteit kriteria.
Daar is voorheen gewys dat beeldkwaliteit grootliks enige kwantifisering van OCTA-beelde kan beïnvloed.Daarbenewens verhoog die teenwoordigheid van retinopatie die voorkoms van beeldartefakte7,26.Trouens, in ons data, in ooreenstemming met vorige studies, het ons 'n beduidende verband gevind tussen toenemende ouderdom en erns van retinale siekte en agteruitgang in beeldkwaliteit (p < 0,001, p = 0,017 vir onderskeidelik ouderdom en DR-status; Tabel 1) 27 Daarom is dit van kritieke belang om beeldkwaliteit te assesseer voordat enige kwantitatiewe ontleding van OCTA-beelde uitgevoer word.Die meeste studies wat OCTA-beelde ontleed, gebruik masjien-gerapporteerde seinintensiteitsdrempels om beelde van lae gehalte uit te sluit.Alhoewel daar getoon is dat seinintensiteit die kwantifisering van OCTA-parameters beïnvloed, is hoë seinintensiteit alleen moontlik nie voldoende om beelde met beeldartefakte2,3,28,29 uit te sluit nie.Daarom is dit nodig om 'n meer betroubare metode van beeldkwaliteitbeheer te ontwikkel.Vir hierdie doel evalueer ons die prestasie van diepleermetodes onder toesig teen die seinsterkte wat deur die masjien gerapporteer word.
Ons het verskeie modelle ontwikkel om beeldkwaliteit te evalueer omdat verskillende OCTA-gebruiksgevalle verskillende beeldkwaliteitvereistes kan hê.Prente moet byvoorbeeld van hoër gehalte wees.Daarbenewens is spesifieke kwantitatiewe parameters van belang ook belangrik.Byvoorbeeld, die area van die foveale avaskulêre sone hang nie af van die troebelheid van die nie-sentrale medium nie, maar beïnvloed die digtheid van die vate.Terwyl ons navorsing steeds fokus op 'n algemene benadering tot beeldkwaliteit, nie gekoppel aan die vereistes van enige spesifieke toets nie, maar bedoel is om die seinsterkte wat deur die masjien gerapporteer word direk te vervang, hoop ons om gebruikers 'n groter mate van beheer te gee sodat hulle kan die spesifieke maatstaf van belang vir die gebruiker kies.kies 'n model wat ooreenstem met die maksimum mate van beeldartefakte wat as aanvaarbaar beskou word.
Vir tonele van lae gehalte en hoë gehalte toon ons uitstekende werkverrigting van diep konvolusionele neurale netwerke wat verbinding ontbreek, met AUC's van onderskeidelik 0.97 en 0.99 en modelle van lae gehalte.Ons demonstreer ook die voortreflike prestasie van ons diepleerbenadering in vergelyking met seinvlakke wat slegs deur masjiene gerapporteer word.Slaan verbindings oor laat neurale netwerke toe om kenmerke op verskeie vlakke van detail te leer, deur fyner aspekte van beelde vas te lê (bv. kontras) sowel as algemene kenmerke (bv. beeldsentrering30,31).Aangesien beeldartefakte wat beeldkwaliteit beïnvloed waarskynlik die beste oor 'n wye reeks geïdentifiseer word, kan neurale netwerkargitekture met ontbrekende verbindings beter werkverrigting toon as dié sonder beeldkwaliteitbepalingstake.
Toe ons ons model op 6\(\×6mm) OCTA-beelde getoets het, het ons 'n afname in klassifikasieprestasie vir beide hoë kwaliteit en lae kwaliteit modelle opgemerk (Fig. 2), in teenstelling met die grootte van die model wat vir klassifikasie opgelei is.In vergelyking met die ResNet-model het die AlexNet-model 'n groter afval.Die relatief beter werkverrigting van ResNet kan wees as gevolg van die vermoë van die oorblywende verbindings om inligting op veelvuldige skale oor te dra, wat die model meer robuust maak vir die klassifikasie van beelde wat op verskillende skale en/of vergrotings vasgelê is.
Sommige verskille tussen 8 \(\×\) 8 mm-beelde en 6 \(\×\) 6 mm-beelde kan lei tot swak klassifikasie, insluitend 'n relatief hoë persentasie beelde wat foveale avakulêre areas bevat, veranderinge in sigbaarheid, vaskulêre arcades, en geen optiese senuwee op die beeld 6×6 mm.Ten spyte hiervan kon ons ResNet-model van hoë gehalte 'n AUC van 85% behaal vir 6 \(\x\) 6 mm beelde, 'n konfigurasie waarvoor die model nie opgelei is nie, wat daarop dui dat die beeldkwaliteitinligting in die neurale netwerk geënkodeer is geskik is.vir een beeldgrootte of masjienkonfigurasie buite sy opleiding (Tabel 2).Dit is gerusstellend dat ResNet- en AlexNet-agtige aktiveringskaarte van 8 \(\times \) 8 mm en 6 \(\times \) 6 mm beelde in beide gevalle retinale vate kon uitlig, wat daarop dui dat die model belangrike inligting het.is van toepassing vir die klassifikasie van beide tipes OCTA-beelde (Fig. 4).
Lauerman et al.Beeldkwaliteit-assessering op OCTA-beelde is op soortgelyke wyse uitgevoer deur gebruik te maak van die Inception-argitektuur, 'n ander oorslaan-verbinding konvollusionele neurale netwerk6,32 met behulp van diepleertegnieke.Hulle het ook die studie beperk tot beelde van die oppervlakkige kapillêre pleksus, maar slegs met behulp van die kleiner 3×3 mm beelde van Optovue AngioVue, hoewel pasiënte met verskeie chorioretinale siektes ook ingesluit is.Ons werk bou op hul fondamente, insluitend veelvuldige modelle om verskeie beeldkwaliteitdrempels aan te spreek en resultate vir beelde van verskillende groottes te bekragtig.Ons rapporteer ook die AUC-metriek van masjienleermodelle en verhoog hul reeds indrukwekkende akkuraatheid (90%)6 vir beide lae kwaliteit (96%) en hoë kwaliteit (95.7%) modelle6.
Hierdie opleiding het verskeie beperkings.Eerstens is die beelde verkry met slegs een OCTA-masjien, insluitend slegs beelde van die oppervlakkige kapillêre pleksus by 8\(\maal\)8 mm en 6\(\x\)6 mm.Die rede vir die uitsluiting van beelde van dieper lae is dat projeksie-artefakte handmatige evaluering van beelde moeiliker en moontlik minder konsekwent kan maak.Verder is beelde slegs verkry in diabetiese pasiënte, vir wie OCTA na vore tree as 'n belangrike diagnostiese en prognostiese hulpmiddel33,34.Alhoewel ons in staat was om ons model op beelde van verskillende groottes te toets om te verseker dat die resultate robuust was, was ons nie in staat om geskikte datastelle van verskillende sentrums te identifiseer nie, wat ons beoordeling van die veralgemeenbaarheid van die model beperk het.Alhoewel die beelde van slegs een sentrum verkry is, is dit verkry van pasiënte van verskillende etniese en rasse-agtergronde, wat 'n unieke sterkte van ons studie is.Deur diversiteit by ons opleidingsproses in te sluit, hoop ons dat ons resultate in 'n breër sin veralgemeen sal word, en dat ons die kodering van rassevooroordeel in die modelle wat ons oplei, sal vermy.
Ons studie toon dat verbinding-oorslaan neurale netwerke opgelei kan word om hoë werkverrigting te behaal in die bepaling van OCTA-beeldkwaliteit.Ons verskaf hierdie modelle as hulpmiddels vir verdere navorsing.Omdat verskillende maatstawwe verskillende beeldkwaliteitvereistes kan hê, kan ’n individuele kwaliteitbeheermodel vir elke maatstaf ontwikkel word deur die struktuur wat hier vasgestel is, te gebruik.
Toekomstige navorsing moet beelde van verskillende groottes van verskillende dieptes en verskillende OCTA-masjiene insluit om 'n diep leer beeldkwaliteit evalueringsproses te verkry wat veralgemeen kan word na OCTA platforms en beeldingsprotokolle.Huidige navorsing is ook gebaseer op diepgaande leerbenaderings onder toesig wat menslike evaluering en beeldevaluering vereis, wat arbeidsintensief en tydrowend kan wees vir groot datastelle.Dit moet nog gesien word of dieepleermetodes sonder toesig voldoende kan onderskei tussen lae kwaliteit beelde en hoë kwaliteit beelde.
Soos OCTA-tegnologie voortgaan om te ontwikkel en skanderingsspoed toeneem, kan die voorkoms van beeldartefakte en swak kwaliteit beelde afneem.Verbeterings in die sagteware, soos die onlangs bekend gestel projeksie artefak verwydering kenmerk, kan ook hierdie beperkings verlig.Daar is egter baie probleme, aangesien beeldvorming van pasiënte met swak fiksasie of beduidende mediatroebelheid altyd beeldartefakte tot gevolg het.Aangesien OCTA meer algemeen in kliniese proewe gebruik word, is noukeurige oorweging nodig om duidelike riglyne vir aanvaarbare beeldartefakvlakke vir beeldanalise daar te stel.Die toepassing van diep leermetodes op OCTA-beelde hou groot belofte in en verdere navorsing is op hierdie gebied nodig om 'n robuuste benadering tot beeldkwaliteitbeheer te ontwikkel.
Die kode wat in die huidige navorsing gebruik word, is beskikbaar in die octa-qc-bewaarplek, https://github.com/rahuldhodapkar/octa-qc.Datastelle wat tydens die huidige studie gegenereer en/of ontleed is, is op redelike versoek by die onderskeie outeurs beskikbaar.
Spaide, RF, Fujimoto, JG & Waheed, NK Beeldartefakte in optiese koherensie-angiografie.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Identifikasie van beeldeienskappe wat die kwaliteit en reproduseerbaarheid van retinale kapillêre pleksus-digtheidmetings in OCT angiografie bepaal.BR.J. Oftalmol.102, 509–514 (2018).
Lauerman, JL et al.Invloed van oogvolgtegnologie op die beeldkwaliteit van OCT-angiografie in ouderdomsverwante makulêre degenerasie.Grafboog.klinies.Exp.oftalmologie.255, 1535–1542 (2017).
Babyuch AS et al.OCTA kapillêre perfusiedigtheidmetings word gebruik om makulêre iskemie op te spoor en te evalueer.oftalmiese chirurgie.Retinale laserbeelding 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S., en Sun, J. Deep Residual Learning for Image Recognition.In 2016 by die IEEE-konferensie oor rekenaarvisie en patroonherkenning (2016).
Lauerman, JL et al.Outomatiese OCT-angiografiese beeldkwaliteitassessering met behulp van diepleeralgoritmes.Grafboog.klinies.Exp.oftalmologie.257, 1641–1648 (2019).
Lauermann, J. et al.Die voorkoms van segmentasiefoute en bewegingsartefakte in OCT-angiografie hang af van die siekte van die retina.Grafboog.klinies.Exp.oftalmologie.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: 'n Imperatiewe, hoëprestasie diepleerbiblioteek.Gevorderde verwerking van neurale inligting.stelsel.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: 'n Grootskaalse hiërargiese beelddatabasis.2009 IEEE-konferensie oor rekenaarvisie en patroonherkenning.248–255.(2009).
Krizhevsky A., Sutzkever I. en Hinton GE Imagenet-klassifikasie met behulp van diep konvolusionele neurale netwerke.Gevorderde verwerking van neurale inligting.stelsel.25, 1 (2012).