Projekty
Moderné medicínske zobrazovanie je poháňané metódami strojového učenia, ktoré však vyžadujú veľké množstvá manuálne anotovaných dát. V klinickej praxi je takýchto dát nedostatok: anotácia je drahá, časovo náročná a vyžaduje expertov. Zároveň orgány ako pľúca, pečeň, obličky či srdce podliehajú neustálemu pohybu, ktorý komplikuje zobrazovanie aj liečbu, najmä počas rádioterapie, kde nekompenzovaný dýchací pohyb vedie k ožiareniu zdravého tkaniva. Tento projekt vychádza z pozorovania, že samotné telo poskytuje bezplatný zdroj dohľadu: srdcový, dýchací a brušný cyklus sú periodické, merateľné a prítomné v každom dynamickom zázname. Navrhujeme využiť tieto biologické rytmy ako základ pre pseudoznačky v samo-supervízovanom učení, čím odbúravame závislosť od manuálnych anotácií. Na extrakciu pohybových vzorov využívame nástroje ako Empirical Mode Decomposition a Hilbertovu transformáciu, ktoré umožňujú priradiť každej snímke jej fázu v rámci cyklu.
V rámci projektu najprv navrhujeme novú pretextovú úlohu pre samo-supervízované predtrénovanie neurónových sietí na medicínskych dátach, spolu s rozsiahlym porovnaním voči existujúcim prístupom v režime s nedostatkom označených vzoriek. Ako druhý krok predstavujeme modely rekonštrukcie priestorových štruktúr z dvojrozmerných rezov, vrátane multitaskovej adversariálnej siete, ktorá z dvoch ortogonálnych ultrazvukových projekcií zrekonštruuje a súčasne segmentuje trojrozmerný objem srdca s využitím anatomického tvarového prioru, a generatívneho modelu na rozšírenie zorného poľa v transtorakálnej echokardiografii. Napokon navrhujeme model predikcie pohybu pečene v reálnom čase, ktorý explicitne modeluje cyklickú zložku dýchania a je validovaný na anatomických orientačných bodoch pomocou metriky cieľovej registračnej chyby. Výsledky sú overované na verejných aj klinických databázach a publikované spolu s otvoreným prístupom ku kódu.
Na základe uvedeného formulujeme tri ciele projektu:
- navrhnúť novú samo-supervízovanú pretextovú úlohu využívajúcu prirodzené biologické cykly človeka na predtrénovanie modelov v prostredí s nedostatkom anotovaných dát,
- navrhnúť model rekonštrukcie trojrozmerných objemov a sieťok z dvojrozmerných rezov,
- navrhnúť model kompenzácie a predikcie pohybu orgánov počas rádioterapeutickej liečby.
Výskum