Nichtlineare multimodale Bildgebungsmodalitäten wie kohärente Anti-Stokes-Raman-Streuung, Zwei-Photonen-angeregte Fluoreszenz und Second Harmonic Generation sind markierungsfreie Bildgebungsverfahren, die einen intrinsischen molekularen Kontrast bieten. Da diese Bildgebungsverfahren und die daraus resultierenden Daten nicht zielgerichtet sind, erfordert ihre Interpretation fortschrittliche Bildanalysemethoden wie Ansätze des maschinellen Lernens.

 

Von Nairveen Ali // Pranita Pradhan // Elsie Quansah // Hyeonsoo Bae // Tobias Meyer // Michael Schmitt // Jürgen Popp // Thomas W. Bocklitz

Nichtlineare multimodale Bildgebung, die kohärente Anti-Stokes-Raman-Streuung (CARS), Zwei-Photonen-angeregte Autofluoreszenz (TPEF) und Second Harmonic Generation (SHG) kombiniert, ermöglicht markierungsfreie Untersuchungen und biomedizinische Diagnostik. Diese drei einzelnen Bildmodalitäten liefern Informationen über unterschiedliche Biomoleküle. Zum Beispiel kann die CARS-Mikroskopie eingesetzt werden, um die Verteilung der CH-Streckschwingung zu visualisieren, die TPEF-Mikroskopie kann endogene Fluorophore wie NADH, FAD und Elastinfasern messen, und schließlich kann die SHG-Mikroskopie Informationen über faserartige Strukturen liefern. Diese nicht-linearen Modalitäten ermöglichen eine direkte Visualisierung nicht nur der Zell- und Gewebemorphologie, sondern auch der biomolekularen Veränderungen, die mit dem Fortschreiten der Krankheit verbunden sind.

Allerdings sind diese Modalitäten nicht zielgerichtet, was die manuelle Interpretation erschwert. Um dieses Problem zu umgehen, sind ausgefeilte Bildanalyseansätze für die Interpretation der gewonnenen Bilddaten erforderlich. In unseren Beiträgen werden die nicht-linearen multimodalen Bilder mit Algorithmen des maschinellen Lernens und Deep Learning analysiert. Wir nutzen die Kombination aus nichtlinearer multimodaler Bildgebung und maschinellem Lernen/Deep Learning, um verschiedene biomedizinische Aufgaben zu lösen, darunter die Erkennung von Brustkrebs (Ali, 2019), die Früherkennung von Sepsis (Yarbakht, 2019) und die semantische Segmentierung von Kryptostrukturen zur Charakterisierung von entzündlichen Darmerkrankungen (Bocklitz, 2019).

Die Identifikation von Sepsis in einem Mausmodell der Peritonitis erfolgte mit einem klassischen maschinellen Lernmodell, das extrahierte Texturmerkmale der nichtlinearen multimodalen Bilder, eine Hauptkomponentenanalyse und eine lineare Diskriminanzanalyse (PCA-LDA) kombinierte. Im Gegensatz dazu wurde eine automatische Erkennung von Brustkrebs mit einem Deep-Learning-Ansatz erreicht. Dieser Ansatz verwendete ein vollständig verbundenes Faltungsneuronales Netzwerk namens ResNet50. Hier wurde die vortrainierte Version des ResNet50-Netzwerks auf dem ImageNet-Datensatz feinabgestimmt, um die Brustkrebsregionen über einen Patch-basierten Faltungsneuronalnetzwerk-Ansatz zu identifizieren. Obwohl die Stichprobengrößen der oben genannten Aufgaben klein waren, zeigten die maschinellen Lernalgorithmen vielversprechende Identifikationsergebnisse für Sepsis und Brustkrebs. Die Leistung der beiden Bildklassifizierungsaufgaben wurde anhand der Klassensensitivität oder der Fläche unter der Kurve (AUC) einer Receiver Operating Characteristics-Kurve bewertet.

 

pradhan_01b

   

Die semantische Segmentierung von Krypten in nicht-linearen multimodalen Bildern wurde mit einem fortschrittlichen Auto-Encoder-Modell (SegNet) durchgeführt. Die Eingabe für das SegNet-Modell war ein nicht-lineares multimodales Bild und die Ausgabe war ein segmentiertes Bild mit vier verschiedenen Regionen: Hintergrund, Nicht-Schleimhaut, Mukosa ohne Krypten und Krypten. Diese Regionen, insbesondere die Mukosaregion und die Krypten, sind entscheidende Indikatoren für entzündliche Darmerkrankungen (IBD). Ihre automatische Segmentierung ohne manuelle Eingriffe kann zu einer automatischen Charakterisierung von IBD führen.

 

pradhan_01c

   

Insgesamt ermöglicht die nicht-invasive Natur dieser Bildgebungstechnik In-vivo-Messungen, die einen risikoarmen diagnostischen Ansatz für verschiedene Erkrankungen bieten. Kombiniert man geeignete Ansätze des maschinellen Lernens / Deep Learning mit diesen nichtlinearen multimodalen Bildgebungsverfahren, kann ein automatisches Entscheidungsfindungssystem für die biomedizinische Diagnostik, wie z. B. die Erkennung von Brustkrebs (Ali, 2019), die Früherkennung von Sepsis (Yarbakht, 2019) und die semantische Segmentierung von Kryptostrukturen zur Charakterisierung von entzündlichen Darmerkrankungen (Bocklitz, 2019), erreicht werden.