Generowanie realistycznych obrazów rezonansu magnetycznego prostaty i sąsiednich narządów za pomocą generatywnych przeciwstawnych sieci neuronowych

Sztuczna inteligencja pozwala na rozwiązywanie problemów obrazowania medycznego, na przykład w obrazach rezonansu magnetycznego, który jest skutecznie wykorzystywanym narzędziem między innymi do diagnozowania raka prostaty. Jednak ograniczona dostępność danych treningowych stanowi przeszkodę w udoskonalaniu opracowywanych algorytmów. Jako rozwiązanie problemu zaproponowano generowanie obrazów syntetycznych za pomocą generatywnych przeciwstawnych sieci neuronowych (GAN). W tym celu zaimplementowano i dostosowano model sieci pix2pix. Obrazy T2 ważone, o rozdzielczości 0,5 mm w płaszczyźnie i grubości warstwy 3,6 mm, potrzebne do uczenia sieci uzyskano z ogólnodostępnej bazy danych. Jako obrazy wejściowe wykorzystano mapy struktur anatomicznych rejonu prostaty z nadanymi 12 etykietami. Uzyskane obrazy wykazały średni współczynnik podobieństwa strukturalnego (SSIM) wynoszący 0,674 i korelację histogramów 0,931. Model wykazał dużą dokładność w lokalizacji narządów i odwzorowaniu struktur mniej skomplikowanych tkanek. Pomimo wysokiego podobieństwa jasności pikseli w obrazach syntetycznych i rzeczywistych, dla wszystkich oznaczonych organów, model nie sprawdził się w generowaniu złożonych struktur. Potwierdzają to również wyniki badania dotyczącego rozpoznawania obrazów syntetycznych, przeprowadzonego z udziałem osób doświadczonych w pracy z obrazami rezonansu magnetycznego. Choć klasyfikacja obrazów stanowiła wyzwanie dla osoby bez doświadczenia, pozostali uczestnicy rozpoznali je z dokładnością 0,9. W komentarzach uczestnicy zwracali uwagę na takie kwestie, jak niższa rozdzielczość, utrata charakterystycznych struktur tkanki podskórnej i obecność nieznanych artefaktów. Model zatem wymaga pracy, a główny nacisk powinien być położony na eliminowanie czynników wpływających na rozpoznawalność syntetycznych obrazów w badaniu.

Artificial intelligence allows for solving medical imaging problems, for example in magnetic resonance images, which is an effectively used tool, among others, to diagnose prostate cancer. However, the limited availability of training data is an obstacle to improving the developed algorithms. Generating synthetic images using generative adversarial neural networks (GANs) has been proposed as a solution to the problem. For this purpose, the pix2pix network model was implemented and adapted. T2-weighted images with a resolution of 0.5 mm in the plane and a slice thickness of 3.6 mm, needed for training the network, were obtained from a publicly available database. Maps of anatomical structures of the prostate region with 12 labels were used as input images. The acquired images showed an average structural similarity index (SSIM) of 0.674 and a histogram correlation of 0.931. The model showed high accuracy in locating organs and mapping the structures of less complicated tissues. Despite the high similarity of pixel brightness in synthetic and real images for all marked organs, the model failed to generate complex structures. This is also confirmed by the results of a study on synthetic image recognition conducted with people experienced in working with magnetic resonance images. Although classifying the images was a challenge for an inexperienced person, the other participants recognized them with an accuracy of 0.9. In the comments, participants pointed out issues such as lower resolution, loss of characteristic subcutaneous tissue structures and the presence of unknown artifacts. The model therefore requires work, and the main emphasis should be on eliminating factors affecting the recognition of synthetic images in the study.