ТРАНСФОРМАЦІЯ ЦІЛЬОВОГО КЛАСУ ДЛЯ ЗАДАЧІ СЕГМЕНТАЦІЇ З ВИКОРИСТАННЯМ U-GAN
DOI:
https://doi.org/10.31649/1997-9266-2024-172-1-81-87Ключові слова:
аугментація, генерування даних, генеративна змагальна мережа, сегментація, глибоке навчання, ГЗМ, U-GAN, U-генераторАнотація
Наведено огляд сучасних генеративних змагальних моделей (ГЗМ) для аугментації даних з фокусом на дослідження створення зображень та відповідних до них сегментаційних масок. Це особливо корисно у випадках, коли даних недостатньо, вони важкодоступні, мають конфіденційний характер, або розмітка вимагає значних ресурсів. Робота спрямована на підвищення ефективності процесу аугментації міноритарного класу за рахунок перетворення зображення з іншого класу та створення сегментаційної маски. Запропоновано новий підхід до одночасної генерації зображення та сегментаційної маски з використанням генеративної змагальної мережі, де генератором виступає U-Net. Цей генератор приймає на вхід зображення одного класу та шум, який подається як додатковий канал зображення. Генератор намагається створити зображення іншого класу, мінімізуючи зміни в початковому зображенні та додаючи ознаки іншого, разом з сегментаційною маскою, нового класу. Дискримінатор же визначає, чи є пара картинка–маска реальною чи згенерованою. У моделі для збереження оригінального вигляду вхідного зображення з мінімальними змінами використовується алгоритм, який застосовує тільки ті зміни згенерованого зображення, що вказані створеною сегментаційною маскою. Це дозволяє отримати зображення з ознаками нового класу з мінімальними змінами. Апробацію запропонованого підходу виконано на наборі даних панорамних знімків зубів, на основі якого створено набір зображень окремих зубів, частина з яких з пломбами, а частина — без них. Експериментальний набір даних включав 128 зубів без пломб і 128 з пломбами. Для створення ГЗМ взято всі зображення з пломбами та без пломб і навчено генератор перетворювати зображення без пломб в аналогічні з пломбами. Для перевірки ефективності аугментації проведено два експерименти по 50 симуляцій з різним випадковим станом для тренування сегментаційної моделі U-Net на основі ResNet-34. Перший експеримент використовував тільки реальні дані для тренування, а другий включав 64 додаткові зображення та відповідні маски, створені генератором на основі наявних зображень нульового класу. Середні значення коефіцієнта Жаккара серед всіх симуляцій для першого та другого експериментів відповідно склали 94,2 та 96,1. Це свідчить про те, що дані, згенеровані за допомогою запропонованої аугментації, дійсно сприяють підвищенню якості сегментаційної моделі та цей підхід можна комбінувати разом з іншими типами аугментацій.
Посилання
P. Dhariwal and A. Q. Nichol, “Diffusion Models Beat GANs on Image Synthesis,” in Advances in Neural Information Processing Systems, 2021. [Online]. Available: https://openreview.net/forum?id=AAWuCvzaVt. Accessed on: January 30, 2024.
V. Sandfort, K. Yan, P. J. Pickhardt, et al., “Data augmentation using generative adversarial networks (CycleGAN) to improve generalizability in CT segmentation tasks,” Sci Rep, vol. 9, Article no. 16884, 2019. https://doi.org/10.1038/s41598-019-52737-x .
H. Mansourifar, L. Chen and W. Shi, “Virtual Big Data for GAN Based Data Augmentation,” 2019 IEEE International Conference on Big Data (Big Data), Los Angeles, CA, USA, 2019, pp. 1478-1487, https://doi.org/10.1109/BigData47090.2019.9006268 .
A. Sauer, K. Schwarz, and A. Geiger, “StyleGAN-XL: Scaling StyleGAN to Large Diverse Datasets,” in ACM SIGGRAPH 2022 Conference Proceedings (SIGGRAPH ‘22), Association for Computing Machinery, New York, NY, USA, 2022, Article 49, pp. 1–10. https://doi.org/10.1145/3528233.3530738 .
O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” Computer Science Department and BIOSS Centre for Biological Signalling Studies, University of Freiburg, Germany, 2015. [Online]. Available: https://arxiv.org/pdf/1505.04597.pdf . Accessed on: January 30, 2024.
R. Gulakala, B. Markert, and M. Stoffel, “Generative adversarial network based data augmentation for CNN based detection of Covid-19,” Sci Rep, vol. 12, Article no. 19186, 2022. https://doi.org/10.1038/s41598-022-23692-x .
X. Chen, et al., “Generative Adversarial U-Net for Domain-free Medical Image Augmentation,” in arXiv e-prints, 2021. [Online]. Available: https://arxiv.org/pdf/2101.04793.pdf . Accessed on: January 30, 2024.
E. Yıldız, et al., “Generative Adversarial Network Based Automatic Segmentation of Corneal Subbasal Nerves on In Vivo Confocal Microscopy Images,” Trans. Vis. Sci. Tech., vol. 10, no. 6, Article 33, 2021. https://doi.org/10.1167/tvst.10.6.33 .
T. Neff, C. Payer, D. Štern, and M. Urschler, “Generative Adversarial Network based Synthesis for Supervised Medical Image Segmentation,” OAGM & ARW Joint Workshop, 2017. https://doi.org/10.3217/978-3-85125-524-9-30 .
C. Bowles, et al., “GAN Augmentation: Augmenting Training Data using Generative Adversarial Networks,” in arXiv e-prints, 2018. [Online]. Available: https://arxiv.org/abs/1810.10863 . Accessed on: January 30, 2024.
V. Sushko, D. Zhang, J. Gall, and A. Khoreva, “One-Shot Synthesis of Images and Segmentation Masks,” in arXiv e-prints, 2022. [Online]. Available: https://arxiv.org/abs/2209.07547 . Accessed on: January 30, 2024.
T. Malygina, E. Ericheva, and I. Drokin, “Data Augmentation with GAN: Improving Chest X-Ray Pathologies Prediction on Class-Imbalanced Cases,” in W. van der Aalst et al. (Eds.), Analysis of Images, Social Networks and Texts, AIST 2019, Lecture Notes in Computer Science, vol. 11832, Springer, Cham, 2019. https://doi.org/10.1007/978-3-030-37334-429 .
H. Abdi, S. Kasaei, and M. Mehdizadeh, “Automatic segmentation of mandible in panoramic x-ray,” J. Med. Imaging (Bellingham), vol. 2, no. 4, 044003, 2015. [Online]. Available:
https://www.academia.edu/36038975/PreProcessing_of_Dental_X-Ray_Images_Using_Adaptive_Histogram_Equalization_Method. Accessed on: January 30, 2024.
Я. О. Ісаєнков, і О. Б. Мокін, «Аналіз генеративних моделей глибокого навчання та особливостей їх реалізації на прикладі WGAN,» Вісник Вінницького політехнічного інституту, № 1, с. 82-94, Березень 2022. https://doi.org/10.31649/1997-9266-2022-160-1-82-94 .
О. В. Коменчук, і О. Б. Мокін, «Аналіз методів передоброблення панорамних стоматологічних рентгенівських знімків для задач сегментації зображень,» Вісник Вінницького політехнічного інституту, № 5, с. 41-49. Листопад 2023. https://doi.org/10.31649/1997-9266-2023-170-5-41-49 .
##submission.downloads##
-
PDF
Завантажень: 46
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, згодні з такими умовами:
- Автори зберігають авторське право і надають журналу право першої публікації.
- Автори можуть укладати окремі, додаткові договірні угоди з неексклюзивного поширення опублікованої журналом версії статті (наприклад, розмістити її в інститутському репозиторії або опублікувати її в книзі), з визнанням її первісної публікації в цьому журналі.
- Авторам дозволяється і рекомендується розміщувати їхню роботу в Інтернеті (наприклад, в інституційних сховищах або на їхньому сайті) до і під час процесу подачі, оскільки це сприяє продуктивним обмінам, а також швидшому і ширшому цитуванню опублікованих робіт (див. вплив відкритого доступу).
