Застосування згорткової нейронної мережі для виявлення меланоми за зображенням новоутворення на мобільному пристрої

Abstract

Розглянуто сучасні методи виявлення меланоми за зображенням новоутворення, проаналізовано їх переваги та недоліки. У статті продемонстровано прототип мобільного застосунку для виявлення меланоми за зображенням родимки на підставі згорткової нейронної мережі, котрий розробляється для операційної системи Android. Доповнено набір даних на підставі HAM10000 для навчання задля усунення незбалансованості класів та покращення показників точності мережі. Виконано пошук наявних нейронних мереж, котрі забезпечують високу точність, та вибрано для дослідження нейромережі VGG16, MobileNet та NASNetMobile. До наведених нейронних мереж застосовано техніки передавання навченості та точного налаштування для адаптування мереж до задачі класифікації уражень шкіри. Встановлено, що використання згаданих технік дає змогу отримати високі показники точності нейронної мережі для вказаного завдання. Описано процес конвертування згорткової нейронної мережі в оптимізований формат Flatbuffer засобами TensorFlow Lite для розміщення та використання на мобільному пристрої. Оцінено характеристики швидкодії вибраних нейронних мереж на мобільному пристрої за часом класифікації на центральному і графічному процесорах та здійснено порівняння обсягу пам’яті, яку займає файл окремої мережі. Виконано порівняння розміру файлу нейронної мережі до конвертування та після. Продемонстровано, що використання конвертора TensorFlow Lite значно зменшує розмір файлу нейронної мережі завдяки оптимізованому формату. Результати дослідження свідчать про високу швидкодію застосунку та компактність мереж на пристрої, а використання графічного пришвидшення дає змогу значно зменшити тривалість класифікації зображень новоутворення. На підставі проаналізованих параметрів вибрано NASNetMobile як оптимальну нейронну мережу для використання у мобільному застосунку для виявлення меланоми.A melanoma is the deadliest skin cancer, so early diagnosis can provide a positive prognosis for treatment. Modern methods for early detecting melanoma on the image of the tumor are considered, and their advantages and disadvantages are analyzed. The article demonstrates a prototype of a mobile application for the detection of melanoma on the image of a mole based on a convolutional neural network, which is developed for the Android operating system. The mobile application contains melanoma detection functions, history of the previous examinations and a gallery with images of the previous examinations grouped by the location of the lesion. The HAM10000-based training dataset has been supplemented with the images of melanoma from the archive of The International Skin Imaging Collaboration to eliminate class imbalances and improve network accuracy. The search for existing neural networks that provide high accuracy was conducted, and VGG16, MobileNet, and NASNetMobile neural networks have been selected for research. Transfer learning and fine-tuning has been applied to the given neural networks to adapt the networks for the task of skin lesion classification. It is established that the use of these techniques allows to obtain high accuracy of the neural network for this task. The process of converting a convolutional neural network to an optimized Flatbuffer format using TensorFlow Lite for placement and use on a mobile device is described. The performance characteristics of the selected neural networks on the mobile device are evaluated according to the classification time on the CPU and GPU and the amount of memory occupied by the file of a single network is compared. The neural network file size was compared before and after conversion. It has been shown that the use of the TensorFlow Lite converter significantly reduces the file size of the neural network without affecting its accuracy by using an optimized format. The results of the study indicate a high speed of application and compactness of networks on the device, and the use of graphical acceleration can significantly decrease the image classification time of the tumor. According to the analyzed parameters, NASNetMobile was selected as the optimal neural network to be used in the mobile application of melanoma detection.