Застосування згорткової нейронної мережі для виявлення меланоми за зображенням новоутворення на мобільному пристрої
dc.citation.epage | 14 | |
dc.citation.issue | 1 | |
dc.citation.journalTitle | Український журнал інформаційних технологій | |
dc.citation.spage | 8 | |
dc.citation.volume | 3 | |
dc.contributor.affiliation | Національний університет “Львівська політехніка” | |
dc.contributor.affiliation | Lviv Polytechnic National University | |
dc.contributor.author | Дем’янець, Т. В. | |
dc.contributor.author | Федасюк, Д. В. | |
dc.contributor.author | Demianets, T. V. | |
dc.contributor.author | Fedasyuk, D. V. | |
dc.coverage.placename | Львів | |
dc.coverage.placename | Lviv | |
dc.date.accessioned | 2023-03-23T10:27:04Z | |
dc.date.available | 2023-03-23T10:27:04Z | |
dc.date.created | 2021-10-10 | |
dc.date.issued | 2021-10-10 | |
dc.description.abstract | Розглянуто сучасні методи виявлення меланоми за зображенням новоутворення, проаналізовано їх переваги та недоліки. У статті продемонстровано прототип мобільного застосунку для виявлення меланоми за зображенням родимки на підставі згорткової нейронної мережі, котрий розробляється для операційної системи Android. Доповнено набір даних на підставі HAM10000 для навчання задля усунення незбалансованості класів та покращення показників точності мережі. Виконано пошук наявних нейронних мереж, котрі забезпечують високу точність, та вибрано для дослідження нейромережі VGG16, MobileNet та NASNetMobile. До наведених нейронних мереж застосовано техніки передавання навченості та точного налаштування для адаптування мереж до задачі класифікації уражень шкіри. Встановлено, що використання згаданих технік дає змогу отримати високі показники точності нейронної мережі для вказаного завдання. Описано процес конвертування згорткової нейронної мережі в оптимізований формат Flatbuffer засобами TensorFlow Lite для розміщення та використання на мобільному пристрої. Оцінено характеристики швидкодії вибраних нейронних мереж на мобільному пристрої за часом класифікації на центральному і графічному процесорах та здійснено порівняння обсягу пам’яті, яку займає файл окремої мережі. Виконано порівняння розміру файлу нейронної мережі до конвертування та після. Продемонстровано, що використання конвертора TensorFlow Lite значно зменшує розмір файлу нейронної мережі завдяки оптимізованому формату. Результати дослідження свідчать про високу швидкодію застосунку та компактність мереж на пристрої, а використання графічного пришвидшення дає змогу значно зменшити тривалість класифікації зображень новоутворення. На підставі проаналізованих параметрів вибрано NASNetMobile як оптимальну нейронну мережу для використання у мобільному застосунку для виявлення меланоми. | |
dc.description.abstract | A melanoma is the deadliest skin cancer, so early diagnosis can provide a positive prognosis for treatment. Modern methods for early detecting melanoma on the image of the tumor are considered, and their advantages and disadvantages are analyzed. The article demonstrates a prototype of a mobile application for the detection of melanoma on the image of a mole based on a convolutional neural network, which is developed for the Android operating system. The mobile application contains melanoma detection functions, history of the previous examinations and a gallery with images of the previous examinations grouped by the location of the lesion. The HAM10000-based training dataset has been supplemented with the images of melanoma from the archive of The International Skin Imaging Collaboration to eliminate class imbalances and improve network accuracy. The search for existing neural networks that provide high accuracy was conducted, and VGG16, MobileNet, and NASNetMobile neural networks have been selected for research. Transfer learning and fine-tuning has been applied to the given neural networks to adapt the networks for the task of skin lesion classification. It is established that the use of these techniques allows to obtain high accuracy of the neural network for this task. The process of converting a convolutional neural network to an optimized Flatbuffer format using TensorFlow Lite for placement and use on a mobile device is described. The performance characteristics of the selected neural networks on the mobile device are evaluated according to the classification time on the CPU and GPU and the amount of memory occupied by the file of a single network is compared. The neural network file size was compared before and after conversion. It has been shown that the use of the TensorFlow Lite converter significantly reduces the file size of the neural network without affecting its accuracy by using an optimized format. The results of the study indicate a high speed of application and compactness of networks on the device, and the use of graphical acceleration can significantly decrease the image classification time of the tumor. According to the analyzed parameters, NASNetMobile was selected as the optimal neural network to be used in the mobile application of melanoma detection. | |
dc.format.extent | 8-14 | |
dc.format.pages | 7 | |
dc.identifier.citation | Дем’янець Т. В. Застосування згорткової нейронної мережі для виявлення меланоми за зображенням новоутворення на мобільному пристрої / Т. В. Дем’янець, Д. В. Федасюк // Український журнал інформаційних технологій. — Львів : Видавництво Львівської політехніки, 2021. — Том 3. — № 1. — С. 8–14. | |
dc.identifier.citationen | Demianets T. V., Fedasyuk D. V. (2021) Zastosuvannia zghortkovoi neironnoi merezhi dlia vyiavlennia melanomy za zobrazhenniam novoutvorennia na mobilnomu prystroi [Application of convolutional neural network for detection of melanoma using skin lesion image on mobile device]. Ukrainian Journal of Information Technology (Lviv), vol. 3, no 1, pp. 8-14 [in Ukrainian]. | |
dc.identifier.doi | https://doi.org/10.23939/ujit2021.03.008 | |
dc.identifier.uri | https://ena.lpnu.ua/handle/ntb/57772 | |
dc.language.iso | uk | |
dc.publisher | Видавництво Львівської політехніки | |
dc.publisher | Lviv Politechnic Publishing House | |
dc.relation.ispartof | Український журнал інформаційних технологій, 1 (3), 2021 | |
dc.relation.ispartof | Ukrainian Journal of Information Technology, 1 (3), 2021 | |
dc.relation.references | [1] Abbasi, N. R., Shaw, H. M., Rigel, D. S., Friedman, R. J., McCarthy, W. H., Osman, I., Kopf, A. W., & Polsky, D. (2004). Early Diagnosis of Cutaneous Melanoma. JAMA, 292(22), 2771–2776. https://doi.org/10.1001/jama.292.22.2771 | |
dc.relation.references | [2] Adding metadata to TensorFlow Lite models. (2021). TensorFlow. https://www.tensorflow.org/lite/guide | |
dc.relation.references | [3] Bakheet, S. (2017). An SVM Framework for Malignant Melanoma Detection Based on Optimized HOG Features. Computation, 5(4), 4. https://doi.org/10.3390/computation5010004 | |
dc.relation.references | [4] Codella, N., Cai, J., Abedini, M., Garnavi, R., Halpern, A., Smith, J. R. (2015). Deep Learning, Sparse Coding, and SVM for Melanoma Recognition in Dermoscopy Images. In: Zhou L., Wang L., Wang Q., Shi Y. (Eds) Machine Learning in Medical Imaging. MLMI 2015. Lecture Notes in Computer Science, vol. 9352. Springer, Cham. https://doi.org/10.1007/978-3-319-24888-2_15 | |
dc.relation.references | [5] Deng, J., Dong, W., Socher, R., Li, L. J., Kai Li, & Li FeiFei. (2009). ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition, 248–255. https://doi.org/10.1109/cvpr.2009.5206848 | |
dc.relation.references | [6] Hussain, M., Bird, J. J., Faria, D. R. (2019). A Study on CNN Transfer Learning for Image Classification. In: Lotfi A., Bouchachia H., Gegov A., Langensiepen C., McGinnity M. (Eds) Advances in Computational Intelligence Systems. UKCI 2018. Advances in Intelligent Systems and Computing, vol. 840. Springer, Cham. https://doi.org/10.1007/978-3-319-97982-3_16 | |
dc.relation.references | [7] Ignatov, A., et al. (2019). AI Benchmark: Running Deep Neural Networks on Android Smartphones. In: Leal-Taixé L., Roth S. (Eds.) Computer Vision – ECCV 2018 Workshops. ECCV 2018. Lecture Notes in Computer Science, vol. 11133. Springer, Cham. https://doi.org/10.1007/978-3-030-11021-5_19 | |
dc.relation.references | [8] Kasmi, R., & Mokrani, K. (2016). Classification of malignant melanoma and benign skin lesions: implementation of automatic ABCD rule. IET Image Processing, 10(6), 448–455. https://doi.org/10.1049/iet-ipr.2015.0385 | |
dc.relation.references | [9] Miller, A. J., & Mihm, M. C. (2006). Melanoma. New England Journal of Medicine, 355(1), 51–65. https://doi.org/10.1056/nejmra052166 | |
dc.relation.references | [10] Mustafa, S., Dauda, A. B., & Dauda, M. (2017). Image processing and SVM classification for melanoma detection. 2017 International Conference on Computing Networking and Informatics (ICCNI), 1–5. https://doi.org/10.1109/iccni.2017.8123777 | |
dc.relation.references | [11] Nasr-Esfahani, E., Samavi, S., Karimi, N., Soroushmehr, S., Jafari, M., Ward, K., & Najarian, K. (2016). Melanoma detection by analysis of clinical images using convolutional neural network. 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). https://doi.org/10.1109/embc.2016.7590963 | |
dc.relation.references | [12] Ottom, M. A. (2019). Convolutional neural network for diagnosing skin cancer. International Journal of Advanced Computer Science and Applications, 10(7). https://doi.org/10.14569/ijacsa.2019.0100746 | |
dc.relation.references | [13] Powers, D. M. W. (2011). Evaluation: From precision, recall and F-measure to ROC, informedness, markedness & correlation. Journal of Machine Learning Technologies, 2(1), 37–63. https://doi.org/10.9735/2229-3981 | |
dc.relation.references | [14] Raut, N., Shah, A., Vira, S., & Sampat, H. (2018). A study on different techniques for skin cancer detection. International Research Journal of Engineering and Technology (IRJET), 5(3), 613–617. | |
dc.relation.references | [15] Refianti, R., Benny, A., & Poetri, R. (2019). Classification of Melanoma Skin Cancer using Convolutional Neural Network. International Journal of Advanced Computer Science and Applications, 10(3), 409–417. https://doi.org/10.14569/ijacsa.2019.0100353 | |
dc.relation.references | [16] Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., and Chen, L. (2018). MobileNetV2: Inverted Residuals and Linear Bottlenecks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 4510–4520. https://doi.org/10.1109/CVPR.2018.00474 | |
dc.relation.references | [17] Simonyan, K., Zisserman, A. (2015). Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv. https://arxiv.org/abs/1409.1556 | |
dc.relation.references | [18] Sultana F., Sufian A., & Dutta P. (2018). Advancements in Image Classification using Convolutional Neural Network. 2018 Fourth International Conference on Research in Computational Intelligence and Communication Networks (ICRCICN). https://doi.org/10.1109/icrcicn.2018.8718718 | |
dc.relation.references | [19] TensorFlow Lite guide. (2021). TensorFlow. https://www.tensorflow.org/lite/guide | |
dc.relation.references | [20] Tschandl, P., Rosendahl, C., & Kittler, H. (2018). The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions. Scientific Data, 5(1). https://doi.org/10.1038/sdata.2018.161 | |
dc.relation.references | [21] Yu, C., Yang, S., Kim, W., Jung, J., Chung, K.-Y., Lee, S. W., & Oh, B. (2018). Acral melanoma detection using a convolutional neural network for dermoscopy images. PLOS ONE, 13(3). https://doi.org/10.1371/journal.pone.0193321 | |
dc.relation.references | [22] Zoph, B., Vasudevan, V., Shlens, J., and Le, Q.V. (2018). Learning Transferable Architectures for Scalable Image Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 8697–8710. https://doi.org/10.1109/CVPR.2018.00907 | |
dc.relation.referencesen | [1] Abbasi, N. R., Shaw, H. M., Rigel, D. S., Friedman, R. J., McCarthy, W. H., Osman, I., Kopf, A. W., & Polsky, D. (2004). Early Diagnosis of Cutaneous Melanoma. JAMA, 292(22), 2771–2776. https://doi.org/10.1001/jama.292.22.2771 | |
dc.relation.referencesen | [2] Adding metadata to TensorFlow Lite models. (2021). TensorFlow. https://www.tensorflow.org/lite/guide | |
dc.relation.referencesen | [3] Bakheet, S. (2017). An SVM Framework for Malignant Melanoma Detection Based on Optimized HOG Features. Computation, 5(4), 4. https://doi.org/10.3390/computation5010004 | |
dc.relation.referencesen | [4] Codella, N., Cai, J., Abedini, M., Garnavi, R., Halpern, A., Smith, J. R. (2015). Deep Learning, Sparse Coding, and SVM for Melanoma Recognition in Dermoscopy Images. In: Zhou L., Wang L., Wang Q., Shi Y. (Eds) Machine Learning in Medical Imaging. MLMI 2015. Lecture Notes in Computer Science, vol. 9352. Springer, Cham. https://doi.org/10.1007/978-3-319-24888-2_15 | |
dc.relation.referencesen | [5] Deng, J., Dong, W., Socher, R., Li, L. J., Kai Li, & Li FeiFei. (2009). ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition, 248–255. https://doi.org/10.1109/cvpr.2009.5206848 | |
dc.relation.referencesen | [6] Hussain, M., Bird, J. J., Faria, D. R. (2019). A Study on CNN Transfer Learning for Image Classification. In: Lotfi A., Bouchachia H., Gegov A., Langensiepen C., McGinnity M. (Eds) Advances in Computational Intelligence Systems. UKCI 2018. Advances in Intelligent Systems and Computing, vol. 840. Springer, Cham. https://doi.org/10.1007/978-3-319-97982-3_16 | |
dc.relation.referencesen | [7] Ignatov, A., et al. (2019). AI Benchmark: Running Deep Neural Networks on Android Smartphones. In: Leal-Taixé L., Roth S. (Eds.) Computer Vision – ECCV 2018 Workshops. ECCV 2018. Lecture Notes in Computer Science, vol. 11133. Springer, Cham. https://doi.org/10.1007/978-3-030-11021-5_19 | |
dc.relation.referencesen | [8] Kasmi, R., & Mokrani, K. (2016). Classification of malignant melanoma and benign skin lesions: implementation of automatic ABCD rule. IET Image Processing, 10(6), 448–455. https://doi.org/10.1049/iet-ipr.2015.0385 | |
dc.relation.referencesen | [9] Miller, A. J., & Mihm, M. C. (2006). Melanoma. New England Journal of Medicine, 355(1), 51–65. https://doi.org/10.1056/nejmra052166 | |
dc.relation.referencesen | [10] Mustafa, S., Dauda, A. B., & Dauda, M. (2017). Image processing and SVM classification for melanoma detection. 2017 International Conference on Computing Networking and Informatics (ICCNI), 1–5. https://doi.org/10.1109/iccni.2017.8123777 | |
dc.relation.referencesen | [11] Nasr-Esfahani, E., Samavi, S., Karimi, N., Soroushmehr, S., Jafari, M., Ward, K., & Najarian, K. (2016). Melanoma detection by analysis of clinical images using convolutional neural network. 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). https://doi.org/10.1109/embc.2016.7590963 | |
dc.relation.referencesen | [12] Ottom, M. A. (2019). Convolutional neural network for diagnosing skin cancer. International Journal of Advanced Computer Science and Applications, 10(7). https://doi.org/10.14569/ijacsa.2019.0100746 | |
dc.relation.referencesen | [13] Powers, D. M. W. (2011). Evaluation: From precision, recall and F-measure to ROC, informedness, markedness & correlation. Journal of Machine Learning Technologies, 2(1), 37–63. https://doi.org/10.9735/2229-3981 | |
dc.relation.referencesen | [14] Raut, N., Shah, A., Vira, S., & Sampat, H. (2018). A study on different techniques for skin cancer detection. International Research Journal of Engineering and Technology (IRJET), 5(3), 613–617. | |
dc.relation.referencesen | [15] Refianti, R., Benny, A., & Poetri, R. (2019). Classification of Melanoma Skin Cancer using Convolutional Neural Network. International Journal of Advanced Computer Science and Applications, 10(3), 409–417. https://doi.org/10.14569/ijacsa.2019.0100353 | |
dc.relation.referencesen | [16] Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., and Chen, L. (2018). MobileNetV2: Inverted Residuals and Linear Bottlenecks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 4510–4520. https://doi.org/10.1109/CVPR.2018.00474 | |
dc.relation.referencesen | [17] Simonyan, K., Zisserman, A. (2015). Very Deep Convolutional Networks for Large-Scale Image Recognition. arXiv. https://arxiv.org/abs/1409.1556 | |
dc.relation.referencesen | [18] Sultana F., Sufian A., & Dutta P. (2018). Advancements in Image Classification using Convolutional Neural Network. 2018 Fourth International Conference on Research in Computational Intelligence and Communication Networks (ICRCICN). https://doi.org/10.1109/icrcicn.2018.8718718 | |
dc.relation.referencesen | [19] TensorFlow Lite guide. (2021). TensorFlow. https://www.tensorflow.org/lite/guide | |
dc.relation.referencesen | [20] Tschandl, P., Rosendahl, C., & Kittler, H. (2018). The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions. Scientific Data, 5(1). https://doi.org/10.1038/sdata.2018.161 | |
dc.relation.referencesen | [21] Yu, C., Yang, S., Kim, W., Jung, J., Chung, K.-Y., Lee, S. W., & Oh, B. (2018). Acral melanoma detection using a convolutional neural network for dermoscopy images. PLOS ONE, 13(3). https://doi.org/10.1371/journal.pone.0193321 | |
dc.relation.referencesen | [22] Zoph, B., Vasudevan, V., Shlens, J., and Le, Q.V. (2018). Learning Transferable Architectures for Scalable Image Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 8697–8710. https://doi.org/10.1109/CVPR.2018.00907 | |
dc.relation.uri | https://doi.org/10.1001/jama.292.22.2771 | |
dc.relation.uri | https://www.tensorflow.org/lite/guide | |
dc.relation.uri | https://doi.org/10.3390/computation5010004 | |
dc.relation.uri | https://doi.org/10.1007/978-3-319-24888-2_15 | |
dc.relation.uri | https://doi.org/10.1109/cvpr.2009.5206848 | |
dc.relation.uri | https://doi.org/10.1007/978-3-319-97982-3_16 | |
dc.relation.uri | https://doi.org/10.1007/978-3-030-11021-5_19 | |
dc.relation.uri | https://doi.org/10.1049/iet-ipr.2015.0385 | |
dc.relation.uri | https://doi.org/10.1056/nejmra052166 | |
dc.relation.uri | https://doi.org/10.1109/iccni.2017.8123777 | |
dc.relation.uri | https://doi.org/10.1109/embc.2016.7590963 | |
dc.relation.uri | https://doi.org/10.14569/ijacsa.2019.0100746 | |
dc.relation.uri | https://doi.org/10.9735/2229-3981 | |
dc.relation.uri | https://doi.org/10.14569/ijacsa.2019.0100353 | |
dc.relation.uri | https://doi.org/10.1109/CVPR.2018.00474 | |
dc.relation.uri | https://arxiv.org/abs/1409.1556 | |
dc.relation.uri | https://doi.org/10.1109/icrcicn.2018.8718718 | |
dc.relation.uri | https://doi.org/10.1038/sdata.2018.161 | |
dc.relation.uri | https://doi.org/10.1371/journal.pone.0193321 | |
dc.relation.uri | https://doi.org/10.1109/CVPR.2018.00907 | |
dc.rights.holder | © Національний університет „Львівська політехніка“, 2021 | |
dc.subject | Android додаток | |
dc.subject | зображення новоутворень | |
dc.subject | штучний інтелект | |
dc.subject | машинне навчання | |
dc.subject | налаштування нейронної мережі | |
dc.subject | Android application | |
dc.subject | tumor images | |
dc.subject | artificial intelligence | |
dc.subject | machine learning | |
dc.subject | transfer learning | |
dc.subject | fine tuning | |
dc.subject.udc | 004.8 | |
dc.title | Застосування згорткової нейронної мережі для виявлення меланоми за зображенням новоутворення на мобільному пристрої | |
dc.title.alternative | Application of convolutional neural network for detection of melanoma using skin lesion image on mobile device | |
dc.type | Article |