Comprehensive analysis of few-shot image classification method using triplet loss

Abstract

Задача класифікації зображень є дуже важливою сучасною проблемою в області комп’ютерного зору. Перші підходи до розв’язання цієї задачі полягали у використанні класичних алгоритмів. Незважаючи на певний прогрес, отриманий класичними підходами, більшість складніших задач класифікації зображень залишались нерозв’язаними до початку використання алгоритмів машинного навчання. Перші спроби застосування машинного навчання до задачі розпізнавання зображень допомогли класифікувати набори ознак, які опрацювати прямими алгоритмами не вдавалось. Проте видобування множини ознак залишалося за прямими алгоритмами тривалий час. Нещодавний прогрес у сфері глибокого навчання відкрив можливість побудови систем автоматичного видобування множини ознак. Це зумовило значний прогрес у області комп’ютерного бачення і не тільки. Обробка великомасштабних наборів даних призвела до прориву у задачах розпізнавання зображень. Проте з’явилося нове обмеження– залежність від кількості наявних проанотованих даних. Методи глибинного навчання для задачі класифікації зображення зазвичай потребують великої кількості проанотованих зображень. І більше, сучасні моделі схильні до неочікуваної поведінки на наборах даних з іншого домена (нових класів у випадку розпізнавання зображень). Методи навчання на малому наборі даних дозволяють під час тренування глибоких нейронних мереж використовувати значно менше даних, зберігаючи таку саму точність розпізнавання. Незважаючи на це, залишається компроміс між кількістю наявних даних та точністю моделі. В цій роботі ми побудували сіамську нейронну мережу на основі функції втрат трійки і дослідили, як наявна кількість даних впливає на точність розпізнавання сіамської нейронної мережі. Ми порівняли моделі, отримані навчанням на основі метрик, та базову модель, натреновану на великомасштабних наборах даних.Image classification task is a very important problem of a computer vision area. The first approaches to image classification tasks belong to a classic straightforward algorithm. Despite the successful applications of such algorithms a lot of image classification tasks had not been solved until machine learning approaches were involved in a computer vision area. An early successful result of machine learning applications helps researchers with extracted features classification which was not available without machine learning models. But handcrafter features were required which left the most complicated classification task impossible to solve. Recent success in deep learning allows researchers to implement automatic trainable feature extraction. This gave significant progress in the computer vision area last but not least. Processing large-scale datasets bring researchers great progress in automatic feature extraction thus combining such features with precious approaches led to groundbreaking in computer vision. But a new limitation has come - dependency on large amounts of data. Deep learning approaches to image classification task usually requires large-scale datasets. Moreover, modern models lead to unexpected behavior in distribution datasets. A few-shot learning approach of deep learning models allows us to dramatically reduce the amount of required data while keeping the same promising results. Despite reduced datasets, there is still a tradeoff between the amount of available data and trained model performance. In this paper, we implemented a siamese network based on triplet loss. Then, we investigate a relationship between the amount of available data and few-shot model performances. We compare the models obtained by metric-learning with baselines models trained using large-scale datasets.