Intelligent driver assistance systems based on computer vision and deep learning

Abstract

This article presents an integrated Advanced Driver Assistance System (ADAS) that combines several key functional modules, such as collision warning, lane detection, traffic sign recognition, and pothole detection, which are implemented using modern deep learning models, particularly YOLOv8n. The system is optimized for devices with limited computational resources, such as Raspberry Pi or NVIDIA Jetson Nano, by employing a modular architecture and parallel data processing to ensure realtime performance. This research provides an overview of existing ADAS solutions and proposes new approaches that significantly enhance the efficiency of such systems. Key innovations include an efficient approach to lane detection based on object detection models, real-time traffic sign recognition with a flexible extraction and classification process, and a novel pothole detection system optimized for dashcam recordings. Additionally, the proposed driver alert system, which uses an LED strip, allows for intuitive hazard awareness without distracting the driver. Preliminary results confirm satisfactory detection accuracy across all components, although further optimization is required for successful deployment on low-resource devices. У статті представлено інтегровану інтелектуальну систему допомоги водію (ADAS), яка об’єднує кілька ключових функціональних модулів, як-от: система попередження про зіткнення, виявлення смуг руху, розпізнавання дорожніх знаків та виявлення ям на дорогах, що реалізовані за допомогою сучасних моделей глибинного навчання, зокрема YOLOv8n. Система оптимізована для роботи на пристроях Raspberry Pi або NVIDIA Jetson Nano із обмеженими обчислювальними ресурсами із застосуванням модульної архітектури та паралельного опрацювання даних для забезпечення швидкодії в режимі реального часу. В межах цього дослідження проведено огляд наявних рішень в ADAS та запропоновано нові підходи, що значно підвищують ефективність таких систем. Ключовими інноваціями є ефективний підхід до виявлення смуг руху на основі моделей виявлення об'єктів, виявлення дорожніх знаків у реальному часі з гнучким процесом екстракції та класифікації, а також нова система виявлення ям, оптимізована для відеозаписів із відеореєстратора. Крім того, запропонована система оповіщення водія за допомогою світло-діодної смуги дає змогу інтуїтивно привертати увагу до потенційних небезпек. Попередні результати підтверджують задовільну точність виявлення у всіх компонентах, проте для успішного впровадження на пристроях із низькими ресурсами потрібна додаткова оптимізація.