Analysis of real-time processing approaches for large data volumes in metering infrastructure

Abstract

Smart grid systems and communication technologies, such as Advanced Metering Infrastructure (AMI), have revolutionized utility service management and monitoring. AMI leverages smart meters equipped with advanced communication capabilities, facilitating bidirectional communication between utilities and consumers. The increasing deployment of smart meters and the adoption of sub-hourly data collection requirements by utility companies highlight significant data volume growth. Thus, there is a need for efficient real-time data processing solutions as existing approaches may not meet previously established Service-Level Agreements (SLAs) concerning performance, accuracy, and scalability metrics. This research aims to comprehensively review the latest publications relevant to distributed real-time data processing methods for smart grid applications and outline problems for further research. Specifically, the study delves into the effectiveness and application of reviewed approaches in managing the constant stream of data from smart meters and IoT devices within the smart grid context. By analysing existing methodologies and advancements, this study seeks to identify challenges and opportunities in real-time data processing for smart grid infrastructures, focusing on addressing the complexities of processing, managing, and storing large volumes of real-time data. The literature review revealed two primary applications of real-time data processing: optimization of data streaming performance and data analysis. The review encompasses various studies, each presenting distinct methodologies and technologies applied to address the challenges of processing large volumes of realtime data from smart meters and IoT devices. Future research should address the challenges and limitations discovered in this study. Інтелектуальні енергосистеми та комунікаційні технології, такі як передова вимірювальна інфраструктура (Advanced Metering Infrastructure, AMI), здійснили революцію в управлінні та моніторингу комунальних послуг. AMI використовує “розумні” лічильники (Smart Meter, SM), оснащені розширеними комунікаційними можливостями, що полегшує двосторонній зв’язок між комунальними підприємствами та споживачами. Отже, існує потреба в ефективних рішеннях для опрацювання даних у режимі реального часу, оскільки відомі підходи можуть не відповідати раніше встановленим угодам про рівень обслуговування (SLA) щодо показників продуктивності, точності та масштабованості. Метою цього дослідження є детальний огляд останніх публікацій, що стосуються методів розподіленої обробки даних в реальному часі для застосування в інтелектуальних вимірювальних мережах, а також виявлення проблем для подальших досліджень. Зокрема, це дослідження заглиблюється в ефективність і застосування розглянутих підходів в управлінні постійним потоком даних від розумних лічильників та пристроїв Інтернету речей. Це дослідження має на меті визначити проблеми та перспективи опрацювання даних у реальному часі для інфраструктури інтелектуальних мереж, зосереджуючись на вирішенні складнощів опрацювання, управління та зберігання великих обсягів даних у реальному часі. Огляд літератури виявив дві основні сфери застосування опрацювання даних у реальному часі: оптимізація продуктивності потокового передавання даних та аналіз даних. Аналіз охоплює різні дослідження, кожне з яких представляє окремі методології та технології, що застосовують для вирішення проблем опрацювання великих обсягів даних у реальному часі від розумних лічильників та пристроїв Інтернету речей. Майбутні дослідження повинні бути спрямовані на вирішення проблем та подолання обмежень, виявлених у цьому дослідженні.