Оцінка ефективності та продуктивності форматів серіалізації для розподілених систем

dc.citation.epage157
dc.citation.issue2
dc.citation.journalTitleКомп'ютерні системи та мережі
dc.citation.spage141
dc.citation.volume6
dc.contributor.affiliationНаціональний університет “Львівська політехніка”
dc.contributor.affiliationНаціональний університет “Львівська політехніка”
dc.contributor.affiliationLviv Polytechnic National University
dc.contributor.affiliationLviv Polytechnic National University
dc.contributor.authorМальцев, Е. Є.
dc.contributor.authorМуляревич, О. В.
dc.contributor.authorMaltsev, E.
dc.contributor.authorMuliarevych, O.
dc.coverage.placenameЛьвів
dc.coverage.placenameLviv
dc.date.accessioned2025-12-11T11:15:15Z
dc.date.created2024-10-10
dc.date.issued2024-10-10
dc.description.abstractПроведене дослідження дозволяє оцінити вплив різних форматів серіалізації на продуктивність міжсервісної комунікації, концентруючись на швидкості серіалізації, ефективності смуги передачі даних та затримці в середовищах, які інтегрують проміжне програмне забезпечення, що є характерним для мікросервісних архітектур. Через емпі- ричний аналіз широкого спектра форматів серіалізації та порівняння з традиційними стандартами демонструється, що компактність серіалізованих форматів даних є більш критичною для зменшення кінцевої затримки, ніж швидкість серіалізації. Незважаючи на високу швидкість серіалізації, такі протоколи, як FlatBuffers і Cap’n Proto показують нижчу продуктивність у розподілених середовищах через більший розмір повідомлень, на відміну від більш збалансованої продуктивності, що спостерігається у протоколах Avro, Thrift і Protobuf. Мета статті – провести огляд існуючих форматів даних та протоколів обробки та передачі повідомлень, шляхом практичних експериментів продемонструвати важливість оптимізації розміру повідомлень для підвищення ефективності мережі та її пропускної здатності.
dc.description.abstractThe conducted study allows us to evaluate the impact of various serialization formats on the performance of inter-service communication, focusing on serialization speed, data bandwidth efficiency, and latency in environments integrating middleware, characteristic of microservice architectures. Through an empirical analysis of a wide range of serialization formats and comparisons with traditional standards, it is demonstrated that the compactness of serialized data formats is more critical for reducing end-to-end latency than serialization speed itself. Despite high serialization speed, protocols such as FlatBuffers and Cap'n Proto show lower performance in distributed environments due to larger message sizes, in contrast to the more balanced performance observed in protocols like Avro, Thrift, and Protobuf. The purpose of the article is to review existing data formats and message processing and transmission protocols, and through practical experiments, demonstrate the importance of optimizing message sizes to enhance network efficiency and bandwidth capacity.
dc.format.extent141-157
dc.format.pages17
dc.identifier.citationМальцев Е. Є. Оцінка ефективності та продуктивності форматів серіалізації для розподілених систем / Е. Є. Мальцев, О. В. Муляревич // Комп'ютерні системи та мережі. — Львів : Видавництво Львівської політехніки, 2024. — Том 6. — № 2. — С. 141–157.
dc.identifier.citation2015Мальцев Е. Є., Муляревич О. В. Оцінка ефективності та продуктивності форматів серіалізації для розподілених систем // Комп'ютерні системи та мережі, Львів. 2024. Том 6. № 2. С. 141–157.
dc.identifier.citationenAPAMaltsev, E., & Muliarevych, O. (2024). Otsinka efektyvnosti ta produktyvnosti formativ serializatsii dlia rozpodilenykh system [Evaluation of efficiency and performance of serialization formats for distributed systems]. Computer Systems and Networks, 6(2), 141-157. Lviv Politechnic Publishing House. [in Ukrainian].
dc.identifier.citationenCHICAGOMaltsev E., Muliarevych O. (2024) Otsinka efektyvnosti ta produktyvnosti formativ serializatsii dlia rozpodilenykh system [Evaluation of efficiency and performance of serialization formats for distributed systems]. Computer Systems and Networks (Lviv), vol. 6, no 2, pp. 141-157 [in Ukrainian].
dc.identifier.doiDOI: https://doi.org/10.23939/csn2024.02.141
dc.identifier.urihttps://ena.lpnu.ua/handle/ntb/123974
dc.language.isouk
dc.publisherВидавництво Львівської політехніки
dc.publisherLviv Politechnic Publishing House
dc.relation.ispartofКомп'ютерні системи та мережі, 2 (6), 2024
dc.relation.ispartofComputer Systems and Networks, 2 (6), 2024
dc.relation.references1. Marii B. and Zholubak I.“Features of Development and Analysis of REST Systems”, ACPS, vol. 7, no. 2,p. 121–129, Dec. 2022, DOI: 10.23939/acps2022.02.121.
dc.relation.references2. Weerasinghe S. and Perera I. “Optimized Strategy in Cloud-Native Environment for Inter-Service Communication in Microservices”, Int. J. Onl. Eng., vol. 20, no. 01, p. 40–57, Jan. 2024, DOI:10.3991/ijoe.v20i01.44021.
dc.relation.references3. Proos D. P. and Carlsson N. "Performance Comparison of Messaging Protocols and Serialization Formats for Digital Twins in IoV", 2020 IFIP Networking Conference (Networking), Paris, France, 2020, p. 10-18.
dc.relation.references4. Buono V. & Petrovic P. (2021). Enhance Inter-service Communication in Supersonic K-Native RESTbased Java Microservice Architectures (Dissertation). url https://urn.kb.se/resolve?urn=urn:nbn:se:hkr:diva-22135
dc.relation.references5. Morschel L. et al. “dCache – Efficient Message Encoding For Inter-Service Communication in dCache: Evaluation of Existing Serialization Protocols as a Replacement for Java Object Serialization”, EPJ Web Conf., vol.245, p. 05017, 2020, DOI: 10.1051/epjconf/202024505017.
dc.relation.references6. Friesel D. and Spinczyk O.. “Data Serialization Formats for the Internet of Things”, Electronic Communications of the EASST, p. Volume 80: Conference on Networked Systems 2021 (NetSys 2021), Sep. 2021,DOI: 10.14279/TUJ.ECEASST.80.1134.
dc.relation.references7. Luis Á., Casares P., Cuadrado-Gallego J. J., and Patricio M. A., “PSON: A Serialization Format for IoT Sensor Networks”, Sensors, vol. 21, no. 13, p. 4559, Jul. 2021, DOI: 10.3390/s21134559.
dc.relation.references8. Viotti J. C. and Kinderkhedia M. “A Survey of JSON-compatible Binary Serialization Specifications”, arXiv, Jan. 10, 2022. DOI: 10.48550/arXiv.2201.02089.
dc.relation.references9. Kumar P. K., Agarwal R., Shivaprasad R., Sitaram D., and Kalambur S. “Performance Characterization of Communication Protocols in Microservice Applications”, in 2021 International Conference on Smart Applications, Communications and Networking (SmartNets), Glasgow, United Kingdom: IEEE, Sep. 2021, p. 1–5.DOI: 10.1109/SmartNets50376.2021.9555425.
dc.relation.references10. Viotti J. C. and Kinderkhedia M.“Benchmarking JSON BinPack”, 2022, DOI:10.48550/ARXIV.2211.12799.
dc.relation.references11. Huang B.and Tang Y. “Research on optimization of real-time efficient storage algorithm in data information serialization”, PLoS ONE, vol. 16, no. 12, p. e0260697, Dec. 2021, DOI: 10.1371/journal.pone.0260697.
dc.relation.references12. Ahmad T., Ars Z. A. and Hofstee H. P.,“Benchmarking Apache Arrow Flight -- A wire-speed protocol for data transfer, querying and microservices”, arXiv, Apr. 08, 2022. DOI: 10.48550/arXiv.2204.03032.
dc.relation.references13. Dauda A. B., Adam M. S., Mustapha M. A., Mabu A. M.,and Mustafa S., “Soap serialization effect on communication nodes and protocols”, 2020, DOI: 10.48550/ARXIV.2012.12578.
dc.relation.references14. Evans D. “Energy-Efficient Transaction Serialization for IoT Devices”, j. of Comput. sci. res., vol. 2, no.2, p. 1–16, May 2020, DOI: 10.30564/jcsr.v2i2.1620.
dc.relation.references15. Viotti J. C. and Kinderkhedia M. “A Benchmark of JSON-compatible Binary Serialization Specifications”,2022, DOI: 10.48550/ARXIV.2201.03051.
dc.relation.references16. Protocol Buffers Version 3 Language Specification. Accessed: Feb. 20, 2024. [Online]. Available:https://protobuf.dev/reference/protobuf/proto3-spec/
dc.relation.references17. Currier C., “Protocol Buffers,” in Mobile Forensics – The File Format Handbook: Common File Formats and File Systems Used in Mobile Devices, C. Hummert and D. Pawlaszczyk, Eds., Cham: Springer International Publishing, 2022, p. 223–260. DOI: 10.1007/978-3-030-98467-0_9.
dc.relation.references18. Wang X. and Xie Z.,“The Case For Alternative Web Archival Formats To Expedite The Data-To-Insight Cycle”, in Proceedings of the ACM/IEEE Joint Conference on Digital Libraries in 2020, in JCDL ’20. New York, NY, USA: Association for Computing Machinery, Aug. 2020, p. 177–186. DOI: 10.1145/3383583.3398542.
dc.relation.references19. Li T., Shi H. and Lu X. “HatRPC: hint-accelerated thrift RPC over RDMA”, in Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, in SC ’21. New York, NY, USA: Association for Computing Machinery, Nov. 2021, p. 1–14. DOI: 10.1145/3458817.3476191.
dc.relation.references20. Sorokin K., "Benchmark comparing various data serialization libraries" [Online]. Available:https://github.com/thekvs/cpp-serializers. [Accessed: March 1, 2024].
dc.relation.references21. Hamerski J. C., Domingues A. R. P., Moraes F. G. and Amory A. "Evaluating Serialization for a Publish-Subscribe Based Middleware for MPSoCs", 2018 25th IEEE International Conference on Electronics, Circuits and Systems (ICECS), Bordeaux, France, 2018, p. 773–776, DOI: 10.1109/ICECS.2018.8618003.
dc.relation.references22. Peltenburg J., Hadnagy Á., Brobbel M., Morrow R., and Al-Ars м, “Tens of gigabytes per second JSONto-Arrow conversion with FPGA accelerators,” in 2021 International Conference on Field-Programmable Technology (ICFPT), Dec. 2021, p. 1–9. DOI: 10.1109/ICFPT52863.2021.9609833.
dc.relation.referencesen1. Marii B. and Zholubak I."Features of Development and Analysis of REST Systems", ACPS, vol. 7, no. 2,p. 121–129, Dec. 2022, DOI: 10.23939/acps2022.02.121.
dc.relation.referencesen2. Weerasinghe S. and Perera I. "Optimized Strategy in Cloud-Native Environment for Inter-Service Communication in Microservices", Int. J. Onl. Eng., vol. 20, no. 01, p. 40–57, Jan. 2024, DOI:10.3991/ijoe.v20i01.44021.
dc.relation.referencesen3. Proos D. P. and Carlsson N. "Performance Comparison of Messaging Protocols and Serialization Formats for Digital Twins in IoV", 2020 IFIP Networking Conference (Networking), Paris, France, 2020, p. 10-18.
dc.relation.referencesen4. Buono V. & Petrovic P. (2021). Enhance Inter-service Communication in Supersonic K-Native RESTbased Java Microservice Architectures (Dissertation). url https://urn.kb.se/resolve?urn=urn:nbn:se:hkr:diva-22135
dc.relation.referencesen5. Morschel L. et al. "dCache – Efficient Message Encoding For Inter-Service Communication in dCache: Evaluation of Existing Serialization Protocols as a Replacement for Java Object Serialization", EPJ Web Conf., vol.245, p. 05017, 2020, DOI: 10.1051/epjconf/202024505017.
dc.relation.referencesen6. Friesel D. and Spinczyk O.. "Data Serialization Formats for the Internet of Things", Electronic Communications of the EASST, p. Volume 80: Conference on Networked Systems 2021 (NetSys 2021), Sep. 2021,DOI: 10.14279/TUJ.ECEASST.80.1134.
dc.relation.referencesen7. Luis Á., Casares P., Cuadrado-Gallego J. J., and Patricio M. A., "PSON: A Serialization Format for IoT Sensor Networks", Sensors, vol. 21, no. 13, p. 4559, Jul. 2021, DOI: 10.3390/s21134559.
dc.relation.referencesen8. Viotti J. C. and Kinderkhedia M. "A Survey of JSON-compatible Binary Serialization Specifications", arXiv, Jan. 10, 2022. DOI: 10.48550/arXiv.2201.02089.
dc.relation.referencesen9. Kumar P. K., Agarwal R., Shivaprasad R., Sitaram D., and Kalambur S. "Performance Characterization of Communication Protocols in Microservice Applications", in 2021 International Conference on Smart Applications, Communications and Networking (SmartNets), Glasgow, United Kingdom: IEEE, Sep. 2021, p. 1–5.DOI: 10.1109/SmartNets50376.2021.9555425.
dc.relation.referencesen10. Viotti J. C. and Kinderkhedia M."Benchmarking JSON BinPack", 2022, DOI:10.48550/ARXIV.2211.12799.
dc.relation.referencesen11. Huang B.and Tang Y. "Research on optimization of real-time efficient storage algorithm in data information serialization", PLoS ONE, vol. 16, no. 12, p. e0260697, Dec. 2021, DOI: 10.1371/journal.pone.0260697.
dc.relation.referencesen12. Ahmad T., Ars Z. A. and Hofstee H. P.,"Benchmarking Apache Arrow Flight -- A wire-speed protocol for data transfer, querying and microservices", arXiv, Apr. 08, 2022. DOI: 10.48550/arXiv.2204.03032.
dc.relation.referencesen13. Dauda A. B., Adam M. S., Mustapha M. A., Mabu A. M.,and Mustafa S., "Soap serialization effect on communication nodes and protocols", 2020, DOI: 10.48550/ARXIV.2012.12578.
dc.relation.referencesen14. Evans D. "Energy-Efficient Transaction Serialization for IoT Devices", j. of Comput. sci. res., vol. 2, no.2, p. 1–16, May 2020, DOI: 10.30564/jcsr.v2i2.1620.
dc.relation.referencesen15. Viotti J. C. and Kinderkhedia M. "A Benchmark of JSON-compatible Binary Serialization Specifications",2022, DOI: 10.48550/ARXIV.2201.03051.
dc.relation.referencesen16. Protocol Buffers Version 3 Language Specification. Accessed: Feb. 20, 2024. [Online]. Available:https://protobuf.dev/reference/protobuf/proto3-spec/
dc.relation.referencesen17. Currier C., "Protocol Buffers," in Mobile Forensics – The File Format Handbook: Common File Formats and File Systems Used in Mobile Devices, C. Hummert and D. Pawlaszczyk, Eds., Cham: Springer International Publishing, 2022, p. 223–260. DOI: 10.1007/978-3-030-98467-0_9.
dc.relation.referencesen18. Wang X. and Xie Z.,"The Case For Alternative Web Archival Formats To Expedite The Data-To-Insight Cycle", in Proceedings of the ACM/IEEE Joint Conference on Digital Libraries in 2020, in JCDL ’20. New York, NY, USA: Association for Computing Machinery, Aug. 2020, p. 177–186. DOI: 10.1145/3383583.3398542.
dc.relation.referencesen19. Li T., Shi H. and Lu X. "HatRPC: hint-accelerated thrift RPC over RDMA", in Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, in SC ’21. New York, NY, USA: Association for Computing Machinery, Nov. 2021, p. 1–14. DOI: 10.1145/3458817.3476191.
dc.relation.referencesen20. Sorokin K., "Benchmark comparing various data serialization libraries" [Online]. Available:https://github.com/thekvs/cpp-serializers. [Accessed: March 1, 2024].
dc.relation.referencesen21. Hamerski J. C., Domingues A. R. P., Moraes F. G. and Amory A. "Evaluating Serialization for a Publish-Subscribe Based Middleware for MPSoCs", 2018 25th IEEE International Conference on Electronics, Circuits and Systems (ICECS), Bordeaux, France, 2018, p. 773–776, DOI: 10.1109/ICECS.2018.8618003.
dc.relation.referencesen22. Peltenburg J., Hadnagy Á., Brobbel M., Morrow R., and Al-Ars m, "Tens of gigabytes per second JSONto-Arrow conversion with FPGA accelerators," in 2021 International Conference on Field-Programmable Technology (ICFPT), Dec. 2021, p. 1–9. DOI: 10.1109/ICFPT52863.2021.9609833.
dc.relation.urihttps://urn.kb.se/resolve?urn=urn:nbn:se:hkr:diva-22135
dc.relation.urihttps://protobuf.dev/reference/protobuf/proto3-spec/
dc.relation.urihttps://github.com/thekvs/cpp-serializers
dc.rights.holder© Національний університет „Львівська політехніка“, 2024
dc.rights.holder© Мальцев Е. Є., Муляревич О. В., 2024
dc.subjectкодування даних
dc.subjectоцінка продуктивності
dc.subjectпротоколи передачі повідомлень
dc.subjectрозподілена система
dc.subjectформати даних
dc.subjectdata encoding
dc.subjectperformance evaluation
dc.subjectmessage transmission protocols
dc.subjectdistributed system
dc.subjectdata formats
dc.subject.udc004.9
dc.subject.udc004.62
dc.subject.udc004.627
dc.titleОцінка ефективності та продуктивності форматів серіалізації для розподілених систем
dc.title.alternativeEvaluation of efficiency and performance of serialization formats for distributed systems
dc.typeArticle

Files

Original bundle

Now showing 1 - 1 of 1
Loading...
Thumbnail Image
Name:
2024v6n2_Maltsev_E-Evaluation_of_efficiency_141-157.pdf
Size:
1.77 MB
Format:
Adobe Portable Document Format

License bundle

Now showing 1 - 1 of 1
Loading...
Thumbnail Image
Name:
license.txt
Size:
1.79 KB
Format:
Plain Text
Description: