توصيفگر ها :
يادگيري فدرال , ناهمگوني داده , خوشه بندي , عدالت و نابرابري
چكيده فارسي :
يادگيري فدرال چارچوبي نوين براي آموزش مدلهاي هوش مصنوعي بر روي دادههاي پراكنده كاربران است. در اين چارچوب، به جاي انتقال دادههاي خام، تنها وزنهاي مدل از دستگاههاي محلي كاربران به يك سرور مركزي ارسال و تجميع ميشود تا يك مدل مشترك جهاني ايجاد شود. در دور بعدي يادگيري، اين مدل تجميع شده به عنوان مدل اوليه براي كاربران ارسال ميشود تا اطلاعات كاربران به طور ضمني به اشتراك گذاشته شده و بهبود تدريجي كيفيت مدل حاصل شود. با اين حال، ناهمگوني دادههاي كاربران يكي از چالشهاي اصلي در اين زمينه است كه منجر به كاهش دقت مدل، كندي همگرايي و ناعادلانه شدن عملكرد بين كاربران ميشود.
هدف اين پژوهش ارائه رويكردي براي حل چالش ناهمگوني حاد داده است. براي اين منظور، رويكردي مبتني بر گروهبندي پويا و انتخاب هوشمندانه كاربران پيشنهاد شده است. در اين رويكرد سعي شده تا با استفاده از الگوريتم خوشهبندي طيفي بر پايه وزنهاي مدل ارسالي كاربران، كيفيت جداسازي كاربران با توزيع داده متفاوت بهبود يابد. همچنين زيرسيستم نمونهگيري پيشنهادي در هر دور يادگيري، كاربران را به صورت درونخوشهاي و با استفاده از الگوريتم راهزن چندبازو بر مبناي عملكرد گذشتهشان انتخاب ميكند تا به صورت همزمان تعميمپذيري مدل و سطح عدالت بين كاربران ارتقا پيدا كند. نتايج آزمونها نشان ميدهد كه دقت رويكرد پيشنهادي در 83 درصد از دورهاي يادگيري در سناريوهاي ناهمگوني حاد داده نسبت به رويكرد خطمبنا چيرگي كامل داشته و همزمان سطح عدالت بين كاربران را به طور ميانگين تا 21 درصد بهبود ميبخشد. از طرفي سرعت همگرايي شبكه در اين رويكرد افزايش قابل توجهي داشته است. به طوري كه در شبيهسازيهاي به طول 500 دور، به طور ميانگين از دور 66 به بعد، ميزان دقت كاربران شبكه از ميانگين 10 درصد از بهترين دورهاي رويكرد خطمبنا فراتر ميرود.
واژههاي كليدي: يادگيري فدرال، ناهمگوني داده، خوشهبندي، عدالت و نابرابري.
چكيده انگليسي :
Federated learning is a novel framework for training artificial intelligence models on distributed user data. In this framework, instead of transmitting raw data, only model weights are sent from local user devices to a central server and aggregated to create a shared global model. For the next learning round, this aggregated model is sent to users as a starting point, implicitly sharing information and progressively improving model quality.
However, a major challenge in this field is data heterogeneity, which leads to reduced model accuracy, slower convergence, and unfair performance among users. This research aims to solve the challenge of severe data heterogeneity by proposing a new approach based on dynamic user grouping and intelligent user selection. A spectral clustering algorithm is used, based on the model weights transmitted by users, to improve the separation of users with different data distributions. Additionally, the proposed sampling subsystem selects users from within their clusters in each learning round using a multi-armed bandit algorithm based on their past performance. This simultaneously improves both the modelʹs generalization and fairness. Test results show that the proposed approach achieves complete dominance in accuracy over the baseline method in 83% of learning rounds in scenarios with severe data heterogeneity. It also improves fairness among users by an average of 21%. Furthermore, the networkʹs convergence speed increases significantly. In 500-round simulations, the networkʹs accuracy, on average, surpasses the mean of the top 10% of the baselineʹs best rounds from round 66 onwards.
Keywords
Federated Learning, Data Heterogeneity, Clustering, Fairness and Inequality.