پديد آورنده :
نظري، الهام
عنوان :
تجميع تطبيقي جزئي و آگاه از لايهها براي بهبود كارآمدي و شخصيسازي يادگيري فدرال
مقطع تحصيلي :
كارشناسي ارشد
گرايش تحصيلي :
هوش مصنوعي و رباتيكز
محل تحصيل :
اصفهان : دانشگاه صنعتي اصفهان
صفحه شمار :
يازده، 117ص. : مصور، جدول، نمودار
توصيفگر ها :
يادگيري فدرال , ميانگينگيري تطبيقي , همگامسازي جزئي , تجميع لايهاي , شخصيسازي , هزينه ارتباطي , دادههاي ناهمگن , يادگيري ماشين , حريم خصوصي
تاريخ ورود اطلاعات :
1404/09/25
رشته تحصيلي :
مهندسي كامپيوتر
دانشكده :
مهندسي برق و كامپيوتر
تاريخ ويرايش اطلاعات :
1404/10/07
چكيده فارسي :
يادگيري فدرال بهعنوان يك راهحل قدرتمند براي آموزش مدلهاي يادگيري ماشين بهصورت مشاركتي در بين مشتريان توزيعشده، درحاليكه حريم خصوصي دادهها حفظ ميشود، ظهور كرده است. بااينحال، يادگيري فدرال هنوز با چالشهاي عمدهاي از نظر سربار ارتباطي، همگرايي كند و عملكرد ضعيف تحت توزيع دادههاي ناهمگن مواجه است. يكي از تنگناهاي كليدي، همگامسازي دورهاي مدلهاي كامل است كه اغلب منجر به استفاده ناكارآمد از پهناي باند و واگرايي بين مدلهاي محلي ميشود.
اين پاياننامه دو الگوريتم نوين يادگيري فدرال FedALPA (ميانگينگيري جزئي لايهاي تطبيقي فدرال) و FedALPPA (تجميع جزئي و شخصيسازيشده لايهاي تطبيقي فدرال) را معرفي ميكند كه بهصورت مشترك اين محدوديتها را برطرف ميكنند. FedALPA ابتدا لايههاي مهم را شناسايي كرده و براي آنها بازه بهروزرساني سراسري سريعتري نسبت به ساير لايهها تعيين ميكند. تنها كسري از پارامترهاي هر لايه در هر گام محلي مبادله ميشود تا كل لايه در طول بازه خود پوشش داده شود. پس از تكميل يك چرخه پوشش كامل، اهميت لايهها دوباره محاسبه شده و زمانبندي جديد به دست ميآيد. FedALPPA اين رويكرد را با امكان شخصيسازي رفتار تجميع براي هر مشتري گسترش ميدهد. در هر همگامسازي، سرور براي هر لايه با وزنهاي تجميع ويژه هر مشتري و هر لايه، مدلها را تركيب كرده و پارامترهاي اختصاصي هر مشتري و هر لايه را توليد ميكند. همچنين بهصورت اختياري ميتوان پس از دريافت مدل، يك يادگيري سبك محلي انجام داد و يا زيرمجموعه كوچكي از لايهها را كاملاً محلي نگه داشت. اين روشها موجب كاهش هزينههاي ارتباطي، بهبود سرعت همگرايي و افزايش دقت نهايي مدل بهويژه در شرايط وجود دادههاي ناهمگن در بين مشتريان ميشوند.
تحليلهاي نظري نشان ميدهد كه هر دو الگوريتم تحت مفروضات استاندارد همواري و ناهمگوني به نرخهاي همگرايي بهينه دست مييابند. آزمايشهاي گسترده بر روي مجموعه دادههاي معيار CIFAR-10، CIFAR-100، EMNIST، Fashion-MNIST با استفاده از مدل شبكه عصبي تأييد ميكند كه FedALPPA بهطور معناداري از روشهاي پايه موجود هم در كارايي و هم در عملكرد پيشي ميگيرد.
بهطور ميانگين الگوريتم FedALPPA بيش از 1 درصد دقت مدل را نسبت به الگوريتم مشابه پيشين افزايش داده، درحاليكه هزينه ارتباطي را حدود 40 درصد كاهش ميدهد.
نتايج، پتانسيل عملي تجميع تطبيقي، لايهاي و شخصيسازيشده را در كاربردهاي واقعي يادگيري فدرال نشان ميدهد.
چكيده انگليسي :
Federated learning has emerged as a powerful solution for training machine learning models collaboratively across distributed clients while preserving data privacy. However, federated learning still faces major challenges in terms of communication overhead, slow convergence, and degraded performance under heterogeneous data distributions. One of the key bottlenecks is the periodic synchronization of full models, which often leads to inefficient bandwidth usage and divergence among local models.
This thesis introduces two novel federated learning algorithms—FedALPA (Federated Adaptive Layer-wise Partial Averaging) and FedALPPA (Federated Adaptive Layer-wise Partial and Personalized Aggregation)—that jointly address these limitations. FedALPA first identifies important layers and assigns them a faster global update interval while assigning a slower interval to the rest; only a fraction of its coordinates is communicated at each local step so the full layer is covered across its interval, and importance is re-evaluated after each full-coverage cycle. FedALPPA further extends this by performing server-side personalized mixing with client- and layer-specific aggregation weights to produce per-client aggregates. These methods reduce per-step communication, suppress client drift, speed up convergence, and improve final accuracy, especially under heterogeneous client data.
Theoretical analysis shows that both algorithms achieve optimal convergence rates under standard smoothness and heterogeneity assumptions. Extensive experiments on benchmark datasets confirm that FedALPPA significantly outperform existing baselines in both efficiency and performance. On average, the FedALPPA algorithm increases model accuracy by more than 1% compared to the previous similar algorithm, while reducing communication costs by approximately 40%. The results demonstrate the practical potential of adaptive, layer-wise, and personalized aggregation in real-world federated learning applications.
استاد راهنما :
محمدرضا احمدزاده
استاد داور :
محمدحسين منشئي , امير خورسندي كوهانستاني
