20000

17268

كارشناسي ارشد

هوش مصنوعي و رباتيكز

اصفهان : دانشگاه صنعتي اصفهان

1403

سيزده، 105ص. : مصور، جدول، نمودار

1403/09/17

كتابنامه

مهندسي كامپيوتر

مهندسي برق و كامپيوتر

1403/09/17

23092146

در عصر حاضر، با پيشرفت سريع فناوري، افزايش تعداد دستگاه‌هاي متصل به اينترنت و نقش فزاينده هوش مصنوعي و يادگيري ماشين، اهميت برقراري ارتباطات مؤثر و حفاظت از حريم شخصي كاربران بيش از پيش احساس مي‌شود. اين ضرورت به توسعه روش‌هاي توزيع‌شده‌اي مانند يادگيري فدرال انجاميده است كه از جمله راهكارهاي پيشرفته در اين حوزه به‌شمار مي‌رود. در يادگيري فدرال، داده‌ها به‌جاي ارسال به يك سرور مركزي، در همان دستگاه‌هاي نهايي باقي مي‌مانند و مدل‌ها به‌صورت محلي آموزش داده مي‌شوند. سپس اين مدل‌ها با هم تركيب مي‌شوند تا يك مدل جامع ايجاد شود. اين روش نه تنها نياز به انتقال داده‌ها را كاهش مي‌دهد، بلكه به حفظ بهتر حريم شخصي كاربران نيز كمك مي‌كند. با اين حال، يادگيري فدرال با چالش‌هاي زيادي روبه‌رو است كه يكي از آن‌ها ناهمگني آماري داده‌ها مي‌باشد، به اين معني كه داده‌هاي موجود در دستگاه‌هاي مختلف مي‌توانند بسيار متنوع و متفاوت از يكديگر باشند. اين ناهمگني باعث مي‌شود كه مدل‌هاي محلي نتوانند تمامي ويژگي‌هاي داده‌ها را به‌خوبي ياد بگيرند و در نتيجه، مدل جامع نيز به خوبي همگرا نشود. بنابراين، دستيابي به يك مدل جامع با عملكرد مناسب ممكن است دشوار شود. در اين راستا، ارائه روش‌هايي براي مقابله با ناهمگني آماري از اهميت بالايي برخوردار هستند. روش‌هاي پيشنهادي بايد علاوه بر تمركز بر حل اين مشكل، از جنبه‌هاي محاسباتي، ارتباطي و حفظ حريم شخصي نيز پايداري خود را حفظ كنند. يكي از راهكارهاي پيشنهادي براي مقابله با اين چالش، جابه‌جايي مدل‌هاي شبكه عصبي بين كاربران نهايي در طول فرآيند يادگيري است. اين كار باعث مي‌شود مدل‌هاي محلي با داده‌هاي متنوع‌تري مواجه شوند و در نتيجه، مدل جامع به همگرايي بهتري برسد. در روش‌هاي معمول، جابه‌جايي مدل‌ها به‌صورت تصادفي انجام مي‌شود. اما در اين پژوهش پيشنهاد شده است كه به‌جاي روش تصادفي، اين جابه‌جايي به‌صورت هوشمند و بر اساس معيارهاي شباهت صورت گيرد. به اين ترتيب، مدل‌هايي كه كمترين شباهت را با هم دارند، جابه‌جا مي‌شوند. اين رويكرد باعث مي‌شود مدل‌ها با داده‌هايي روبه‌رو شوند كه كمتر با آن‌ها آشنا هستند و اين امر مي‌تواند به بهبود همگرايي مدل جامع منجر شود. از جنبه ديگر، اين پژوهش به بررسي تأثير جابه‌جايي مدل‌ها بر حفظ حريم شخصي كاربران پرداخته است. روش‌هاي معمول جابه‌جايي مدل‌ها، به‌طور مستقيم بين كاربران نهايي انجام مي‌شوند. اگرچه اين روش مي‌تواند سربار شبكه را كاهش دهد، اما ممكن است به تضعيف حريم شخصي كاربران منجر شود. در اين پژوهش پيشنهاد شده است كه سرور مركزي به عنوان واسطه‌اي در فرآيند جابه‌جايي عمل كند. با اين روش، حفظ حريم شخصي كاربران بهتر تضمين مي‌شود و پياده‌سازي تكنيك‌هاي مختلف اين حوزه نيز ساده‌تر خواهد شد. در نهايت، اين پژوهش نشان مي‌دهد كه جابه‌جايي هوشمندانه مدل‌هاي شبكه عصبي بر اساس معيارهاي شباهت، مي‌تواند فرآيند همگرايي مدل جامع را تسريع كند. اين روش به‌ويژه در شرايطي كه تعداد كاربران زياد است، تاثير بيشتري دارد و توانسته است نتايج را حدود 1% بهبود بخشد.

Today, the explosion of data generated due to the rapid advancement of technology and the increasing number of devices connected to the internet, is the main reason to grow artificial intelligence and machine learning. But this makes effective communication and also user privacy protection more crucial than ever. Distributed methods like federated learning, are considered as an appropriate solution to meet these requirements. In federated learning, data remains on local devices instead of being sent to a central server, and models are trained locally. Then, these models are combined to create a comprehensive model. This approach not only reduces the need to transfer data but also paves the way for better user privacy protection. However, federated learning faces numerous challenges such as the statistical heterogeneity of data. The data on different devices vary significantly and this can prevent local models from effectively learning all data features. Thus, the global model does not converge as expected. This necessitates methods that focus on solving this problem with moderated computational efficiency, communication bandwidth and privacy preservation. This can be achieved by swapping neural network models between end users during the learning process. In this manner, local models encounter more diverse data, and so the convergence of the global model can be improved. In conventional methods, swapping is done based on a random selection strategy. But this study suggests an intelligent swapping method based on the similarity criteria. In this method, models with the least similarity are swapped to expose unfamiliar data to models and enhance the convergence of the global model. Furthermore, the impact of this method on preserving user privacy is discussed. By using a central server as an intermediary in the swapping process, it is shown that the proposed method can simplify the implementation of various privacy techniques. The simulation results demonstrate that the proposed intelligent swapping method can accelerate the convergence of the global model by approximately 1% in scenarios with a large number of users.

امير خورسندي كوهانستاني

محمدحسين منشئي , سمانه حسيني