پديد آورنده :
طلائي، مهتاب
عنوان :
توسعه‌ي الگوريتم و بررسي عملكرد يادگيري پراكنده با حريم شخصي تفاضلي تطبيقي
مقطع تحصيلي :
كارشناسي ارشد
محل تحصيل :
اصفهان : دانشگاه صنعتي اصفهان
صفحه شمار :
يازده، 72ص. : مصور، جدول، نمودار
استاد راهنما :
ايمان ايزدي
استاد مشاور :
محمدرضا حيدرپور
توصيفگر ها :
يادگيري پراكنده , حريم شخصي تفاضلي , حريم شخصي تفاضلي تطبيقي , ضرايب تأثير شخصي‌سازي شده , ضرايب تأثير متغير با زمان
استاد داور :
مريم ذكري، حامد جلالي بيدگلي
تاريخ ورود اطلاعات :
1401/06/07
دانشكده :
مهندسي برق و كامپيوتر
تاريخ ويرايش اطلاعات :
1401/06/07
چكيده فارسي :
يادگيري پراكنده روشي غير متمركز براي مدل‌سازي داده‌هاي ده‌ها تا ميليون‌ها دستگاه توزيع‌شده بدون دسترسي مستقيم به اطلاعات محلي آنهاست. اين روش ابزاري توانا در حفظ اطلاعات كاربران حين يادگيري است. علي‌رغم عدم دسترسي مستقيم سرور به مجموعه‌داده‌هاي محلي، امكان نشت اطلاعات از به‌روزرساني‌هاي ارسالي ميان دستگاه‌ها و سرور همچنان وجود دارد. ريسك نشت اطلاعات زمان به‌كارگيري شبكه‌هاي عصبي در مدل‌هاي محلي افزايش مي‌يابد. از اين رو، ارائه‌ي الگوريتم‌هاي حفاظتي قابل پياده‌سازي در يادگيري پراكنده بسيار حائز اهميت است. لازم است روش‌هاي پيشنهادي ضمن ارتقاء امنيت يادگيري، از نظر محاسباتي مقرون به صرفه، از نظر ارتباطي كارامد، و نسبت به ناهمگوني‌هاي سيستمي و آماري مقاوم عمل كنند. حريم شخصي تفاضلي از جمله الگوريتم‌هاي مورد استفاده در اين فضا است. اساس حريم شخصي تفاضلي اضافه كردن نويز مصنوعي به پارامترهاي ارسالي تحت توزيعي تعيين‌شده است. توزيع گوسي (نرمال) يكي از روش‌هاي اعمال نويز براي حفظ حريم شخصي در داده‌هاي عددي است. اين روش به‌دليل تئوري رياضي قوي، سادگي الگوريتم، و هزينه‌ي نسبي كم از پركاربردترين الگوريتم‌هاي حفاظتي در يادگيري ماشين است؛ اما، به‌كارگيري آن در حوزه‌ي يادگيري پراكنده با كاستي‌هايي روبرو است. هدف اصلي اين پژوهش ارتقاء الگوريتم حريم شخصي تفاضلي بوده كه در دو شاخه دنبال شده است. در شاخه‌ي نخست به منظور ايجاد تعادل ميان دقت و امنيت مدل پس از اضافه كردن نويز گوسي رويكرد استفاده از نويز تطبيقي پيشنهاد شده است. از آنجا كه اضافه كردن نويز به پارامترهاي مدل منجر به تضعيف عملكرد سيستم مي‌شود، اعمال نويز بر اساس ميزان اهميت اين پارامتر‌ها مي‌تواند راه‌حلي براي بهبود دقت مدل‌سازي به‌كار گرفته شود. بنابراين، با اضافه كردن نويز بيشتر به پارامترهاي كم اهميت‌تر و نويز كمتر به پارامترهاي مهم‌تر علاوه بر حفظ حريم شخصي كاربران، دقت الگوريتم بيش از پيش حفظ خواهد شد. در شاخه‌ي ديگر اين پژوهش، هدف ارائه‌ي الگوريتم حريم شخصي تفاضلي در فضاي ناهمگون يادگيري پراكنده است. تخصيص ضرايب تأثير شخصي‌سازي شده و متغير با زمان به دستگاه‌ها در زمان تجميع مدل سراسري مي‌تواند بسياري از آثار سوء تفاوت‌هاي موجود در شبكه‌ي يادگيري پراكنده را جبران سازد. در اين پژوهش، با به‌كارگيري ضرايب تأثير غير ثابت، ملزومات برقراري حريم شخصي تفاضلي ارائه گريده است. همچنين، باند همگرايي الگوريتم در هر دو حالت ضرايب غير ثابت (شخصي‌سازي شده) و متغير با زمان (تطبيقي) مورد تحليل و بررسي قرار گرفته است. الگوريتم‌هاي پيشنهادي تحت سناريوهاي مختلف و سطوح امنيتي گوناگون روي مجموعه‌داده‌ي MNIST و به زبان پايتون پياده‌سازي شده‌اند.
چكيده انگليسي :
Federated learning (FL), is a decentralized Machine Learning (ML) algorithm capable of significantly preserving clients' private data during generating models. Even though the server does not access local datasets, private information can still be divulged by analyzing uploaded parameters from clients, especially while using deep neural networks in local models. Hence, it is necessary to develop privacy-preserving algorithms in this domain. These methods should be computationally cheap, communicationally efficient, and tolerant to statistical and systems heterogeneities. Due to its strong information-theoretic guarantees, differential privacy (DP) is one of the most widely used algorithms for data protection. DP tries to preserve privacy by adding deliberate noise to information being communicated. For numerical data, noise with Gaussian distribution can bring different protection levels. However, using DP in federated learning can expose shortcomings. In this research, the improvements in differential privacy are analyzed from two aspects. Injecting noise to parameter updates compromises model performance in FL. The proposed alternative directing this challenge is utilizing adaptive noise. Perturbing model weights is based on parameters' relative impacts on the outputs. Since the feature importance vary with each other, adding more noise to less important parameters and less noise to more important ones can preserve privacy, while saving the accuracy of the model. On the other hand, this research proposes an approach for data protection in heterogeneous structures using DP. In fact, assigning personalized and time-variant impact factors during aggregating local models' weights in the server compensates for many losses of FL. In this research, DP requirements are presented when non-identical impact factors are used. Moreover, the convergence bound of the loss function is developed and analyzed for both time-invariant (personalized) and time-variant (adaptive) impact factor selections. The simulations of proposed algorithms for different scenarios and protection levels are deployed with Python programing language.
استاد راهنما :
ايمان ايزدي
استاد مشاور :
محمدرضا حيدرپور
استاد داور :
مريم ذكري، حامد جلالي بيدگلي
