17010

15063

كارشناسي ارشد

هوش مصنوعي و رباتيكز

اصفهان : دانشگاه صنعتي اصفهان

1400

يازده، 79 ص.: مصور، جدول، نمودار

فرزانه شايق، زينب مالكي

محمدرضا احمدزاده، عبدالرضا ميرزايي

1400/10/18

كتابنامه

مهندسي كامپيوتر

مهندسي برق و كامپيوتر

1400/10/25

2755254

شبكه‌هاي عصبي اسپايكي با هدف نزديكي به سرعت و دقت شبكه عصبي بيولوژيكي طراحي شدند. طراحي و معرفي آن‌ها منجر به تعريف نسل جديدي از شبكه‌ها تحت عنوان نسل سوم شبكه‌هاي عصبي شده است. شبكه‌هاي اسپايكي از لحاظ اجزاء و نوع آموزش با شبكه‌هاي عصبي متفاوت‌اند. در شبكه‌هاي اسپايكي، داده‌ها در سيگنال‌هاي گسسته كدگذاري مي‌شوند. اين سيگنال‌ها رشته‌هاي اسپايكي ناميده مي‌شوند. در مشاهدات انجام شده بر روي شبكه‌هاي عصبي بيولوژيكي، انتقال اطلاعات ببين نورون‌هاي عصبي بصورت جريان الكتريكي و به شكل سيگنال‌هاي گسسته انجام مي‌شود. استفاده از رشته‌هاي اسپايكي علاوه بر نزديكي به ساختار انتقال اطلاعات در شبكه‌هاي بيولوژيكي، تطابق سخت‌افزاري بيشتري نسبت به داده‌هاي عددي دارد. باتوجه به متفاوت بودن داده‌ها در شبكه‌هاي اسپايكي نسبت به شبكه‌هاي عصبي، مدل عناصر محاسباتي در اين شبكه‌ها يعني مدل نوروني و شيوه آموزش در آن‌ها متفاوت از شبكه‌هاي عصبي خواهد بود. روش‌هاي بسياري براي آموزش شبكه‌هاي اسپايكي طراحي شده‌اند. اين روش‌ها با توجه به تفاوت شبكه‌هاي اسپايكي در دسته‌هاي مختلفي قرار مي‌گيرند. اين دسته‌بندي شامل روش‌هايي براي آموزش شبكه‌هاي بانظارت يا بدون‌نظارت، آموزش شبكه‌هاي اسپايكي تك‌لايه و روش‌هايي براي آموزش شبكه‌هاي اسپايكي چندلايه و تك‌اسپايكي يا چندلايه و چنداسپايكي است. در هر دسته روش‌هاي مختلفي طراحي شده است كه آموزش شبكه را براساس معيارهاي مختلف انجام مي‌دهد. ما در اين پژوهش يك روش آموزش بانظارت در شبكه‌هاي اسپايكي چندلايه و چنداسپايكي معرفي كرده‌ايم. روش ما بر مبناي روش انتشار تعادل بعنوان يك روش مبتني بر انرژي طراحي شده است. روش انتشار تعادل براي آموزش شبكه‌هاي غيراسپايكي طراحي شده و ما قوانين آموزش رشته‌هاي اسپايكي را از آن استخراج نموديم. آموزش پارامترهاي شبكه در روش انتشار تعادل بصورت محلي انجام مي‌شود و بر خلاف روش پس‌انتشار خطا نياز به اشغال فضاي حافظه براي ذخيره پارامترهاي مورد نياز جهت بروزرساني پارامترها نيست. در روش پس‌انتشار خطا بعنوان يك روش مبتني بر خطا، بروزرساني پارامترها بصورت غيرمحلي انجام مي‌شود. نتايج مشاهدات بر روي شبكه‌هاي عصبي بيولوژيكي هم دلالت بر محاسبات محلي دراين شبكه‌ها دارد. طرح روش پيشنهادي ما بمنظور دسته‌بندي داده‌هاي بانك ارقام دستنويس توضيح داده شده است. شبكه‌اي كه در اين پژوهش مدنظر گرفته‌ايم، يك شبكه دولايه با نورون‌هاي LIF است. داده‌ها را قبل از ورود به شبكه به دو روش نرخي و نرخي- زماني بصورت رشته‌هاي اسپايكي كدگذاري كرديم. پس از آموزش پارامترهاي شبكه با استفاده از رشته‌هاي اسپايكي معادل تصاوير، خطاي خروجي شبكه را بر روي داده‌هاي تست به 3 روش متفاوت محاسبه نموديم. دقت شبكه را در هر يك از حالت‌هاي كدگذاري و هر يك از روش‌هاي محاسبه خطا بصورت جداگانه معرفي كرديم. بهترين دقت بدست آمده برابر با 97/9% بر روي داده‌هاي تست و 100% بر روي داده‌هاي آموزشي است. اين دقت در 20 تكرار آموزش داده‌ها و با رشته‌هاي اسپايكي بطول 20 انجام شده است، كه نسبت به ساير روش‌ها از نظر تعداد تكرار و طول رشته اسپايك كمينه است.

Spiking Neural Networks(SNNs) are designed and introduced as the $3$rd generation of Artificial Neural Networks(ANN). The primary purpose of designing SNN networks was to achieve the speed and accuracy of biological neural networks in distinguishing and remembering objects. Neurons in SNN networks transmit information through spike trains. They use different models to process data. They are called neural models. Biological nervous systems also transmit information in discrete signals. Discrete signals are modeled as spike trains in SNNs. Each spike in the spike train can be considered as a delta dirac function. Learning methods are different in SNNs from ANNs. These methods in SNNs are even different according to different types of networks. Different types of spiking networks consists of supervised and unsupervised, one-layer networks, multi-layer single-spike networks, and multi-layer multi-spike networks. There are many methods in each type. We introduce a learning method for supervised multi-layer and multi-spike SNNs. Our method is a combination of SNN and Equilibrium propagation(Eq) as an energy-based learning model. We extracted the learning rules from Eq model for our spiking method. In the Eq model, the process of the information is local in contrast to backPropagation. Additionally, observations in biological neural networks prove local processing in that networks. In local processing, there is no need to remember the significant amount of nonlocal parameters. We designed a two-layer SNN with LIF neurons to learn how to classify the MNIST dataset. At first, we encoded data as spike trains. The accuracy of the network was measured on test set data in $3$ different ways. The best accuracy was 97/9 % for the test set and 100 % for the training set. This accuracy results from 20 epochs of learning of training data coded in spike trains of $20$ lengths.

فرزانه شايق، زينب مالكي

محمدرضا احمدزاده، عبدالرضا ميرزايي