پديد آورنده :
فاتحي، اميرحسين
عنوان :
استفاده از ممريستور در پيادهسازي عمليات پيچش در شبكههاي عصبي عميق
مقطع تحصيلي :
كارشناسي ارشد
گرايش تحصيلي :
مدارهاي مجتمع
محل تحصيل :
اصفهان : دانشگاه صنعتي اصفهان
صفحه شمار :
هفده، 98ص. : مصور، جدول، نمودار
توصيفگر ها :
ممريستور , شبكهي عصبي , شبكهي عصبي پيچشي , شبكهي عصبي ممريستوري , دروازهي انتقال
تاريخ ورود اطلاعات :
1404/09/24
رشته تحصيلي :
مهندسي برق-الكترونيك
دانشكده :
مهندسي برق و كامپيوتر
تاريخ ويرايش اطلاعات :
1404/09/24
چكيده فارسي :
در سالهاي اخير، استفاده از ممريستور بهعنوان يك عنصر نوظهور در پيادهسازي سختافزاري شبكههاي عصبي، بهويژه شبكههاي عصبي پيچشي، توجه بسياري را به خود جلب كرده است. ويژگيهاي ممريستور از جمله قابليت ذخيرهسازي مقاومتي و مصرف توان پايين، آن را به گزينهاي مناسب براي شتابدهي محاسباتي شبكههاي پيچشي بدل كرده است. با اين حال، در عمل چالشهايي نظير افت ولتاژ در دروازههاي انتقال موجب ميشود ولتاژهاي خروجي ستونهاي آرايهي متقاطع بهطور دقيق اندازهگيري نشوند. اين امر سبب خطا در محاسبهي مقاومت ممريستور و در نهايت كاهش دقت لايههاي پيچشي شبكه ميگردد.
در اين پژوهش، پس از بررسي مباني نظري شبكههاي عصبي و ممريستور، يك روش الگوريتمي براي جبران خطاي ناشي از افت ولتاژ دروازههاي انتقال در پيادهسازي لايههاي پيچشي ارائه شده است. در روش پيشنهادي، افت ولتاژ در محاسبات در نظر گرفته شده و بهصورت نرمافزاري جبران ميشود، بدون آنكه نيازي به طراحي مدار جديد باشد. اين رويكرد منجر به افزايش دقت شبكههاي پيچشي ميگردد، هرچند با افزايش نسبي زمان آموزش همراه است.
براي ارزيابي، مدلسازي ممريستور با استفاده از زبان Verilog-A در محيط Cadence انجام شده است. سپس، ساختارهاي پيشنهادي شامل يك فيلتر پيچشي 3×3 و يك شبكهي تماما متصل 10×64 در محيط MATLAB شبيهسازي و آموزش داده شدهاند. براي هر دو ساختار از مجموعه دادهي آموزشي UCI Optical Recognition of Handwritten Digits جهت آموزش و ارزيابي استفاده شده است. نتايج شبيهسازي نشان ميدهد كه روش پيشنهادي توانسته است كاهش دقت ناشي از افت ولتاژ دروازهي انتقال را بهطور مؤثري جبران نمايد، بهگونهاي كه دقت شبكهي كاملاً متصل حدود 10 درصد و دقت شبكهي پيچشي حدود 3 درصد نسبت به حالت بدون روش پيشنهادي افزايش يافته است.
اين پژوهش ميتواند گامي مؤثر در جهت ارتقاي كارايي شبكههاي عصبي ممريستوري پيچشي و كاربردپذيري آنها در حوزههاي پردازش تصوير و يادگيري عميق باشد.
چكيده انگليسي :
In recent years, the use of memristors as an emerging element in the hardware implementation of neural networks—particularly convolutional neural networks (CNNs)—has attracted significant attention. Memristor features such as resistive storage capability and low power consumption make it a suitable candidate for accelerating convolutional computations. However, in practice, challenges such as voltage drops across transmission gates hinder the accurate measurement of output voltages in the columns of crossbar arrays. This leads to errors in determining memristor resistance and ultimately reduces the accuracy of convolutional layers.
In this study, after reviewing the theoretical foundations of neural networks and memristors, an algorithmic method is proposed to compensate for the error caused by voltage drops in transmission gates during the implementation of convolutional layers. The proposed method accounts for the voltage drop in computations and compensates for it in software, without the need for any new circuit design. Although this approach results in a relative increase in training time, it significantly improves the accuracy of convolutional networks.
For evaluation, a memristor model was developed using Verilog-A in the Cadence environment. A 3×3 convolution kernel was then implemented and trained, and the results were compared with and without the proposed method. The trained weights were transferred to MATLAB and used in a larger convolutional network to assess the impact of the proposed method on overall network accuracy. Preliminary results show that the proposed method effectively compensates for the accuracy degradation caused by voltage drops in transmission gates within convolutional layers.
This research can be a significant step toward improving the performance and applicability of memristive convolutional neural networks in the fields of image processing and deep learning
استاد راهنما :
مسعود سيدي
استاد داور :
رسول دهقاني , محمدرضا احمدزاده