‫ ارزیابی رویکردهای مختلف هرس در میزان تحمل‌پذیری اشکال در شبکه‌های عصبی عمیق

ارزیابی رویکردهای مختلف هرس در میزان تحمل‌پذیری اشکال در شبکه‌های عصبی عمیق

ستاره احصایی, محسن راجی, بهنام قوامی

چکیده

افزایش اندازه مدل و تعداد پارامترها در شبکه‏‌های عصبی عمیق، از یک سو موجب پیشرفت‏‌های زیادی در عملکرد این شبکه‌‏ها شده و از سوی دیگر باعث بروز چالش­‌هایی از قبیل افزایش اندازه حافظه می­‌گردد. در هرس مدل، با حذف برخی پارامترهای شبکه، ضمن حفظ دقت مدل، اندازه آن کاهش داده می‏‌شود. با به‏‌کارگیری این شبکه‌‏ها در سیستم‌­های حساس-از-منظر-ایمنی، تاثیر هرس مدل که به طور سنتی با هدف کاهش اندازه شبکه استفاده می‌‏شود، بر تحمل‌‏پذیری اشکال شبکه‏‌ها مورد سوال جدی قرار گرفته است. در این مقاله، به کمک آزمایش‏‌های گسترده تزریق اشکال، تحلیل جامعی بر میزان تاثیر روش‏‌های مختلف هرس بر تحمل‏‌پذیری اشکال شبکه‌‏های عصبی عمیق ارائه می‏‌شود. مدل اشکال مورد مطالعه، خطاهای نرم واژگونی بیتی است که در حافظه ذخیره‌‏ساز وزن‏‌های شبکه رخ می‌‏دهد و باعث تغییر مقدار وزن‏‌های شبکه می‏‌گردد. با­توجه به نتایج به‌­دست­آمده از آزمایش‏‌های متنوع تزریق اشکال بر روی دو شبکه AlexNet و ResNet18 که به روش‏‌های مختلف هرس شده­اند، می‏‌توان نتیجه گرفت که به طور کلی، هرس کردن مدل باعث بهبود تحمل‌‏پذیری اشکال می‏‌شود و می‌‏توان از آن به منظور بهبود تحمل‌‏پذیری شبکه‌‏های عصبی عمیق هم بهره گرفت. از میان روش‌‏های مختلف هرس مدل، هرس وزنی بیشترین میزان بهبود تحمل‌‏پذیری اشکال را دارد.



کلمات کلیدی

شبکه‏‌های عصبی عمیق, قابلیت اطمینان, خطاهای نرم, فشرده‌سازی, هرس

مراجع

  • [1] J. J. Zhang, K. Liu, F. Khalid, M. A. Hanif, S. Rehman, T. Theocharides, A. Artussi, M. Shafique and S. Garg, “Building Robust Machine Learning Systems: Current Progress, Research Challenges, and Opportunities," Proc. 56th ACM/IEEE Design Automat. Conf. (DAC), pp. 1-4, 2019.
  • [2] S. Mittal, “A survey on modeling and improving reliability of DNN algorithms and accelerators J. Syst. Architect., vol. 104, Mar. 2020.
  • [3] Y. Guan, H. Liang, N. Xu, W. Wang, S. Shi, X. Chen, G. Sun,W. Zhang and J. Cong "FP-DNN: An Automated Framework for Mapping Deep Neural Networks onto FPGAs with RTL-HLS Hybrid Templates," Proc. IEEE 25th Annu. Int. Symp. Field-Program. Custom Comput. Mach. (FCCM), pp. 152-159, Apr. 2017.
  • [4] W. Liu and C. Chang, "Analysis of Circuit Aging on Accuracy Degradation of Deep Neural Network Accelerator,” Proc. IEEE Int. Symp. Circuits Syst. (ISCAS), pp. 1-5, May 2019.
  • [5] S. S. Banerjee, J. Cyriac, S. Jha, Z. T. Kalbarczyk and R. K. Iyer, "Towards a Bayesian Approach for Assessing Fault Tolerance of Deep Neural Networks,” Proc. 49th Annu. IEEE/IFIP Int. Conf. Depend. Syst. Netw. Supplemental, Volume (DSN-S), pp. 25-26, 2019.
  • [6] B. F. Goldstein, S. Srinivasan, D. Das, “Reliability Evaluation of Compressed Deep Learning Models," Proc. IEEE 11th Latin Amer. Symp. Circuits Syst., pp. 1-5, 2020.
  • [7] A. Gebregirogis and M. Tahoori, “Approximate Learning and Fault-Tolerant Mapping for Energy-Efficient Neuromorphic Systems,” ACM Trans. Des. Autom. Electron. Syst. vol. 26, no. 3, pp. 1-23, 2020.
  • [8] J.-K. Kim, M.-Y. Lee, J.-Y. Kim, B.-J. Kim and J.-H. Lee, "An efficient pruning and weight sharing method for neural network", Proc. IEEE Int. Conf. Consum. Electron.-Asia (ICCE-Asia), pp. 49-50, Oct. 2016.
  • [9] S. Han, H. Mao, W. J. Dally, “Deep Compression: Compressing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding.”, 2015, [online] Available: https://arxiv.org/abs/1510.00149.
  • [10] J. Frankle, G. K. Dziugaite, D. M. Roy and M. Carbin. “Pruning Neural Networks at Initialization: Why are We Missing the Mark?”, 2021, [online] Available: https://arxiv.org/abs/2009.08576.
  • [11] M. A. Hanif and M. Shafique, "Dependable Deep Learning: Towards Cost-Efficient Resilience of Deep Neural Network Accelerators against Soft Errors and Permanent Faults," Proc. IEEE 26th Int. Symp. Line Test. Robust Syst. Design (IOLTS), pp. 1-4, Jul. 2020.
  • [12] Y. Ibrahim, H. Wang, J. Liu, J. Wei, L. Chen, P. Rech, K. Adam, G. Guo,"Soft errors in DNN accelerators: A comprehensive review",Microelectron. Rel., vol. 115, Dec. 2020.
  • [13] I. S. Haque and V. S. Pande, "Hard data on soft errors: A large-scale assessment of real-world error rates in GPGPU", Proc. 10th IEEE/ACM Int. Conf. Cluster Cloud Grid Comput., pp. 691-696, May 2010.
  • [14] J. Kim and J. Yang, "DRIS-3: Deep Neural Network Reliability Improvement Scheme in 3D Die-Stacked Memory based on Fault Analysis," Proc. 56th ACM/IEEE Design Automat. Conf. (DAC), pp. 1-6, 2019.
  • [15] G. Yuan, Z. Liao, X. MA, Y. Cai, Z. Kong, X. Shen, J. Fu, Z. Li, C. Zhang, H. Peng, N. Liu, A. Ren, J. Wang and Y. Wang, “Improving dnn fault tolerance using weight pruning and differential crossbar mapping for reram-based edge ai,” Proc. 2021 22nd Int. Symp. Quality Electronic Design (ISQED), pp. 135-141.
  • [16] C. Y. Chen and K. Chakrabarty, “Pruning of Deep Neural Networks for Fault-Tolerant Memristor-based Accelerators,” Proc. 2021 58th ACM/IEEE Design Automation Conf., 2021.
  • [17] M. Sabbagh, C. Gongye, Y. Fei and Y. Wang, "Evaluating fault resiliency of compressed deep neural networks", Proc. IEEE Int. Conf. Embedded Softw. Syst. (ICESS), pp. 1-7, 2019.
  • [18] A. Gholami, S. Kim, Z. Dong, Z. Yao, M. W. Mahoney, and K. Keutzer, “A Survey of Quantization Methods for Efficient Neural Network Inference,” 2021, [online] Available: https://arxiv.org/abs/2103.13630.
  • [19] J. Liu, S. Tripathi, U. Kurup, M. Shah, and L. G. May, “Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications : A Survey,” 2020, [online] Available: https://arxiv.org/abs/2005.04275.
  • [20] Wang, Huan, Can Qin, Yulun Zhang and Yun Raymond Fu. “Neural Pruning via Growing Regularization.”, 2021, [online] Available: https://arxiv.org/abs/2012.09243.