علوم رایانش و فناوری اطلاعات

ارائه یک شبکه روی تراشه با کارآیی بالا و توان مصرفی کم برای شبکه‌های عصبی

نویسندگان

دانشکده مهندسی ﺑﺮق و ﻛﺎﻣﭙﻴﻮﺗﺮ،دانشگاه ﺗﻬﺮان،ﺗﻬﺮان، اﻳﺮان

چکیده

پیاده‌سازی سخت‌افزاری شبکه‎های عصبی به دلیل سفارشی‌سازی ساختار سخت‌افزار و حذف سربار نرم‌افزار سهم به‌سزایی در بهینه‌سازی توان و تاخیر انجام محاسبات عصبی دارد. نظر به اهمیت ارتباطات بین نورون‌ها در کارایی کلی شبکه‎های عصبی، در این مقاله یک هم‌بندی نوین شبکه روی تراشه جهت مدیریت ترافیک شبکه‎های عصبی ارائه شده است. این هم‌بندی، که براساس هم‌بندی معروف dragonfly ساخته شده است، برای انجام ترافیک چندپخشی و کاهش اتصالات بهینه گشته است. این هم‌بندی یک نمونه از هم‌بندی‌های سلسله مراتبی است و گره‌ها ابتدا در قالب گروه‌هایی تقیسم شده و در داخل هر گروه، از یک گذرگاه مشترک برای ارتباط آن‌ها استفاده می‌شود. سپس یک هم‌بندی سطح بالاتر گروه‌ها را به یکدیگر متصل می‌سازد. مشخصه اصلی هم‌بندی ارائه شده قطر کم و توانایی مناسب در انجام همه‌پخشی است. در این شبکه با انجام زمان‏بندی ارتباطات در زمان طراحی، از پیچیدگی مسیریاب‌ها کم شده که این امر زمینه‌ساز کاهش بیشتر توان و تاخیر شبکه می‌شود. این مقاله هم‌بندی پیشنهادی را با چند هم‌بندی پیشین مقایسه می‎کند که نتایج، نشان‌دهنده‏ی کاهش چشم‏گیر توان مصرفی و زمان تأخیر ارسال بسته‌ها و نیز افزایش گذردهی کلی شبکه تحت ترافیک چندپخشیِ شبکه‌های عصبی است.

کلیدواژه‌ها

  • [1] IBM SyNAPSE project, http://www.research.ibm.com,Jan. 2015.
  • [2] Tensor Processing Unit Architecture,https://cloudplatform.googleblog.com, Jan. 2015.
  • [3] Microsoft to AccelerateBing Search with NeuralNetwork, http://blog.microsoft.com, Jan. 2015.
  • [4] GP100 Pascal Whitepaper, http://www.nvidia.com, Jan.2015.
  • [5] J. Hauswald, and et. al., "DjiNN and Tonic: DNN as aservice and its implicationsfor future warehouse scalecomputers," Proc.International Symposium on ComputerArchitecture, 2015.
  • [6] H. Esmaeilzadeh, A. Sampson, L. Ceze, and D. Burger,
  • "Neural acceleration for general-purpose approximateprograms,"Proc. International Symposium onMicroarchitecture, pp. 449–460, 2012.
  • [7] D. Vainbrand, and R. Ginosar, "Network-on-chiparchitectures for neural networks,"Proc. Network-on-chipSymposium, 2010.
  • [8] S. Carrillo, and et. al., "Scalable hierarchical network-on-chip architecture for spiking neural network hardwareimplementations,"IEEE Transactions on Parallel andDistributed Systems, vol. 45, no. 22, 2012.
  • [9] E. Painkras, and et. al., "SpiNNaker: A 1-W 18-CoreSystem-on-chip for massively-parallel neural networksimulation,"IEEE Journal of Solid-State Circuits, pp.1943-1953, 2013.
  • [10] A. Yasoubi, R. Hojabr, H. Takshi, M. Modarressi, andM. Daneshtalab, "CuPAN: high throughput on-chipinterconnection for neural networks,"Proc. InternationalConference of Neural Information Processing, 2015.
  • [11] D. Y. Kim, and et. al., "Aneural network accelerator formobile application processors," inIEEE Transactions onConsumer Electronics, vol. 61, no. 4, pp. 555-563, 2015.
  • [12] W. J. Dally, and B. Towles,Principles and practices ofinterconnection networks, Morgan-Kaufmann Publishers,2004.
  • [13] J. Kim, W. J. Dally, S. Scott, and D. Abts, "Technology-driven, highly-scalable dragonfly topology,"Proc.International Symposium on Computer Architecture, Beijing,pp. 77-88, 2008.
  • [14] B. Alverson, "Cray high speed net working,"Proc. 20thAnnual Symposium on High-Performance Interconnects
  • (HOTI), 2012.
  • [15] S. Haykin,Neural networks: A comprehensivefoundation, Upper Saddle River, NJ, USA: Prentice-Hall,2008.
  • [16] A. K. Jain, J. Mao, and K. M. Mohiuddin, "Artificialneural networks: A tutorial,"Journal of Computer, vol. 29,no. 3, pp. 31–44, 1996.
  • [17] W. Maass, and C. M. Bishop,Pulsed neural networks.MIT press, 2001.
  • [18] P. Merolla, and et. al., "A million spiking-neuronintegrated circuit with a scalable communication networkand interface,"Science, vol. 345, no. 6197, pp. 668-673,2014.
  • [19] https://www.qualcomm.com/invention/cognitive-technologies/machine-learning, Jan. 2015.
  • [20] A. Yasoubi, R. Hojabr, and M. Modarressi, "Power-efficient accelerator design for neural networks usingcomputation reuse," inIEEE Computer Architecture Letters,2015.
  • [21] Q. Zhang, T. Wang, Y. Tian, F. Yuan, and Q. Xu,
  • "ApproxANN: an approximate computing framework forartificial neural network,"Proc. Design, Automation & Testin Europe Conference, 2015.
  • [22] S. Venkataramani, A.Ranjan, K. Roy, and A.Raghunathan, "Axnn: Energy-efficient neuromorphicsystems using approximate computing,"Proc. InternationalSymposium on Low Power Electronics and Design, 2014.
  • [23] Y. Chen, and et. al., "Eyeriss: A spatial architecture forenergy-efficient dataflow for convolutional neural networks,"
  • Proc. ISSCC, pp. 262-263, 2016.
  • [24] T. Chen, Z. Du, N. Sun, J. Wang, C. Wu, Y. Chen, andO. Temam, "A high-throughputneural network accelerator,"
  • IEEE Micro, vol. 35, no. 3, pp. 24-32, 2015.
  • [25] A Firuzan, M. Modarressi, and M. Daneshtalab, "Areconfigurable network-on-chip for efficient implementationof neural networks,"Proc. International Symposium onReconfigurable Communication-centric Systems-on-Chip,2015.
  • [26] C. Sun, and et. al., "DSENT: A tool connectingemerging photonics with electroniccs for opto-electronicnetworks-on-chip modeling,"Proc. Network-on-chipSymposium, 2012.

 

علوم رایانش و فناوری اطلاعات
دوره 13، شماره 2
پاییز و زمستان
آذر 1394