RSS-ленты
РусскийEnglish
Выпуск 4, 2024
Том год страница
Выпуски Авторы PACS Подписчикам Для авторов

Выпуски

 / 

2022

 / 

Октябрь

←  →

Обзоры актуальных проблем


Нелинейная динамика и машинное обучение рекуррентных спайковых нейронных сетей

† , , ,
Федеральный исследовательский центр Институт прикладной физики им. А.В. Гапонова-Грехова Российской академии наук, ул. Ульянова 46, Нижний Новгород, 603000, Российская Федерация

Описаны основные результаты в области построения и анализа рекуррентных спайковых нейронных сетей для моделирования функциональных сетей мозга. Приведены ключевые термины и определения из области машинного обучения. Представлены основные подходы к построению и исследованию спайковых и частотных нейронных сетей, обучаемых выполнять конкретные когнитивные функции. Описаны современные аппаратные нейроморфные системы, имитирующие обработку информации мозгом. Обсуждаются принципы нелинейной динамики, которые позволяют выявлять механизмы выполнения нейронными сетями целевых задач.

Текст: pdf (Полный текст предоставляется по подписке)
English fulltext is available at DOI: 10.3367/UFNe.2021.08.039042
Ключевые слова: искусственные нейронные сети, нелинейная динамика, машинное обучение, спайковые нейроны, моделирование когнитивных функций
PACS: 07.05.Mh, 84.35.+i, 87.19.L− (все)
DOI: 10.3367/UFNr.2021.08.039042
URL: https://ufn.ru/ru/articles/2022/10/b/
001112536300002
2-s2.0-85182910380
2022PhyU...65.1020M
Цитата: Масленников О В, Пугавко М М, Щапин Д С, Некоркин В И "Нелинейная динамика и машинное обучение рекуррентных спайковых нейронных сетей" УФН 192 1089–1109 (2022)
BibTexBibNote ® (generic)BibNote ® (RIS)MedlineRefWorks

Поступила: 1 июня 2021, доработана: 13 августа 2021, 13 августа 2021

English citation: Maslennikov O V, Pugavko M M, Shchapin D S, Nekorkin V I “Nonlinear dynamics and machine learning of recurrent spiking neural networks” Phys. Usp. 65 1020–1038 (2022); DOI: 10.3367/UFNe.2021.08.039042

Список литературы (162) ↓ Статьи, ссылающиеся на эту (4) Похожие статьи (20)

  1. Gerstner W et al Neuronal Dynamics: From Single Neurons to Networks and Models of Cognition (Cambridge: Cambridge Univ. Press, 2014)
  2. Bassett D S, Zurn P, Gold J I Nat. Rev. Neurosci. 19 566 (2018)
  3. Breakspear M Nat. Neurosci. 20 340 (2017)
  4. Ashwin P, Coombes S, Nicks R J. Math. Neurosci. 6 2 (2016)
  5. Izhikevich E M Dynamical Systems in Neuroscience: the Geometry of Excitability and Bursting (Cambridge, MA: MIT Press, 2007)
  6. Rabinovich M I et al Rev. Mod. Phys. 78 1213 (2006)
  7. Храмов А Е и др УФН 191 614 (2021); Hramov A E et al Phys. Usp. 64 584 (2021)
  8. Иваницкий Г Р, Морозов А А УФН 190 1165 (2020); Ivanitskii G R, Morozov A A Phys. Usp. 63 1092 (2020)
  9. Иваницкий Г Р УФН 188 965 (2018); Ivanitskii G R Phys. Usp. 61 871 (2018)
  10. Доронина-Амитонова Л В и др УФН 185 371 (2015); Doronina-Amitonova L М et al Phys. Usp. 58 345 (2015)
  11. Клиньшов В В, Некоркин В И УФН 183 1323 (2013); Klinshov V V, Nekorkin V I Phys. Usp. 56 1217 (2013)
  12. Павлов А Н и др УФН 182 905 (2012); Pavlov A N et al Phys. Usp. 55 845 (2012)
  13. Рабинович М И, Мюезинолу М К УФН 180 371 (2010); Rabinovich M I, Muezzinoglu M K Phys. Usp. 53 357 (2010)
  14. Некоркин В И УФН 178 313 (2008); Nekorkin V I Phys. Usp. 51 295 (2008)
  15. Безручко Б П и др УФН 178 323 (2008); Bezruchko B P et al Phys. Usp. 51 304 (2008)
  16. Борисюк Г Н и др УФН 172 1189 (2002); Borisyuk G N et al Phys. Usp. 45 1073 (2002)
  17. Абарбанель Г Д и др УФН 166 363 (1996); Abarbanel H D et al Phys. Usp. 39 337 (1996)
  18. Иваницкий Г Р, Медвинский А Б, Цыганов М А УФН 164 1041 (1994); Ivanitskii G R, Medvinskii A B, Tsyganov M A Phys. Usp. 37 961 (1994)
  19. Rabinovich M I, Zaks M A, Varona P Phys. Rep. 883 1 (2020)
  20. Rabinovich M I, Friston K J, Varona P Principles of Brain Dynamics: Global State Interactions (Cambridge, MA: MIT Press, 2012)
  21. Rabinovich M I et al Phys. Life Rev. 9 (1) 51 (2012)
  22. Шумский С А Машинный интеллект. Очерки по теории машинного обучения и искусственного интеллекта (М.: РИОР, 2019)
  23. Lake B M et al Behavioral Brain Sci. 40 e253 (2017)
  24. Vyas S et al Annu. Rev. Neurosci. 43 249 (2020)
  25. Sussillo D Current Opin. Neurobiol. 25 156 (2014)
  26. Barak O Current Opin. Neurobiol. 46 1 (2017)
  27. Yang G R, Wang X-J Neuron 107 1048 (2020)
  28. Glaser J I et al Prog. Neurobiol. 175 126 (2019)
  29. Marblestone A H, Wayne G, Kording K P Front. Comput. Neurosci. 10 94 (2016)
  30. Hassabis D et al Neuron 95 245 (2017)
  31. Cichy R M, Kaiser D Trends Cognitive Sci. 23 305 (2019)
  32. Киселев М Импульсные нейронные сети: Представление информации, обучение, память (Chisinau: Palmarium Acad. Publ., 2020)
  33. Zenke F, Ganguli S Neural Computat. 30 1514 (2018)
  34. Nicola W, Clopath C Nat. Commun. 8 2208 (2017)
  35. Mozafari M et al arXiv:1804.00227
  36. Bellec G et al Adv. Neural Inform. Proc. Syst. 31 787 (2018)
  37. Schuman C D et al arXiv:1705.06963
  38. James C D et al Biol. Inspired Cognitive Arch. 19 49 (2017)
  39. Chen Y et al Integration 61 49 (2018)
  40. Schmidhuber J Neural Networks 61 85 (2015)
  41. Samarasinghe S Neural Networks for Applied Sciences and Engineering : from Fundamentals to Complex Pattern Recognition (Boca Raton, FL: CRC Press, 2016)
  42. Botvinick M et al Neuron 107 603 (2020)
  43. Botvinick M et al Trends Cognitive Sci. 23 408 (2019)
  44. Sompolinsky H, Crisanti A, Sommers H J Phys. Rev. Lett. 61 259 (1988)
  45. Jaeger H, Haas H D Science 304 78 (2004)
  46. Sussillo D, Abbott L F Neuron 63 544 (2009)
  47. Дмитричев А С и др Изв. вузов. Прикладная нелинейная динамика 26 (4) 5 (2018)
  48. Abbott L F Brain Res. Bull. 50 303 (1999)
  49. Ermentrout B Neural Comput. 8 979 (1996)
  50. Latham P E et al J. Neurophysiol. 83 808 (2000)
  51. Fourcaud-Trocmé N et al J. Neurosci. 23 11628 (2003)
  52. Ermentrout G B, Kopell N SIAM J. Appl. Math. 46 233 (1986)
  53. Brette R, Gerstner W J. Neurophysiol. 94 3637 (2005)
  54. Douglas R J, Martin K A J. Physiol. 440 735 (1991)
  55. Van Vreeswijk C, Sompolinsky H Science 274 1724 (1996)
  56. LeCun Y, Bengio Y, Hinton G Nature 521 436 (2015)
  57. Sussillo D, Barak O Neural Comput. 25 626 (2013)
  58. Maslennikov O V, Nekorkin V I Nonlin. Dyn. 101 1093 (2020)
  59. Pugavko M M, Maslennikov O V, Nekorkin V I Commun. Nonlin. Sci. Numer. Simulat. 90 105399 (2020)
  60. Пугавко М М, Масленников О В, Некоркин В И Изв. вузов. Прикладная нелинейная динамика 28 (1) 77 (2020)
  61. Maslennikov O V, Nekorkin V I Chaos 29 103126 (2019)
  62. Масленников О В, Некоркин В И УФН 187 745 (2017); Maslennikov O V, Nekorkin V I Phys. Usp. 60 694 (2017)
  63. Mante V et al Nature 503 78 (2013)
  64. Chaisangmongkon W et al Neuron 93 1504 (2017)
  65. Freedman D J, Assad J A Nature 443 85 (2006)
  66. Swaminathan S K, Freedman D J Nat. Neurosci. 15 315 (2012)
  67. Wang J et al Nat. Neurosci. 21 102 (2018)
  68. Yang G R et al Nat. Neurosci. 22 297 (2019)
  69. Zhang X et al eLife 8 e43191 (2019)
  70. Romo R et al Nature 399 470 (1999)
  71. Genovesio A, Tsujimoto S, Wise S P Neuron 63 254 (2009)
  72. Inagaki H K et al Nature 566 212 (2019)
  73. Barraclough D J, Conroy M L, Lee D Nat. Neurosci. 7 404 (2004)
  74. Purcell B A, Kiani R Proc. Natl. Acad. Sci. USA 113 E4531 (2016)
  75. Remington E D et al Neuron 98 1005 (2018)
  76. Padoa-Schioppa C, Assad J A Nature 441 223 (2006)
  77. Munoz D P, Everling S Nat. Rev. Neurosci. 5 218 (2004)
  78. Wilson H R, Cowan J D Biophys. J. 12 (1) 1 (1972)
  79. Dayan P, Abbott L F Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems (Cambridge, MA: Massachusetts Institute of Technology Press, 2001)
  80. Maass W Neural Networks 10 1659 (1997)
  81. Roy K, Jaiswal A, Panda P Nature 575 607 (2019)
  82. Tavanaei A et al Neural Networks 111 47 (2019)
  83. Pfeiffer M, Pfeil T Front. Neurosci. 12 774 (2018)
  84. Perrinet L, Samuelides M, Thorpe S IEEE Trans. Neural Networks 15 1164 (2004)
  85. Escobar M-J Int. J. Comput. Vision 82 284 (2009)
  86. Brette R et al J. Comput. Neurosci. 23 349 (2007)
  87. Gerstner W, van Hemmen J L Network Comput. Neural Syst. 3 (2) 139 (1992)
  88. Sommer F T, Wennekers T Neural Networks 14 825 (2001)
  89. Amit D J, Mongillo G Neural Comput. 15 565 (2003)
  90. Mongillo G, Barak O, Tsodyks M Science 319 1543 (2008)
  91. Szatmáry B, Izhikevich E M PLoS Comput. Biol. 6 e1000879 (2010)
  92. Buzsáki G Rhythms of the Brain (Oxford: Oxford Univ. Press, 2006)
  93. Izhikevich E M, Edelman G M Proc. Natl. Acad. Sci. USA 105 3593 (2008)
  94. Ma J, Wu J Neural Comput. 19 2124 (2007)
  95. Oster M, Douglas R, Liu S-C Neural Comput. 21 2437 (2009)
  96. Jin D Z, Seung H S Phys. Rev. E 65 051922 (2002)
  97. Lumer E D Neural Comput. 12 181 (2000)
  98. Wang X-J Neuron 60 215 (2008)
  99. Atiya A F, Parlos A G IEEE Trans. Neural Networks 11 697 (2000)
  100. Dominey P F, Ramus F Language Cognitive Proces. 15 (1) 87 (2000)
  101. Jaeger H Technical GMD Report 148 (Boon: German National Research Center for Information Technology GMD, 2001) p. 13
  102. Maass W, Natschläger T, Markram H Neural Comput. 14 2531 (2002)
  103. Schrauwen B, Verstraeten D, Van Campenhout J M Proc. of the 15th European Symp. on Artificial Neural Networks, ESANN 2007, Bruges, Belgium, April 25-27, 2007 p. 471
  104. Lukoševičius M, Jaeger H Comput. Sci. Rev. 3 (3) 127 (2009)
  105. Häusler S, Markram H, Maass W Complexity 8 (4) 39 (2003)
  106. Joshi P, Maass W Neural Comput. 17 1715 (2005)
  107. Burgsteiner H Novel Applications of Neural Networks in Engineering. Proc. of the 9th Intern. Conf. on Engineering Applications of Neural Networks, 24-26 August 2005, Lille, France (Douai: École des Mines de Douai, 2005) p. 129
  108. Kasiński A, Ponulak F Int. J. Appl. Math. Comput. Sci. 16 101 (2006)
  109. Verstraeten D et al Inform. Proces. Lett. 95 521 (2005)
  110. Ponulak F, Kasiński A Neural Comput. 22 467 (2010)
  111. Raven J C, Court J H, Raven J Manual for Raven's Progressive Matrices and Vocabulary Scales (Oxford: Oxford Psychologists Press, 1998)
  112. Eliasmith C et al Science 338 1202 (2012)
  113. Voelker A R, Eliasmith C Neural Comput. 30 569 (2018)
  114. Bekolay T et al Front. Neuroinform. 7 48 (2014)
  115. Boahen K Comput. Sci. Eng. 19 (2) 14 (2017)
  116. Liu S-C et al Analog VLSI: Circuits and Principles (Cambridge, MA: MIT Press, 2002)
  117. Indiveri G et al Front. Neurosci. 5 73 (2011)
  118. Tang J et al Adv. Mater. 31 1902761 (2019)
  119. Kelly J E (III), Hamm S Smart Machines: IBM's Watson and the Era of Cognitive Computing (New York: Columbia Business School Publ., 2013)
  120. Zheng N, Mazumder P Learning in Energy-Efficient Neuromorphic Computing: Algorithm and Architecture Co-Design (Hoboken, NJ: Wiley-IEEE Press, 2019)
  121. Minvielle R, Bayoumi M 2013 4th Annual Intern. Conf. on Energy Aware Computing Systems and Applications, ICEAC (Piscataway, NJ: IEEE, 2013) p. 125
  122. Bhardwaj K, Nowick S M IEEE Trans. Very Large Scale Integrat. VLSI Syst. 27 (2) 350 (2019)
  123. Kim M-K et al iScience 23 101846 (2020)
  124. Benjamin B V et al Proc. IEEE 102 699 (2014)
  125. Menon S et al Proc. of the 5th IEEE/RAS-EMBS Intern. Conf. on Biomedical Robotics and Biomechatronics (Piscataway, NJ: IEEE, 2014) p. 181
  126. Neckar A et al Proc. IEEE 107 144 (2019)
  127. Markram H et al Procedia Comput. Sci. 7 39 (2011); Markram H et al Proc. of the 2nd European Future Technologies Conf. and Exhibition, FET 11, 4-6 May 2011, Budapest, Hungary (Amsterdam: Elsevier, 2011) p. 11
  128. Schemmel J et al ISCAS 2010, 2010 IEEE Intern. Symp. on Circuits and Systems Nano-Bio Circuit Fabrics and Systems, May 30th - June 2nd, 2010, Paris, France (Piscataway, NJ: IEEE, 2010) p. 1947
  129. Scholze S et al Front. Neurosci. 5 117 (2011)
  130. Schemmel J Proc. of the 6th Annual Neuro Inspired Computational Elements, NICE, Conf., Hillsboro, Oregon, 2018
  131. Furber S, Brown A Proc. of the Ninth Intern. Conf. on Application of Concurrency to System Design, 1-3 July 2009, Augsburg, Germany (Eds S Edwards, R Lorenz, W Vogler) (Los Alamitos, CA: IEEE Computer Soc., 2009) p. 3
  132. Höppner S, Mayr C Proc. of the 6th Annual Neuro Inspired Computational Elements, NICE, Conf., Hillsboro, Oregon, 2018
  133. Tayeb Z, Erçelik E, Conradt J Proc. of the 8th Intern. IEEE EMBS Conf. on Neural Engineering NER, May 25-28, 2017, Shanghai, China (Piscataway, NJ: IEEE, 2017) p. 263
  134. Galluppi F et al 2014 IEEE Intern. Conf. on Robotics and Automation, ICRA, 31 May - 5 June, 2014, Hong Kong, China (Piscataway, NJ: IEEE, 2014) p. 2862
  135. Denk C et al Artificial Neural Networks and Machine Learning — ICANN 2013, 23rd Intern. Conf. on Artificial Neural Networks, Sofia, Bulgaria, September 10-13, 2013, Proc. (Lecture Notes in Computer Science) Vol. 8131 (Eds V Mladenov et al) (Berlin: Springer, 2013) p. 467
  136. Kungl A F et al Front. Neurosci. 13 1201 (2019)
  137. Wunderlich T et al Front. Neurosci. 13 260 (2019)
  138. Akopyan F et al IEEE Trans. Computer-Aided Design Integrated Circuits Syst. 34 1537 (2015)
  139. DeBole M V et al Computer 52 (5) 20 (2019)
  140. Amir A et al The 2013 Intern. Joint Conf. on Neural Networks IJCNN, 4-9 Aug. 2013 (Piscataway, NJ: IEEE, 2013) p. 1
  141. Merolla P et al 2011 IEEE Custom Integrated Circuits Conf., CICC (Piscataway, NJ: IEEE, 2011) p. 1
  142. Esser S K et al Proc. Natl. Acad. Sci. USA 113 11441 (2016)
  143. Padala V, Basu A, Orchard G Front. Neurosci. 12 118 (2018)
  144. Davies M et al IEEE Micro 38 (1) 82 (2018)
  145. Vogels T P, Abbott L F J. Neurosci. 25 10786 (2005)
  146. Viale A et al arXiv:2107.00401
  147. Rueckauer B et al arXiv:2101.04261
  148. Imam N, Cleland T A Nat. Mach. Intell. 2 181 (2020)
  149. Канглер В М, Панченко К Е Беспилотные транспортные средства с элементами искусственного интеллекта. Третий Всероссийский научно-практический семинар, 22-23 сентября 2015, Иннополис, Республика Татарстан, Россия. Труды семинара. Российская ассоциация искусственного интеллекта (М.: Перо, 2016) с. 169
  150. Pei J et al Nature 572 106 (2019)
  151. Yang G R, Molano-Mazón M Current Opin. Neurobiol. 70 182 (2021)
  152. Pulvermüller F et al Nat. Rev. Neurosci. 22 488 (2021)
  153. Zhang X, Liu,S, Chen Z S iScience 24 102919 (2021)
  154. Goulas A, Damicelli F, Hilgetag C C Neural Networks 142 608 (2021)
  155. Масленников О В Изв. вузов. Прикладная нелинейная динамика 29 799 (2021)
  156. Ehrlich D B et al eNeuro 8 (1) 0427-20 (2021)
  157. Chung S, Abbott L F Current Opin. Neurobiol. 70 137 (2021)
  158. Xue X et al "Spiking recurrent neural networks represent task-relevant neural sequences in rule-dependent computation" Cogn. Comput. (2022)
  159. Calaim N et al eLife 11 e73276 (2022)
  160. Пугавко М М, Масленников О В, Некоркин В И Изв. вузов. Радиофизика 64 817 (2021); Pugavko M M, Maslennikov O V, Nekorkin V I Radiophys. Quantum Electron. 64 736 (2022)
  161. Schuman C D et al Nat. Comput. Sci. 2 10 (2022)
  162. Ivanov D et al Front. Neurosci. (2022)
© Успехи физических наук, 1918–2024
Электронная почта: ufn@ufn.ru Телефоны и адреса редакции О журнале Пользовательское соглашение