当今最成功的人工智能算法——人工神经网络,松散地基于我们大脑中复杂的真实神经网络网络。但与我们高效的大脑不同,在计算机上运行这些算法会消耗巨大的能量:最大的模型在其生命周期中消耗的能量几乎与五辆汽车一样多。
进入神经形态计算,它更接近我们大脑的设计原理和物理特性,可能成为未来人工智能节能的新方向。神经形态设计不是在中央处理单元和内存芯片之间长距离穿梭数据,而是模仿我们头脑中果冻状物质的结构,计算单元(神经元)放置在内存旁边(存储在连接神经元的突触中)。
为了使它们更像大脑,研究人员将神经形态芯片与模拟计算相结合,模拟计算可以处理连续信号,就像真正的神经元一样。由此产生的芯片与当前依赖于 0 和 1 二进制信号处理的纯数字计算机的架构和计算模式有很大不同。
以大脑为向导,神经形态芯片有望在某一天消除人工智能等数据密集型计算任务的能耗限制。不幸的是,由于被称为设备不匹配的问题,人工智能算法在这些芯片的模拟版本上表现不佳:在芯片上,模拟神经元内的微小组件由于制造过程中的误差而在尺寸上不匹配。由于单个芯片不够复杂,无法运行最新的训练程序,因此必须首先在计算机上对算法进行数字化训练。但是,当算法转移到芯片上时,一旦遇到模拟硬件上的不匹配,它们的性能就会崩溃。
Friedrich Miescher 生物医学研究所和海德堡大学的研究人员,于 2022 年 1 月发表在《PNAS》上的一篇题为「Surrogate gradients for analog neuromorphic computing」的论文揭示了绕过这个问题的方法。
该团队表明,一种称为尖峰神经网络的人工智能算法——它使用大脑的独特通信信号,称为尖峰——可以与芯片一起学习如何补偿设备不匹配。这篇论文是朝着使用 AI 进行模拟神经形态计算迈出的重要一步。
「令人惊奇的是,它运行得非常好!」荷兰国家数学和计算机科学研究所 CWI 的脉冲神经网络专家 Sander Bohte 说, 「这是一项相当大的成就,可能是更多模拟神经形态系统的蓝图。」
模拟计算对基于大脑的计算的重要性是微妙的。数字计算可以有效地表示大脑尖峰信号的一个二进制,即一种像闪电一样穿过神经元的电脉冲。与二进制数字信号一样,要么发出尖峰信号,要么不发出尖峰信号。但是随着时间的推移,尖峰是连续发送的——这是一个模拟信号——我们的神经元首先决定发出尖峰的方式也是连续的,这取决于细胞内随时间变化的电压。(与细胞外电压相比,当电压达到特定阈值时,神经元会发出尖峰信号。)
「在类比中,大脑核心计算的巧妙之处便在于此。模拟大脑的这一关键方面是神经形态计算的主要驱动力之一。」苏黎世大学和苏黎世联邦理工学院的神经形态工程研究员 Charlotte Frenkel 说。
2011 年,海德堡大学的一组研究人员开始开发一种兼具模拟和数字功能的神经形态芯片,以对大脑进行密切建模以进行神经科学实验。现在由 Schemmel 领导的团队推出了最新版本的芯片,称为 BrainScaleS-2。芯片上的每个模拟神经元都可以模仿脑细胞的输入和输出电流和电压变化。
「你真的拥有了一个不断交换信息的动态系统。」Schemmel 说,而且由于材料具有不同的电气特性,芯片传输信息的速度比我们的大脑快 1000 倍。
但是由于模拟神经元的特性变化如此之小——设备不匹配问题——电压和电流水平也因神经元而异。算法无法处理这个问题,因为它们是在具有完全相同数字神经元的计算机上训练的,突然它们在芯片上性能直线下降。
新研究展示了前进的方向。通过将芯片包含在训练过程中,作者表明脉冲神经网络可以学习如何校正 BrainScaleS-2 芯片上的不同电压。「这种训练设置是第一个令人信服的证据,证明可变性不仅可以[补偿],而且可能被利用。」Frenkel 说。
为了解决设备不匹配问题,该团队将一种允许芯片与计算机对话的方法与一种称为代理梯度的新学习方法相结合,该方法由 Zenke 共同开发,专门用于脉冲神经网络。它通过改变神经元之间的连接,来最小化神经网络在任务中产生的错误数量。(这类似于非尖峰神经网络使用的方法,称为反向传播。)
实际上,替代梯度方法能够在计算机训练期间纠正芯片的缺陷。首先,脉冲神经网络使用芯片上模拟神经元的变化电压执行一项简单的任务,将电压记录发送回计算机。在那里,该算法自动学习如何最好地改变其神经元之间的连接,以仍然与模拟神经元很好地配合,并在学习的同时不断地在芯片上更新它们。然后,当训练完成时,脉冲神经网络在芯片上执行任务。
研究人员报告说,他们的网络在语音和视觉任务上达到了与在计算机上执行任务的顶级尖峰神经网络相同的准确度水平。换句话说,该算法准确地了解了克服设备不匹配问题需要做出哪些改变。
苏塞克斯大学的计算神经科学家 Thomas Nowotny 说:「他们用这个系统解决真正问题所取得的性能是一项巨大的成就。」 而且,正如预期的那样,它们的能源效率令人印象深刻;作者表示,在芯片上运行他们的算法所消耗的能量比标准处理器所需的能量少 1000 倍。
然而,Frenkel 指出,虽然到目前为止能耗是个好消息,但神经形态芯片仍需要通过针对类似语音和视觉识别任务进行优化的硬件来证明自己,而不是标准处理器。Nowotny 警告说,这种方法可能难以扩展到大型实际任务,因为它仍然需要在计算机和芯片之间来回穿梭数据。
长期目标是让神经网络从头到尾在神经形态芯片上训练和运行,根本不需要计算机。但这需要构建新一代芯片,这需要数年时间,Nowotny 说。
目前,Zenke 和 Schemmel 的团队已经证明,脉冲神经网络算法可以处理神经形态硬件上模拟神经元之间的微小变化。「您可以依靠 60 或 70 年的数字计算经验和软件历史。」Schemmel 说,「对于这种模拟计算,我们必须自己做所有事情。」

发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • #TFBOYS[超话]# #TFBOYS三人同行# 好无语,那些口口声声说是四叶草的人 为爱签到这个,只要花你不到一分钟的时间就可以做 但是呢 无论你怎么说
  • 作为外交部的发言人,我认为联邦快递公司作为一家大型的跨国企业,它理应对外作出一个合理的解释,也理应对自身的行为负责。我想在这么多的时间内,联邦快递公司一再出现与
  • 从今年开始,全国地级及以上城市全面开启了生活垃圾分类工作,在先行先试的46个重点城市多地已初步建成生活垃圾分类、收集、运输、处理体系。从国外各城市对生活垃圾分类
  • 其实我理解一些魅友对小厂“恨铁不成钢”的情结,例子不胜枚举,比如说这个musiclink编程彩震技术,我没记错,国产No.1就是魅族,16th发布会李楠还底气十
  • 导演从贫民窟里捡回来的小男孩,让他做了电影的男主角,残酷的镜头都是他的亲身经历。愿这个世界多些和平与温柔,少些战争和残酷。
  • 3、香辣酱炒出红油,再放入龙虾,大火炒透放调味料,颜色上足冲入开水,煮好的龙虾不会味道只在表面。食材:牛肉,龙眼干,土豆 专家:北京中医医院 脾胃科副主任医师
  • 相关链接:【西班牙六台记者:拉莫斯在皇马的未来存疑,压力让他疲惫不堪】拉莫斯与皇马的合同到2021年结束,他的年薪高达1250万欧元,解约金为8亿欧元。随后《马
  • 波德莱尔《巴黎的忧郁》尘面向大海,我们寂静地呼吸喊一声,我爱你,你是否听见原来梦也要呼吸,早晨美好的时光才是醒的世纪空,空鸣,一切随音,缥缥缈缈之尘该知道却是糟
  • 昨日,记者获悉,我市有关部门和区(市)县正积极探索垃圾分类的创新做法,家门口做好了垃圾分类,已经开始能换钱了!昨日,记者获悉,我市有关部门和区(市)县正积极探索
  • 超 1⃣ 纽麦福跑跑牛,250ml*24盒,两件vip用140-10后170 2⃣ 清扬洗发水,500克*2+100,有赠品,vip用5无门槛是44.9 3
  • #自我疗愈[超话]# #平安喜乐# #南無阿彌陀佛# 或許...美好與醜陋喜愛與厭惡快樂與傷悲健康與生病呼吸與窒息相聚與別離真的是平等如同...夢裡明明有六趣覺
  • 所以,无所不能的精灵的最大的愿望是,做一个普通的人类;但从来没有一个主人会为他这样做。它说,每个人的心里大概都藏着一个念念不忘的人,但当时的他是最好的他,后来的
  • #朴裕千[超话]# 今天是520表白日呀[心]情话当然要说给你听[心][心][心](。’▽’。)♡[心]♡ღゝ◡╹)ノ♡[心]٩(●˙▿˙●)۶…⋆ฺ今天趴在
  • 对面的小哥哥超想认识一下啊[胖丁微笑]怎么认识他呢?女孩灵机一动[憧憬]对啦,我就说我心情不好,想跳江不敢跳。
  • 预计短线仍将尝试超跌反弹,行情在犹豫中发展的。事实上,这几家银行在美业务规模占比并不大,影响其实有限,这里更多是心理层面的冲击。
  • 公安交警支队交通科科长韩峰介绍,此类整治行动今后将成为常态化,整治行动的重点道路包括重型柴油货车通行集中的主要通行道路,城市建成区,物流货运主道,市际卡口;重
  • #壁纸情感原创博文[超话]# [心]又是一个寂静之夜,浅浅的月光、淡淡的风,硕大的雪花舞动、翻卷着飘然而至。斜靠窗棂,凝视长夜,天地混为一体,大雪覆盖了整个世界
  • 】6月24号上午11点半,广东省教育考试院将上线广东“民声热线”第一时间权威发布今年广东高校各批次录取最低控制分数线,进行政策解读。#山东高考[超话]# 【24
  • 在前往腾冲的途中,参访团亲眼目睹了滇缅公路、龙江大桥,深深感叹家乡人民为祖国建所付出的心血,感叹祖国桥梁技术的精湛,是一条用时最短、洒满前辈鲜血的公路,一座让全
  • 只是主角光环实在是太明显了,慢慢反感女主(尽管我朋友说大女主一般不招人喜欢,但我是在某些原则问题上真的看不顺眼...嗷快要第一门考试了,希望自己先放一放这剧,毕