作者:王佳杰
引言
语音唤醒(Keyword Spotting,KWS)是较为初级的语音识别任务,在2014年陈果果的工作[1]后,学界兴起大量研究,业界也获普遍应用,如智能家居(音箱、TV)、智能穿戴(TWS耳机、手表)、智能座舱等。KWS参、算量远低于ASR,可离线工作。作为智能语音系统的入口,KWS常要全天候(Always On)运行,若应用场景是功耗敏感、内存受限的可穿戴设备,则参、算量要求更为严苛。脉冲神经网络(Spiking Neural.NETwork, SNN)作为所谓的第三代神经网络,相比于人工神经网络(Artificial Neural Network,ANN)有功耗及内存优势,近年来逐渐拓宽应用。在音频领域,场景分类和KWS较早获得SNN应用。
![](https://www.isolves.com/d/file/p/2023/03-21/5cf1e3ae4619c6d73d03b4e32333b65c.png)
一、历史工作
2018年,加州大学圣迭戈分校的Bruno U. Pedroni等人[2]在TIMIT数据集中挑选出greasy, oily, water, carry, dark, wash六个词语做KWS,余下词、静音及噪声作为其他类别,共七分类。文中SNN及做对比之用的ANN均采用前向全连接结构,SNN又分为基于速率的SNN(RBSNN),和基于时间的SNN(TBSNN),前者可使用映射方程将预训练的ANN参数“翻译”给RBSNN,后者则需要其他方法训练。
RBSNN选用输出层脉冲数最多的类别作为胜出类别,TBSNN则是脉冲最先到达的类别。由于脉冲神经元激活与否可用0/1二进制代替,因此与(浮点)权重的乘法(Multiply-and-Accumulate operations,mac)可简化为权重自身的加法(Accumulate,AC)。结果表明,RBSNN及TBSNN与ANN性能基本相当,但RBSNN的计算代价为ANN的91%,TBSNN仅为ANN的16%,这是因为TBSNN依据脉冲间隔编码,相比于依据同等时间内脉冲个数编码的RBSNN更为“优雅”高效。该工作指出未来的优化方向是基于TBSNN做网络结构优化,即将前馈全连接结构优化为卷积结构。
2020年10月,新加坡国立大学李海洲组的Emre Yilmaz等人[3]宣称首次将深度卷积结果应用于SNN-KWS,该网络使用串联学习(Tandem Learning)训练,数据使用Hey Snips及google Speech Commands数据集,加噪使用MUSAN数据库,加噪信噪比-5至10 dB。实验结果表明,在各测试条件下,SpikeCNN-KWS的ROC性能与CNN-KWS基本相当或略有优势,在类脑芯片上能耗仅是后者的15~30分之一。该工作代码开源。
时隔不久,同年11月,法国图卢兹大学的Thomas Pellegrini等人[4]将扩张卷积引入SNN-KWS,且施加关于SNN各层脉冲数的正则项,以求神经脉冲激发尽可能稀疏,以进一步节省能耗。训练使用替代时间反传(Back-Propagation Through Time with Surrogate Gradient, BPTT with SG)法。该工作代码开源,且宣称将尝试SNN-ASR。
2021年,时识科技(SynSense)[5]瑞士中心的研发副总Sadique Sheik和Philipp Weidel受WaveNet结构的启发,指出脉冲神经元的膜电位积累机制,同WaveNet中扩张时间卷积之前存在一定的相似性,因此提出具有一组固定膜时间常数和简单前馈结构的WaveSense来替代WaveNet做KWS。结果表明在Aloha, Hey Snips, Google Speech Commands数据集上均优于前述SNN-KWS工作,且逼近ANN-KWS的SOTA性能,所提SNN含脉冲神经元864个,权重参量18k。
2022年7月,国内另一家类脑芯片公司九天睿芯[6]发布智能语音芯片ADA100,宣称其感、存、算语音唤醒方案支持预设多大30个关键词,还支持用户提取特征做自定义语音唤醒,但不确定其方案是否基于SNN。
同年月,荷兰Yin Bojian及华为Guo Qinghai等人[7]使用含注意力机制的循环脉冲神经网络Attention-RSNN做流式KWS,宣称在Google Speech Commands v1&v2数据集上,性能优于GRU基线和时识科技的WaveSense。
2023年1月,瑞典吕勒奥理工大学嵌入式智能系统实验室的Mattias Nilsson等人[8]基于脉冲时差编码器和突触兴奋/抑制单元对音频脉冲串做更深层次的信息抽取,所抽取的信息组合后接线性分类器,对TIDIGITS数据集分类。此架构有别于先前SNN-KWS的工作,遗憾的是,未与其他工作进行性能对比。
2023年2月,比利时根特大学的Sun Pengfei等人[9]指出当前SNN在音频领域应用时的局限性——训练时大多只关注突触权重,而少关注脉冲传递过程中的轴突延迟,因此提出在训练中逐层调整轴突延迟上限,具体做法是先对网络预训练几个epoch得到初始的延迟,再使用滑动窗口大小和上限比例来校准上限并微调延迟。训练使用SLAYER框架,在SHD和NTDIDIGITS数据集上,和其他工作相比,以最少的参数取得最佳分类准确率超过。
二、讨论
(1)在学界的研究论文中,KWS的性能指标主要以分类准确度为主,多词(唤醒词+命令词)常以混淆度矩阵展示分类性能。但在业界,KWS性能主要表现方式是某时段(如每天)内误唤醒1次下的唤醒率,误唤醒测试由各团队在自收集的语料库上测得。工业界的表达自然更为直观。KWS本质还是一个分类问题,分类越精准,业界指标也会更好。由于学界没有一个各方共用的误唤醒测试数据集,因此给出分类准确率即可。
(2)目前SNN还不成熟,“入局”的科研人才和工程人员太少,训练框架不少却没有一个占主导地位,甚至背后的理论都还在摸索实践中。目前,SNN-KWS论文发表者多在学术领域,不了解业界先进水平(实际上,产业界基于ANN-KWS路线的语音唤醒方案已经做到参、算量均极小的水平,且KWS问题的核心在训练策略、击中策略的设计,而不在网络的具体实现形式),且原本也不做KWS,只是为了验证SNN可应用于KWS,故而基于SNN路线的KWS也并没有优化到极致,未来还有很大的发展空间。
(3)虽然目前SNN的训练还比较困难,应用有限。但回顾ANN的发展历程,在误差反传出现之前,ANN不也同样如陷泥潭、裹足不前么?因此还是应当对SNN的发展抱有期待,它毕竟是人类对脑工作机制的模仿(即便现在还很拙劣),是朝着轻量、节能的路线上的努力探索。在当下以ChatGPT为代表的大功耗、大参量模型搅动学界、业界乃至世界的时代狂热背景下,持续投入SNN发展的科研及工程人员,仿佛背离时代主流在坐冷板凳。但当初DNN的先驱如Hinton等人,不也同样坐了好久的冷板凳么?
参考文献:
[1] Chen, Guoguo, Carolina Parada, and Georg Heigold. “Small-footprint keyword spotting using deep neural networks.” 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2014.
[2] Pedroni, Bruno U., et al. “Small-footprint spiking neural networks for power-efficient keyword spotting.” 2018 IEEE Biomedical Circuits and Systems Conference (BioCAS). IEEE, 2018.
[3] Yilmaz, Emre, et al. “Deep convolutional spiking neural networks for keyword spotting.” Proceedings of INTERSPEECH. 2020.
[4] Pellegrini, Thomas, Romain Zimmer, and Timothee Masquelier. “Low-activity supervised convolutional spiking neural networks Applied to speech commands recognition.” 2021 IEEE Spoken Language Technology Workshop (SLT). IEEE, 2021.
[5] Weidel, Philipp, and Sadique Sheik. “WaveSense: Efficient Temporal Convolutions with Spiking Neural Networks for Keyword Spotting.” arXiv preprint arXiv:2111.01456 (2021).
[6] https://www.52audio.com/archieves/126158.html
[7] Yin, Bojian, et al. “Attentive decision-making and dynamic resetting of continual running SRNNs for end-to-end streaming keyword spotting.” Proceedings of the International Conference on Neuromorphic Systems 2022. 2022.
[8] Nilsson, Mattias, et al. “A Comparison of Temporal Encoders for Neuromorphic Keyword Spotting with Few Neurons.” arXiv preprint arXiv:2301.09962 (2023).
[9] Sun, Pengfei, et al. “Adaptive Axonal Delays in feedforward spiking neural networks for accurate spoken word recognition.” arXiv preprint arXiv:2302.08607 (2023).