2020年，优必选科技与华南理工大学合作共建了“类人感情智能”联合创新实验室，在双方强强联合下，联合创新实验室在相关技术上不断取得突破。近期，该实验室的最新论文《Key-Sparse Transformer For Multimodal Speech Emotion Recognition》（用于多模态感情鉴别的KS-Transformer），就入选了刚刚结束的ICASSP 2022（International Conference on Acoustics, Speech and Signal Processing) ，该会议由电气电子工程师学会(IEEE)主办，是全世界最大、最全面的声学、语音和旌旗灯号处理国际会议。
以下是该论文的核心观点。
多模态感情鉴别是人机交互中的重要技术，也是人工智能走向类人智能时所需要攻克的关键难题。在以往的大多数研究工作当中，感情鉴别系统会考虑输入语音旌旗灯号或文字旌旗灯号中的所有信息。但是，在整段的旌旗灯号里面，蕴含有感情信息的片断往往只占整体中的一部分。在感情鉴别过程中，感情无关的信息会成为系统中的噪声，从而影响鉴别系统的本能。因此，如何让系统尽量关注旌旗灯号中蕴含有丰富感情信息的片断，是提高感情鉴别准确率的关键。
我们基于Transformer架构，提出了一种全新的键希罕Transformer结构（Key-Sparse Transformer, KS-Transformer），可以动态地判断文本旌旗灯号中的每一个单词，亦或是语音旌旗灯号中每一帧的重要性，从而帮助模型尽可能把注意力放在与感情相关的片断上。此外，为了更好地利用好多模态信息，我们提出了一个串联的互注意力模块（Cascaded Cross-Attention Block，CCAB），更好融合不同模态之间的信息。
传统的方法：
Transformer
传统的Transformer模型使用了旌旗灯号中的所有信息。以一段在IEMOCAP数据库中的文本旌旗灯号“Okay, look it’s a beautiful day. Why are we arguing?”为例，传统的Transformer关注到了文本中的每一个单词，对每一个单词都分派了注意力权重，然而，“beautiful”和“arguing”这两个单词包含了该文本中绝大部分的感情信息，需要模型更多的关注。
自动地寻找感情片断：
KS-Transformer
首先，我们重新思考了Transformer中的注意力体制，其算计过程以下所示：
其中，W是权重矩阵，attn是注意力算计的输出。值得注意的是，对于语音旌旗灯号，QKV中的每一个token代表语音中的某一帧。对于文本旌旗灯号，QKV则代表文本中的某一个单词/字。权重矩阵W中的每一行，代表着V中每一个token所分派到的注意力权重。我们把V中同一个token的所有注意力权重进行相加，其和值则代表该token在整个样本中的重要性。直观来看，如果一个token很重要，那么在注意力体制算计的过程中，其他token都应该给它分派一个较大的注意力权重，其和值也必然更加大。相反，如果一个token不重要，其他token都只会分派很小的注意力权重给它，其和值也将很小。我们挑选出k个token，他们具有最大的和值，并保留他们的注意力权重，而将其他token的注意力权重置零。最终，我们设计的注意力体制算计流程以下图所示：
为了更好地利用好文本与语音旌旗灯号的信息，本文提出了一个串联的互注意力模块（Cascaded Cross-Attention Block，CCAB），通过增加不同模态之间的交互次数使模态间的融合更加充分。其详细结构以下图所示：
每经过一个CCAB模块，模态B中的信息就通过KS-Transformer注入到了模态A。经过多个CCAB模块，可以使模态A和模态B中的信息实现多次的交互。
实验结果
以下实验在常用感情数据库IEMOCAP以及最新发布的大规模感情数据库LSSED中进行。
1）可视化分析
同样以文本旌旗灯号“Okay, look it’s a beautiful day. Why are we arguing?”为例，我们对原始Transformer与我们所提出的KS-Transformer中的注意力权重进行了可视化的分析，结果以下图所示。可以看到，Transformer给句子中的每一个单词都分派了注意力权重，包括一些与感情相关性不大的单词，使得模型容易出现过拟合的现象。而KS-Transformer通过希罕的注意力体制，过滤掉了大部分的噪声单词，减少模型的复杂度的同时提升了模型的鲁棒性。
2）探讨最优的希罕度
为了探讨参数k的最优值，我们将k从10%变到90%，其结果以下：
我们发现，因为IEMOCAP是一个相对较小的数据库，当k的值大于50%时，模型开始过拟合，并维持UA值不变。而对于大规模的数据集LSSED，当k的值大于50%时，UA值因为噪声信息的引入而快速下降。相反，当k小于50%时，由于模型使用到的信息太少，只能收敛到一个较差的局部点，本能也会变差。因此，我们将k的值设置为50%。
3）多模态交互分析
使用CCAB的数量代表不同模态之间的交互次数。当CCAB的数量从0增加到3时，模型的本能逐步提升。当数量为3时，模型取得了最好的本能。这也说明模态之间进行多次交互的重要性。
在人机协作的时代，人机感情交互变得尤为重要，也是科技社会人文关怀的重要体现。未来，优必选科技与华南理工大学将持续在多模态感情算计、类人感情交互等类人感情智能的关键领域开展高水平合作研究，促成类人感情智能技术在机器人产业化中的应用，深入推动人工智能行业的发展。