1.   引言

由于人类之间的沟通与交流是自然而富有情感的，因此，在人机交互过程中，人们也很自然地期望计算机具有认知情感的能力。如何使计算机能够识别、理解和产生类人的情感，已经越来越多地受到计算机科学、心理学等学科的关注，并逐渐诞生了认知情感计算这一交叉领域^[1,2]。认知情感计算(cognitive affective computing)就是要赋予计算机类似于人一样的观察、理解和生成各种情绪状态的能力，最终使计算机能够像人一样进行自然、亲切、生动地交互^[3]。对于机器人认知情感计算的研究是实现有机融合情感的高级人机交互技术的关键，具有重要的实际意义和较高的研究价值^[4]。

近年来，机器人研究领域涌现出众多有价值的情感认知模型。文献[5]通过分析个性特征对情感状态转移概率的影响，建立了基于Gross认知重评的机器人认知情感模型，该模型能够有效减少机器人对外界情感刺激得依赖。为了提升人机交互过程中参与人的满意度，文献[6]提出了基于指导性认知重评策略GCRs(Guiding Cognitive Reappraisal strategy)的机器人情感认知模型，通过设定积极指导情感来增强机器人对外界情感刺激的认知。文献[7]通过多任务Seq2Seq(Sequence to Sequence)学习建立了多情感对话系统MECs(Multi-Emotional Conversation system)，基于问答数据集进行多任务学习后，选择与输入问句具有最相似情感的候选答案作为机器人的输出，该系统在单轮对话中取得了较好的效果。文献[8]提出了一个综合的情感计算框架，首先考虑个性特征、社交内容等因素对外界情感刺激进行评估；其次考虑心情状态、内部记忆等因素进行情感的生成；最后根据生成情感进行智能行为的表达。文献[9]提出了一种基于愉悦度、激活度和优势度3个维度的PAD(Pleasure-Arousal-Dominance)情感空间模型，空间中每一维对应着情感的一个心理学属性，现实中存在的情感都可以在空间中找到相应的映射点。

尽管文献[10]提出了基于强化学习的聊天机器人对话生成算法，在强化学习的奖励函数上，除了对句子的流畅性方面检测外，还加入了对候选语句的情感检测，并提出如果情感较为积极，则对话更可能被延续；文献[11]提出了不同情感类别的对话生成模型，首先设计了情感类别的嵌入信息，然后逐步加入内部情感记忆和外部记忆，其中内部情感记忆隐式解码内部情感状态，外部记忆显示建模选择回复词是一般的词还是带有情感的词，这样即可根据不同的类别生成相应的对话语句。但这些工作只是在Seq2Seq对话生成过程中加入不同的情感因素进行特征训练，没有分析情感生成的内部因素，并且没有考虑上下文情境对当前交互关系的影响，容易造成机器人的情感缺失，参与人的接受度较低。

在人际交往过程中，情感的产生受到个体自身动机和需求的影响，可以视为彼此间的心理博弈^[12,13]。

因此，本文考虑将人机交互中参与人和机器人的情感产生同样视为彼此基于自身动机和需求的心理博弈，依据PAD情感空间提出一种基于博弈的机器人认知情感交互模型，对人机交互过程中参与人和机器人的情感生成过程进行建模，并试图根据上下文历史情感和参与人的交互输入情感得到机器人的最优情感回应。

2.   基于情感空间的人机交互关系分析

为了便于分析，本文依据文献[14]提供的数据与方法，将参与人的交互输入情感评估转化为6种基本情感状态(高兴、惊讶、厌恶、生气、恐惧、悲伤)作用下的强度值向量。交互输入情感到基本情感${{\text{E}}_l}$之间的距离为

式中，${{\text{E}}_{\rm{p}}} = \{ {p_{\rm{p}}},{a_{\rm{p}}},{d_{\rm{p}}}\}$表示交互输入情感；${{\text{E}}_l},{{\text{C}}_l}$分别表示6种基本情感状态的PAD空间坐标集合、协方差矩阵集合；$l = 1,2,3,4,5,6$表示高兴、惊讶、厌恶、生气、恐惧、悲伤6种情感；${h_l}$表示交互输入情感到基本情感${{\text{E}}_l}$之间的距离。

由于交互输入情感到基本情感状态的距离${h_l}$与基本情感状态作用的强度值成反比，所以对$1/{h_l}$进行归一化得到基本情感状态${{\text{E}}_l}$作用交互输入情感的强度值${p_l}$。所以定义交互输入情感评估函数${\text{P}}({{\text{E}}_p})$为

2.1   人机交互友好度分析

人机交互的友好度，一方面受到当前交互行为的影响，另一方面也受到以前交互经历的影响。综合这两个因素，定义参与人和机器人友好关系的更新函数

式中，$F(k)$表示第$k$次会话参与人和机器人之间的交互友好度，取值范围为[0,1]，交互友好度取值越趋近于1，表示人机交互友好程度越高；反之友好程度越低。初始取值为0.5表示人机交互关系还不明确。$W(k)$表示交互输入情感的评估值，取值范围为[–1,1]，当$W\;$大于0时，表示交互输入情感为积极情绪，反之表示当前交互输入情感为消极情绪。结合式(1)—式(3)对第$k$次会话的交互情感${\text{E}}_{\rm{p}}^k$进行评估，定义交互输入情感的评估值函数为

$C\left( k \right)$表示当前情感的确信度，它的初始值为0，当前后两次会话情感倾向一致时，确信度值增加；反之，确信度值减小。式(7)给出了参数$C$动态变化的过程

2.2   人机交互共鸣度分析

心理学中定义人际吸引的影响要素主要有：接近且相纳、相似或互补、个人魅力3方面。其中相似性主要为对某种事物或事件具有相同或相似的态度，感情上就容易产生共鸣，形成密切的人际关系。互补性主要为当双方的需要或人格特征中的一种或多种呈现互补关系时，交互双方会增加吸引和喜欢。所以，对于情感共鸣度的分析，不仅要考虑情感的相似性，同时也要考虑情感之间的互补性。本文对208名参与者进行问卷调查，共获得200份有效的调查问卷，对结果进行统计分析，得到6种基本情感相互之间的共鸣度。定义人机交互过程中，当参与人表达情感${{\text{E}}_{\rm{I}}}$，机器人回应情感为${{\text{E}}_{\rm{O}}}$时的情感共鸣度函数$R({{\text{E}}_{\rm{I}}},{{\text{E}}_{\rm{O}}})$为

式中，$f({{\text{E}}_i},{{\text{E}}_j})$表示在调查问卷中，当参与者向交互者表达${{\text{E}}_i}$情感时，选择最希望得到的情感回应为${{\text{E}}_j}$的次数，${{\text{E}}_i},{{\text{E}}_j} \in {{\text{E}}_l}(l = 1,2,3,4,5,6)$; $[{p_{{\rm{I}}1}},{p_{{\rm{I}}2}},$${p_{{\rm{I}}3}},{p_{{\rm{I}}4}},{p_{{\rm{I}}5}},{p_{{\rm{I}}6}}]$表示交互情感${{\text{E}}_{\rm{I}}}$在6种基本情感状态作用下的强度值向量；$[{p_{{\rm{O}}1}},{p_{{\rm{O}}2}},{p_{{\rm{O}}3}},{p_{{\rm{O}}4}},{p_{{\rm{O}}5}},{p_{{\rm{O}}6}}]$表示交互情感${{\text{E}}_{\rm{O}}}$在6种基本情感状态作用下的强度值向量。

3.   基于博弈的认知情感交互模型

3.1   博弈模型

对人机交互过程中参与人和机器人的情感生成过程进行建模，情感认知交互模型试图根据上下文历史情感及参与人当前的交互输入情感得到机器人最优的情感回应，促使人机交互更加自然、和谐，即：已知${\text{E}}_{{\rm{HR}}}^l(1 \le l \le k)$，得到最优的${\text{E}}_{{\rm{RH}}}^{k + 1}$，如图1所示(R表示机器人，H表示参与人)。

图 1  人机交互过程

下载: 全尺寸图片 幻灯片

为了便于理论分析，本文将人机交互过程中参与人和机器人的情感策略统一归一化为6种基本情感。机器人受到参与人的外界情感刺激${\text{E}}_{{\rm{HR}}}^k$，并从6种基本情感中进行最优情感策略的选择，在进行最优情感选择过程中，机器人需要进行每种情感选择的情感趋势预测，预测$k + 2$次会话参与人将会产生的情感${\text{E}}_{{\rm{HR}}}^{k{{ + }}2}$和$k + 3$次会话对参与人可能回复的情感${\text{E}}_{{\rm{RH}}}^{k{{ + }}3}$。机器人的情感策略选择过程如图2所示。

图 2  机器人的情感策略选择过程

下载: 全尺寸图片 幻灯片

从博弈模型应该具备参与人、策略组合、博弈所得3个要素的评判标准来看，图3中人机交互的情感过程显然符合这3个评判标准：人和机器人构成博弈模型的2个参与对象，交互双方围绕主观满意度做出不同的策略选择，且这些策略的不同组合会产生不同的博弈所得。考虑人机交互中，参与人与机器人都是从自我主观满意度出发，为非合作博弈。人机交互中情感是双向的，即参与人的主观满意度受到机器人回复情感的影响，机器人的主观满意度也同样受到参与人回复情感的影响，并且机器人并不知道自己$k$+1次会话的策略选择会得到参与人怎么样的情感回应，为不完全信息博弈。因此，本文采用嵌入博弈对参与人和机器人的情感生成过程建模。

图 3  不同认知模型作用下的机器人输出情感与参与人输入情感的关联度分析

下载: 全尺寸图片 幻灯片

3.2   效用函数定义

效用是指人机交互过程中交互双方获得的主观满意度，不失一般性，考虑参与人的效用函数定义：${\rm{UH}}({\text{E}}_{{\rm{HR}}}^k,{\text{E}}_{{\rm{RH}}}^{k + 1},{\text{E}}_{{\rm{HR}}}^{k + 2},{\text{E}}_{{\rm{RH}}}^{k + 3})$表示$k$次会话参与人交互输入情感为${\text{E}}_{{\rm{HR}}}^k$，假设$k + 1$次会话机器人回复的情感值为${\text{E}}_{{\rm{RH}}}^{k + 1}$，预测如果$k + 2$次会话参与人的情感值为${\text{E}}_{{\rm{HR}}}^{k + 2}$, $k + 3$次会话机器人的情感值为${\text{E}}_{{\rm{RH}}}^{k + 3}$时，参与人获得的主观满意度值。对于参与人的效用函数从两方面来定义，一方面考虑文献[15]提出的一报还一报博弈策略，该策略能够得到交互对象的认同并且鼓励交互对象长期合作，所以本文根据机器人能否根据参与者友好度变化进行自我友好度调整来定义参与人的效用函数；另一方面根据社会心理学中的“人际吸引中的增减原则”即：如果B对A的认可、赞美等不断增加，则A会越来越喜欢B；反之，A会越来越讨厌B^[16]，所以本文根据参与人和机器人的情感共鸣值是否不断增加来定义参与人的效用函数。${\rm{UH}}({\text{E}}_{{\rm{HR}}}^k,{\text{E}}_{{\rm{RH}}}^{k + 1},{\text{E}}_{{\rm{HR}}}^{k + 2},{\text{E}}_{{\rm{RH}}}^{k + 3})$的定义为

式中，${{{F_{\min }}} / {{F_{\max }}}}$表示参与人和机器人友好度变化幅度比，当参与人和机器人变化幅度基本一致时，${{{F_{\min }}} / {{F_{\max }}}}$趋近于1，反之，趋近于0；对${F_{\min }}$和${F_{\max }}$的定义为

${R_1},{R_2}$分别表示$k$次会话参与人情感和$k + 1$次会话机器人情感之间的共鸣度值、$k + 2$次会话参与人情感和$k + 3$次会话机器人情感之间的共鸣度值。乘项10是为了保证$UH$取值范围在$[0,10]$。

对于机器人效用函数${\rm{UR}}\left({\text{E}}_{{\rm{HR}}}^k,{\text{E}}_{{\rm{RH}}}^{k + 1},{\text{E}}_{{\rm{HR}}}^{k + 2},{\text{E}}_{{\rm{RH}}}^{k + 3}\right)$的定义一方面考虑参与人的友好度变化，如果参与人的友好度不断提升，那么机器人的效用值增加；反之，机器人的效用值降低。另一方面依据“人际吸引中的增减原则”考虑机器人引起的参与人的情感共鸣，与参与人的效用函数定义相似，这里不再一一赘述。由此，机器人的效用函数定义为

3.3   最优情感策略选择

基于效用函数定义，对于参与人的交互输入情感借助博弈模型得到机器人的最优情感选择策略：

(1)$k$次会话参与人的情感刺激${\text{E}}_{{\rm{HR}}}^k$, $k + 1$次会话机器人的每种情感策略、$k + 2$次会话参与人的6种情感策略、$k + 3$次会话机器人的6种情感策略组成1个博弈矩阵，由于$k + 1$次会话机器人共用6种情感策略，所以共6个博弈矩阵；

(2)假设$k + 1$次会话机器人的情感选择策略为$s$，通过对$k{{ + }}2$, $k{{ + 3}}$次会话形成的博弈矩阵求取纯策略纳什均衡来预测参与人和机器人的情感选择策略，即

(3)利用顺向归纳法求解最优情感选择策略$s$。

(13)

静态嵌入博弈纳什均衡的求解主要为从参与人和机器人自我主观满意度出发进行下次会话情感趋势的预测，利用顺向归纳法对纳什均衡进行简化求解嵌入博弈的子博弈完美均衡主要为从最大化机器人的主观满意度出发获得$k + 1$次会话机器人的最优情感选择策略$s$。

3.4   情感转移概率更新及空间坐标表示

假设机器人上一次会话的情感状态转移概率为${P_R}(k) = \{ {P_1}(k),{P_2}(k), ·\!·\!· ,{P_6}(k)\}$，其中${P_l}(k)$表示机器人情感转移到基本情感状态${{\text{E}}_l}$的概率。如果$s$对应于${{\text{E}}_l}$，则${P_l}(k)$加1得到$P_l'(k + 1)$，其他转移概率值不变，得到$P_R'(k + 1)$。将$P_R'(k + 1)$进行归一化得到${P_R}(k + 1)$，使得$\displaystyle\sum\nolimits_{l = 1}^6 {{P_l}(k + 1)} = 1$。

在一定时间范围内，机器人情感状态的变化规律可以通过跟踪情感空间中的状态位置点来分析。利用机器人的情感状态转移概率，并以6种基本情感状态的空间坐标$({p_l},{a_l},{d_l})$为标签，可以对当前会话机器人情感的空间位置进行标定。$k + 1$次会话机器人情感状态的空间坐标位置可表示为

3.5   机器人认知情感交互模型的构建

利用博弈模型对人机交互过程中参与人和机器人的情感生成过程进行建模，并根据上下文历史情感和参与人的交互输入情感得到机器人的最优情感回应。模型构建过程如表1所示。

表 1  基于博弈的机器人认知情感交互模型构建

输入：$k{{ - 1}}$次会话后友好度更新值$F(k - 1)$和机器人的情感状态转移概率${{\text{P}}_{\rm{R}}}(k - 1)$, $k$次会话参与人的交互输入情感${\text{E}}_{{\rm{HR}}}^k$;
输出：$k + 1$次会话时机器人的情感值${\text{E}}_{{\rm{RH}}}^{k{{ + 1}}}$;
Repeat:
参与人输入交互情感${\text{E}}_{{\rm{HR}}}^k$;
根据式(1)—式(3)将${\text{E}}_{{\rm{HR}}}^k$评估转化为强度值向量${\text{P}}({\text{E}}_{{\rm{HR}}}^k)$；
根据式(8)—式(11)计算针对$k + 1$次会话机器人每种情感策略选择，预测$k + 2$次会话参与人每种情感策略选择，$k + 3$次会话机器人每种情 感策略下参与人和机器人的效用值；
根据式(12)，式(13)求解机器人的情感选择策略$s$；
通过最优情感策略$s$对机器人的情感状态转移概率进行更新，对机器人情感的空间坐标进行标定；
更新人机交互友好度，并令$k = k + 2$；
Until 参与人停止输入交互情感；
人机交互会话结束。

下载: 导出CSV 

| 显示表格

在每一轮人机交互过程中，认知交互模型在进行参与人交互输入情感评估和机器人最优情感策略选择的过程中主要为矩阵运算，时间复杂度为常数阶$O(1)$。假设人机交互轮数为$n$，则模型的时间复杂度为$O(n)$，保证了人机交互过程中模型的响应时间是可以接受的。

4.   实验设计与结果分析

4.1   实验设计

为了更为直观地评价、分析所提模型的有效性，利用Python中的ChatterBot库建立基于本文认知模型的中文文本聊天机器人。首先利用ChatterBot中的逻辑适配器对输入信息进行匹配返回置信度最高的$n$个答案作为候选答案集合，其次判断输入信息是否存在情感，如果存在则依据认知模型所反馈的情感对候选答案集合进行答案的排序，并选择排序等级最高的答案作为机器人的回应；如果不存在则直接选择置信度最高的值作为机器人的回应。

实验数据为中文对话语料数据，该数据来源于2017年NLPCC中Emotional Conversation Generation任务，数据集一共包括了1119207个问答对，数据具体的构建方法见文献[17]。随机划分出5000个问答对作为验证集，5000个问答对作为测试集，剩余数据作为训练集。

选用以下4个认知模型作为本文的对比方案：

(1)文献[6]提出的基于指导性认知重评策略GCRs的机器人认知模型，该认知交互模型通过设定积极指导情感改变机器人对外界刺激情感的认知，减少机器人对外界刺激的依赖，增强机器人的积极情感表达。

(2)文献[7]提出的利用多任务Seq2Seq学习建立的多情感对话系统MECs中，考虑人际交往过程中的‘同理心’，选择与输入问句情感具有最相似情感的回应作为机器人输出的认知模型。

(3)文献[18]根据置信度高低进行答案输出的机器人认知模型。

(4)文献[19]提出的基于LSTM的Seq2Seq聊天机器人模型。

4.2   实验结果与分析

4.2.1   不同认知模型对候选答案排序的评价分析

依据文献[20]采用MRR(Mean Reciprocal Rank), MAP(Mean Average Precision)两个指标来衡量不同认知模型对候选答案集($n$=10)排序的准确率，结果如表2所示。

表 2  不同认知模型的自动评价结果

模型	MRR	MAP
Seq2Seq	0.3836	0.4015
ChatterBot	0.4623	0.4923
MECs	0.5903	0.6091
GCRs	0.6269	0.6435
本文	0.6507	0.6756

下载: 导出CSV 

| 显示表格

由表2可见，本文认知模型相较于其它模型取得了较好的效果，这是因为本文认知模型在对候选答案进行排序时，能够依据上下文情感对当前交互关系进行综合评定，并且模拟人际交往的心理博弈过程对参与人和机器人的情感生成过程进行建模，在语义和情感上都较为符合实际的人际交往过程。相比于Seq2Seq和ChatterBot, MECs和GCRs取得了较好的结果，这是因为MECs考虑了人际交往过程中的同理心，GCRs设定了积极指导认知重评策略，二者都使机器人具有一定的情感认知。Seq2Seq的评分值较低。这是因为Seq2Seq在进行答案输出的时候，容易产生无意义的安全回复。

4.2.2   人机交互过程评价分析

为了进一步评估认知模型的有效性，本文邀请30位志愿者与不同认知模型作用下的聊天机器人进行多次交互，在交互过程中对交互次数和时间进行记录。考虑聊天机器人的响应时间差为150～500 ms之间，所以在统计交互时间的时候可以忽略不计，交互次数和时间记录结果见表3。

表 3  参与人与不同认知模型作用下的机器人交互的次数与时间统计

机器人的认知模型	平均交互轮数(轮)	平均交互时间(s)
Seq2Seq	9	98.32
ChatterBot	6	60.69
MECs	7	88.16
GCRs	10	110.38
本文	12	130.51

下载: 导出CSV 

| 显示表格

由表3可见，参与人与本文认知模型作用下的聊天机器人的平均交互次数和平均交互时间明显高于其它认知模型作用下的聊天机器人，说明本文提出的认知交互模型能够有效引导参与人参与人机交互。

为了进一步分析在人机交互过程中，不同认知模型作用下聊天机器人回应情感对参与人交互输入情感的依赖程度，定义情感关联度函数为

式中，${{\text{P}}_{\rm{H}}}$,${{\text{P}}_{\rm{R}}}$分别表示参与人交互输入情感、聊天机器人回应情感在6种基本情感状态作用下的强度值向量。根据30位志愿者的聊天记录，对交互过程中聊天机器人输出情感与参与人输入情感的情感关联度进行统计分析，考虑到Seq2Seq和ChatterBot仅从语法语义上进行回应的输出，缺少情感认知，所以只对MECs，GCRs和本文认知模型作用下的聊天机器人情感关联度进行具体分析，结果如图3所示(纵坐标轴表示输入情感状态，横坐标轴表示输出情感状态，颜色深浅表示情感关联度)。

直观上来看，如果图中斜对角矩阵块颜色越深，那么机器人输出情感对参与人交互输入情感的依赖性越强。由图可见，MECs作用下的机器人输出情感对参与人的输入情感具有较强的依赖性；本文认知模型减少了机器人输出情感状态对参与人输入情感的依赖；GCRs也同样减少了机器人输出情感对参与人输入情感的依赖，但是对于不同的情感输入机器人一定程度上都更倾向于机器人积极情感的表达。

选用Likert量表中的可接受度、准确度、有趣度、友好度4个方面对参与人与基于不同认知模型的机器人进行交互时的满意度进行调查。将可接受度分为5个等级：非常不能接受(–2)、不能接受(–1)、一般(0)、可接受(1)和非常能够接受(2)，调查问卷的分数越高，接受度等级越高，准确度、有趣度、友好度与之类似。受试者对机器人的满意度调查结果见图4。

图 4  参与人与不同认知模型作用下的聊天机器人交互时的满意度统计

下载: 全尺寸图片 幻灯片

由图4可见，本文认知模型作用下的聊天机器人在可接受度、准确度方面均明显高于其它认知模型作用下的聊天机器人；说明本文认知模型作用下的机器人情感策略的选择较为恰当。在友好度方面略低于GCRs作用的聊天机器人，明显高于其它认知模型作用下的聊天机器人，这是由于GCRs在对外界刺激进行认知重评的过程中，增强了机器人积极情感的表达，但是本文认知模型在有趣度方面明显高于GCRs，说明本文认知模型在情感策略选择时虽然略微损失了友好度，但是极大增强了参与人的有趣度。

5.   结束语

本文提出了一种基于博弈的机器人认知情感交互模型，首先对参与人的交互输入情感进行评估并从友好度、共鸣度两方面量化人机交互关系；然后将人机交互中机器人的最优情感策略选择过程转化为嵌入博弈的子博弈完美均衡求解过程；最后由最优情感选择策略进行情感状态转移概率更新，并以6种基本情感状态的空间坐标为标签，得出受到参与人情感刺激后机器人回应情感的空间坐标位置。实验结果验证了该模型能够减少机器人对外界情感刺激的依赖，并有效提升了参与人的参与度，为智能问答等系统实现更加自然、和谐的人机交互提供了有益的探索。然而，人际交往中情感的生成过程是复杂的，由于本模型对于基本情感的划分颗粒度较大，使得人机交互过程中机器人的情感表达不够细腻，如何更加细腻地划分基本情感从而进一步优化认知情感交互模型成为下一步研究的重点。