情感计算可以在哪些领域里应用,情感计算的应用
情感计算领域有哪些标准?
有很多,但在近期举办的ISO/IECJTC1/SC35德国柏林会议上,由中国科学院软件研究所、中国电子技术标准化研究院、小i机器人三家中国科研机构和企业共同提出的“信息技术—情感计算用户界面—框架”提案获得正式立项。这是用户界面分委会首个关于情感计算的标准,也是中国在用户界面领域第一个立项的国际标准。
情感计算的“情感计算”的相关研究
目前人工智能的研究发展已经达到了较高的水平,同时它的研究内容也在逐步扩展和延伸。对人的情感和认知的研究是人工智能的高级阶段,它的研究将会大大促进拟人控制理论、情感机器人、人性化的商品设计和市场开发等方面的进展,为最终营造一个人与人、人与机器和谐的社会环境做出贡献。心理学家认为,人工智能下一个重大突破性的发展可能来自与其说赋予机器更多的逻辑智能,倒不如说赋予计算机更多的情感智能。对人的情感和认知的研究是在人工智能理论框架下的一个质的进步。因为从广度上讲它扩展并包容了感情智能,从深度上讲感情智能在人类智能思维与反应中体现了一种更高层次的智能。对人的情感和认知的研究必将为计算机的未来应用展现一种全新的方向。在这个领域的研究中主要包括情感计算(Affective Computing)、人工心理(Artificail Psychology)和感性工学(Kansei Engineering)等。人工心理理论是由中国北京科技大学教授、中国人工智能学会人工心理与人工情感专业委员会主任王志良教授提出的。他指出,人工心理就是利用信息科学的手段,对人的心理活动(着重是人的情感、意志、性格、创造)的更全面再一次人工机器(计算机、模型算法等)模拟,其目的在于从心理学广义层次上研究人工情感、情绪与认知、动机与情绪的人工机器实现的问题。日本从上世纪九十年代就开始了感性工学(Kansei Engineering)的研究。所谓感性工学就是将感性与工程结合起来的技术,是在感性科学的基础上,通过分析人类的感性,把人的感性需要加入到商品设计、制造中去,它是一门从工程学的角度实现能给人类带来喜悦和满足的商品制造的技术科学[4]。日本已经形成举国研究感性工学的高潮。欧盟国家也在积极地对情感信息处理技术(表情识别、情感信息测量、可穿戴计算等)进行研究。欧洲许多大学成立了情感与智能关系的研究小组。其中比较著名的有:日内瓦大学 Klaus Soberer领导的情绪研究实验室。布鲁塞尔自由大学的D. Canamero领导的情绪机器人研究小组以及英国伯明翰大学的A. Sloman领导的 Cognition and Affect Project。在市场应用方面,德国Mehrdad Jaladi-Soli等人在2001年提出了基于EMBASSI系统的多模型购物助手。EMBASSI是由德国教育及研究部(BMBF)资助并由20多个大学和公司共同参与的,以考虑消费者心理和环境需求为研究目标的网络型电子商务系统。我国对人工情感和认知的理论和技术的研究始于20世纪90年代,大部分研究工作是针对人工情感单元理论与技术的实现。哈尔滨工业大学研究多功能感知机,主要包括表情识别、人脸识别、人脸检测与跟踪、手语识别、手语会成、表情合成、唇读等内容,并与海尔公司合作研究服务机器人。清华大学进行了基于人工情感的机器人控制体系结构的研究。北京交通大学进行多功能感知机和情感计算的融合研究。中国科学院自动比研究所主要研究基于生物特征的身份验证。当前国际人工智能领域对人工情感合认知领域的研究日趋活跃。美国人工智能协会(AAAI)在1998,1999和2004年连续组织召开专业的学术会议对人工情感和认知进行研讨,国内的研究者也开展了许多的研究工作和学术活动。2003年12月在北京召开了第一届中国情感计算及智能交互学术大会。2005年10月在北京召开的第一届情感计算和智能交互国际学术会议,集合了世界一流的情感计算、人工情绪和人工心理研究的著名专家学者。这说明我国的人工情感和人工心理的研究在逐步展开并向国际水平看齐。对情感计算的研究大致可以分为情感识别、情感建模和情感反应三大部分,这其中情感识别无疑是最基础,也是最重要的部分。综上所述,对人的情感和认知的研究,包括对情感识别的研究,无论在理论上还是实践中都已经受到了研究者广泛的关注,对这一问题的研究具有重要的理论和应用价值。对这一问题的研究将最终推动人工智能的进一步发展,实现人机和谐的目标。
情感计算的人机交互中的“情感计算”
传统的人机交互,主要通过键盘、鼠标、屏幕等方式进行,只追求便利和准确,无法理解和适应人的情绪或心境。而如果缺乏这种情感理解和表达能力,就很难指望计算机具有类似人一样的智能,也很难期望人机交互做到真正的和谐与自然。由于人类之间的沟通与交流是自然而富有感情的,因此,在人机交互的过程中,人们也很自然地期望计算机具有情感能力。情感计算(Affective Computting)就是要赋予计算机类似于人一样的观察、理解和生成各种情感特征的能力,最终使计算机像人一样能进行自然、亲切和生动的交互。 有关人类情感的深入研究,早在19世纪末就进行了。然而,除了科幻小说当中,过去极少有人将“感情”和无生命的机器联系在一起。只有到了现代,随着数字信息技术的发展,人们才开始设想让机器(计算机)也具备“感情”。从感知信号中提取情感特征,分析人的情感与各种感知信号的关联,是国际上近几年刚刚兴起的研究方向(图1)。人的情绪与心境状态的变化总是伴随着某些生理特征或行为特征的起伏,它受到所处环境、文化背景、人的个性等一系列因素的影响。要让机器处理情感,我们首先必须探讨人与人之间的交互过程。那么人是如何表达情感,又如何精确地觉察到它们的呢?人们通过一系列的面部表情、肢体动作和语音来表达情感,又通过视觉、听觉、触觉来感知情感的变化。视觉察觉则主要通过面部表情、姿态来进行;语音、音乐则是主要的听觉途径;触觉则包括对爱抚、冲击、汗液分泌、心跳等现象的处理。情感计算研究的重点就在于通过各种传感器获取由人的情感所引起的生理及行为特征信号,建立“情感模型”,从而创建感知、识别和理解人类情感的能力,并能针对用户的情感做出智能、灵敏、友好反应的个人计算系统,缩短人机之间的距离,营造真正和谐的人机环境(图2)。 在生活中,人们很难保持一种僵硬的脸部表情,通过脸部表情来体现情感是人们常用的较自然的表现方式,其情感表现区域主要包括嘴、脸颊、眼睛、眉毛和前额等。人在表达情感时,只稍许改变一下面部的局部特征(譬如皱一下眉毛),便能反映一种心态。在1972年,著名的学者Ekman提出了脸部情感的表达方法(脸部运动编码系统FACS)。通过不同编码和运动单元的组合,即可以在脸部形成复杂的表情变化,譬如幸福、愤怒、悲伤等。该成果已经被大多数研究人员所接受,并被应用在人脸表情的自动识别与合成(图3)。随着计算机技术的飞速发展,为了满足通信的需要,人们进一步将人脸识别和合成的工作融入到通信编码中。最典型的便是MPEG4 V2视觉标准,其中定义了3个重要的参数集:人脸定义参数、人脸内插变换和人脸动画参数。表情参数中具体数值的大小代表人激动的程度,可以组合多种表情以模拟混合表情。在目前的人脸表情处理技术中,多侧重于对三维图像的更加细致的描述和建模。通常采用复杂的纹理和较细致的图形变换算法,达到生动的情感表达效果。在此基础上,不同的算法形成了不同水平的应用系统(图4,图5) 人的姿态一般伴随着交互过程而发生变化,它们表达着一些信息。例如手势的加强通常反映一种强调的心态,身体某一部位不停地摆动,则通常具有情绪紧张的倾向。相对于语音和人脸表情变化来说,姿态变化的规律性较难获取,但由于人的姿态变化会使表述更加生动,因而人们依然对其表示了强烈的关注。科学家针对肢体运动,专门设计了一系列运动和身体信息捕获设备,例如运动捕获仪、数据手套、智能座椅等。国外一些著名的大学和跨国公司,例如麻省理工学院、IBM等则在这些设备的基础上构筑了智能空间。同时也有人将智能座椅应用于汽车的驾座上,用于动态监测驾驶人员的情绪状态,并提出适时警告。意大利的一些科学家还通过一系列的姿态分析,对办公室的工作人员进行情感自动分析,设计出更舒适的办公环境。 在人类的交互过程中,语音是人们最直接的交流通道,人们通过语音能够明显地感受到对方的情绪变化,例如通过特殊的语气词、语调发生变化等等。在人们通电话时,虽然彼此看不到,但能从语气中感觉到对方的情绪变化。例如同样一句话“你真行”,在运用不同语气时,可以使之成为一句赞赏的话,也可以使之成为讽刺或妒忌的话。目前,国际上对情感语音的研究主要侧重于情感的声学特征的分析这一方面。一般来说,语音中的情感特征往往通过语音韵律的变化表现出来。例如,当一个人发怒的时候,讲话的速率会变快,音量会变大,音调会变高等,同时一些音素特征(共振峰、声道截面函数等)也能反映情感的变化。中国科学院自动化研究所模式识别国家重点实验室的专家们针对语言中的焦点现象,首先提出了情感焦点生成模型。这为语音合成中情感状态的自动预测提供了依据,结合高质量的声学模型,使得情感语音合成和识别率先达到了实际应用水平。 虽然人脸、姿态和语音等均能独立地表示一定的情感,但人在相互交流的过程中却总是通过上面信息的综合表现来进行的。所以,惟有实现多通道的人机界面,才是人与计算机最为自然的交互方式,它集自然语言、语音、手语、人脸、唇读、头势、体势等多种交流通道为一体,并对这些通道信息进行编码、压缩、集成和融合,集中处理图像、音频、视频、文本等多媒体信息。目前,多模态技术本身也正在成为人机交互的研究热点,而情感计算融合多模态处理技术,则可以实现情感的多特征融合,能够有力地提高情感计算的研究深度,并促使出现高质量、更和谐的人机交互系统。在多模态情感计算研究中,一个很重要的研究分支就是情感机器人和情感虚拟人的研究。美国麻省理工学院、日本东京科技大学、美国卡内基·梅隆大学均在此领域做出了较好的演示系统。目前中科院自动化所模式识别国家重点实验室已将情感处理融入到了他们已有的语音和人脸的多模态交互平台中,使其结合情感语音合成、人脸建模、视位模型等一系列前沿技术,构筑了栩栩如生的情感虚拟头像,并正在积极转向嵌入式平台和游戏平台等实际应用(图6)。 情感状态的识别和理解,则是赋予计算机理解情感并做出恰如其分反应的关键步骤。这个步骤通常包括从人的情感信息中提取用于识别的特征,例如从一张笑脸中辨别出眉毛等,接着让计算机学习这些特征以便日后能够准确地识别其情感。为了使计算机更好地完成情感识别任务,科学家已经对人类的情感状态进行了合理而清晰的分类,提出了几类基本情感。目前,在情感识别和理解的方法上运用了模式识别、人工智能、语音和图像技术的大量研究成果。例如:在情感语音的声学分析的基础上,运用线性统计方法和神经网络模型,实现了基于语音的情感识别原型;通过对面部运动区域进行编码,采用HMM等不同模型,建立了面部情感特征的识别方法;通过对人姿态和运动的分析,探索肢体运动的情感类别等等。不过,受到情感信息的捕获技术的影响,并缺乏大规模的情感数据资源,有关多特征融合的情感理解模型的研究还有待深入。随着未来的技术进展,还将提出更有效的机器学习机制。 情感计算与智能交互技术试图在人和计算机之间建立精确的自然交互方式,将会是计算技术向人类社会全面渗透的重要手段。未来随着技术的不断突破,情感计算的应用势在必行,其对未来日常生活的影响将是方方面面的,目前我们可以预见的有:情感计算将有效地改变过去计算机呆板的交互服务,提高人机交互的亲切性和准确性。一个拥有情感能力的计算机,能够对人类的情感进行获取、分类、识别和响应,进而帮助使用者获得高效而又亲切的感觉,并有效减轻人们使用电脑的挫败感,甚至帮助人们便于理解自己和他人的情感世界。它还能帮助我们增加使用设备的安全性(例如当采用此类技术的系统探测到司机精力不集中时可以及时改变车的状态和反应)、使经验人性化、使计算机作为媒介进行学习的功能达到最佳化,并从我们身上收集反馈信息。例如,一个研究项目在汽车中用电脑来测量驾车者感受到的压力水平,以帮助解决所谓驾驶者的“道路狂暴症”问题。情感计算和相关研究还能够给涉及电子商务领域的企业带来实惠。已经有研究显示,不同的图像可以唤起人类不同的情感。例如,蛇、蜘蛛和枪的图片能引起恐惧,而有大量美元和金块的图片则可以使人产生非常强烈的积极反应。如果购物网站和股票交易网站在设计时研究和考虑这些因素的意义,将对客流量的上升产生非常积极的影响。在信息家电和智能仪器中,增加自动感知人们的情绪状态的功能,可以提供更好的服务。在信息检索应用中,通过情感分析的概念解析功能,可以提高智能信息检索的精度和效率。在远程教育平台中,情感计算技术的应用能增加教学效果。利用多模式的情感交互技术,可以构筑更贴近人们生活的智能空间或虚拟场景等等。情感计算还能应用在机器人、智能玩具、游戏等相关产业中,以构筑更加拟人化的风格和更加逼真的场景。 由于缺乏较大规模的情感数据资源,情感计算的发展受到一定的限制,而且多局限在语音、身体语言等具体而零散的研究领域,仅仅依靠这些还难以准确地推断和生成一个人的情感状态,并进行有效的情感交互。目前,科学家们正在积极地探索多特征融合的情感计算理论模型。很多人认为,今后几年情感计算将在这些方面需要取得突破:更加细致和准确的情感信息获取、描述及参数化建模。多模态的情感识别、理解和表达(图像、语音、生理特征等)。自然场景对生理和行为特征的影响。更加适用的机器学习算法。海量的情感数据资源库。 不久前,为了推动我国在这一领域的研究,探讨情感计算和智能交互技术的发展动态与趋势,促进我国科研人员在此领域的交流与合作,中国科学院自动化研究所、中国自动化学会、中国计算机学会、中国图象图形学会、中国中文信息学会、国家自然科学基金委员会和国家863计划计算机软硬件技术主题作为主办单位,在北京主办了第一届中国情感计算与智能交互学术会议。事实证明,情感计算的概念尽管诞生不久,但已受到学术界和产业界的高度重视,相关领域的研究和应用正方兴未艾,国家自然科学基金委也将其列入重点项目的指南中。值得注意的是,近几年来,与情感计算有密切关系的普适计算和可穿戴式计算机的研究也已获得了蓬勃发展,并同样得到了国家的大力支持。这为情感信息的实时获取提供了极大的便利条件,也为情感计算在国内的发展提供了更好的发展平台。情感分析技术有哪些应用
情感分析(又称为观点挖掘或感情AI)是指使用自然语言处理、文本分析、计算语言学和生物特征识别来系统地识别、提取、量化和研究情感状态和主观信息。情感分析广泛应用于分析客户的心声,如评论和调查回复,在线和社交媒体,以及从市场营销到客户服务再到临床医学的保健材料。情感分析的一个基本任务是在文档、句子或特征/方面级别对给定文本的极性进行分类,判断在文档、句子或实体特征/方面中表达的意见是积极的、消极的还是中性的。高级的“超越极性”情感分类着眼于诸如“愤怒”、“悲伤”和“快乐”等情绪状态。进行情感分析的先驱包括“一般询问者”(General Inquirer),它提供了量化文本模式的线索,另外,还提供了基于对人的言语行为进行分析来检查一个人的心理状态的心理学研究。情感建模
一、情感建模 随着人工智能技术的发展,人机交互方式越来越向着人类自然交互方向发展,但传统的人机交互方式是机械化的,难以满足现在的需求。情感计算技术的引入,可以让机器像人一样的观察、理解和表达各种情感特征,就能在互动中与人发生情感上的交流,从而使得人与机器交流得更加自然、亲切和生动,让人产生依赖感,故情感计算及其在人机交互中的应用将是人工智能领域里一个重要的研究方向。 情感建模则是情感计算的重要过程,是情感识别、情感表达和人机情感交互的关键,其意义就在于通过建立情感状态的数学模型,能够更直观地描述和理解情感的内涵。 对于情感模型而言,由于其对情感描述方式的不同,可以分为维度情感模型、离散情感模型和其他的情感模型,但在目前的情感建模研究中,维度情感模型的应用更加广泛。 二、维度情感模型 维度空间论认为人类所有情感分布在由若干个维度组成的某一空间中,不同的情感根据不同维度的属性分布在空间中不同的位置,且不同情感状态彼此间的相似程度和差异可以根据它们在空间中的距离来显示。在维度情感中,不同情感之间不是独立的,而是连续的,可以实现逐渐、平稳的转变。 2.1、一维情感模型 该模型用一根实数轴来量化情感,认为人类情感除了其独特分类不同外,都可以沿情感的快乐维度排列,其正半轴表示快乐,负半轴表示不快乐,并且可以通过该轴的位置可以判断情感的快乐和不快乐程度。 当人受到消极情感的刺激时,情感会向负轴方向移动,当刺激终止时,消极情感减弱并向原点靠近。当受积极情感的刺激时,情感状态向正半轴移动,并随着刺激的减弱逐渐向原点靠近。 情感的快乐维度是个体情感的共有属性,许多不同的情感会借此相互制约,这还可以为个体情感的自我调节提供依据,但多数心理学家认为情感是由多个因素决定的,也因此产生后来的多维情感空间。 2.2、二维情感模型 该模型从极性和强度两个维度区分情感,极性是指情感具有正情感和负情感之分,强度是指情感具有强烈程度和微弱程度的区别。这种情感描述比较符合人们对客观世界的基本看法,目前使用最多的是VA二维情感模型,该模型将情感划分为两个维度,价效维度和唤醒维度,如下图所示: 价效维度的负半轴表示消极情感,正半轴表示积极情感。唤醒维度的负半轴表示平缓的情感,正半轴表示强烈的情感。例如,在这个二维情感模型中,高兴位于第一象限,惊恐位于第二象限,厌烦位于第三象限,轻松位于第四象限。每个人的情感状态就可以根据价效维度和唤醒维度上的取值组合得到表征 2.3、三维情感模型 在三维情感模型中,除了考虑情感的极性和强度外,还有其他因素考虑到情感描述中。PAD三维情感模型是当前认可度比较高的一种三维情感模型,该模型定义情感具有愉悦度、唤醒度、和优势度三个维度,其中P代表愉悦度,表示个体情感状态的正负特性;A代表唤醒度,表示个体的神经生理激活水平;D代表优势度,表示个体对情景和他人的控制状态。 另外,还有APA三维情感空间模型,该模型采用亲和力、愉悦度和活力度三种情感属性,能够描述绝大多是情感。 2.4、其他多维情感模型 除了以上三种情感模型外,还有更复杂的情感模型。心理学家Izard的思维理论认为情绪有愉悦度、紧张度、激动度和确实度4个维度。愉悦度代表情感体验的主观享乐程度,紧张度和激动度代表人体神经活动的生理水平,确信度代表个体感受情感的程度。 心理学家Krech认为情感的强度是指情感具有由弱到强的变化范围,同时还以紧张水平、复杂度、快乐度3个指标来进行量化。紧张水平是指对要发生的事情的事先冲动,复杂度是对复杂情感的量化,快乐度是表示情感所处的愉快和不愉快的程度,故可以从这四个维度来判断人的情感。 另外,心理学家Frijda提出了情感具有愉快、激活、兴趣、社会评价、惊奇和复杂共6个维度的观点,但高维情感空间的应用存在较大难度,因此在实际中很少使用。 维度情感模型是用人类情感体验的欧氏距离空间描述,其主要思想是人类的所有情感都涵盖于情感模型中,且情感模型不同维度上的不同取值组合可以表示一种特定的情感状态。虽然维度情感模型是连续体,基本情感可以通过一定方法映射到情感模型上,但对于基本情感并没有严格的边界,即基本情感之间可以逐渐、平稳转化。维度情感模型的发展为人类的情感识别、情感合成和调节提供了模型基础。 三、离散情感模型 离散情感模型是把情感状态描述为离散的形式,即基本情感类别,如喜、怒、哀、乐等。 较为著名的是由心理学家Ekman提出的六大基本情感类别:愤怒、厌恶、恐惧、高兴、悲伤、惊讶,其在情感计算研究领域得到广泛应用。Plutchik从强度、相似性和两极性三方面进行情绪划分,对出8种基本情绪:狂喜、警惕、悲痛、惊奇、狂怒、恐惧、接受、憎恨。还有其他的一些心理学家提出了对基本情绪的不同分类。 离散情感模型较为简洁明了,方面理解,但只能描述有限种类的情感状态,而维度情感模型弥补了离散情感模型的缺点,能够直观地反映情感状态的变化过程。 四、其他情感模型 除了较常用的维度情感模型和离散情感模型外,一些心理学家还提出了其他基于不同思想的情感模型,如基于认知的情感模型、基于情感能量的概率情感模型、基于事件相关的情感模型等,从不同的角度分析和描述人类的情感,使情感的数学描述更加丰富。 4.1、OCC情感模型 该模型是针对情感研究而提出的最完整的情感模型之一,它将22种基本情感根据其起因分为三类:事件的结果、仿生代理的动作和对于对象的观感,并对这三类定义了情感的层次关系,可以描述特定情感的产生条件和后续发展。OCC模型给出了各类情感产生的认知评价方式。同时,该模型根据假设的正负极性和个人对刺激事件反应是否高兴、满意和喜欢的评价倾向构成情感反应。 在模型中,最常产生的是恐惧、愤怒、高兴和悲伤这4种情绪。尽管OCC模型传递函数并不是很明确,但从广义上看,其具有较强的可推理性,易于计算机实现,因此被广泛应用于人机交互系统中。 4.2、隐马尔可夫模型情感模型 该模型有三种情感状态,分别是感兴趣、高兴、悲伤,并且可根据需要扩展到多种情感状态。在模型中,情感状态是通过观测到如情绪响应上升时间、峰值间隔的频率变化范围等情感特征得到的,并通过转移概率来描述情感状态之间的相互转移,从而输出一种最可能的情感状态。 该模型适合表现由不同情感组成的混合情感,如忧伤可以由爱和悲伤组成。另外,还适合表现由若干单一的情感状态基于时间的不断交替出现而成的混合情感,如爱恨交织的情感状态就可能是爱恨两种之间循环。该模型的不足之处在于,对于相同的刺激,其感知结果是确定的。 4.3、分布式情感模型 该模型是针对外界刺激建立起来的一种分布式情感模型,整个分布式系统是将特定的外界情感事件转换成与之相对应的情感状态,过程分为以下两个阶段: 1、由事件评估器评价事件的情感意义,针对每一类相关事件,分别定义一个事件评估器,当事件发生时,先确定事件的类型和信息,然后选择相关事件评估器进行情感评估,并产生量化结果情感脉冲向量EIV。 2、对EIV归一化得到NEIV,通过情感状态估计器ESC计算出新的情感状态。事件评估器、EIV、NEIV及ESC均采用神经网络实现。 附:学习书目 《情感计算与情感机器人系统》吴敏 刘振焘 陈略峰
以下哪些属于情感计算研究方向
对人的情感。是指在开发一个系统时,如果够对人类的情感进行侦测、分类、组织和回应,就帮助使用者获得高效而又亲切的感觉,这种开发也可以由特殊点额用途,能够帮助人们便于理解自己和他人的情感世界。这一类型的系统和应用被称为情感计算。