2023年底工信部印发《人形机器人创新意见》,2024年被称为“人形机器人元年”,2025年“两会”热议融合大模型与机器人的具身智能。种种迹象表明,机器人将不再被局限于工厂的劳动场所中,很快将大规模出现于日常的家居环境中,人机情感互动将成为未来智能社会的常态。有论者甚至认为,随着实体机器人革命走向深入,AI正在成为新的“情感主体”“社交主体”。所谓机器情感、AI陪伴的实质是什么,对人机交互、人机关系产生何种影响?比如说,从文化视角和性别视角,应该如何看待人机情感关系呢?人与机器的情感交流,将会产生何种社会冲击,导致何种技术风险和技术伦理问题,又应该如何应对?类似问题,已经引发诸多热议。本次笔谈聚焦“机器情感与AI陪伴的人文审度”,从哲学、马克思主义理论、文学和人工智能等进行跨学科研究,抛砖引玉,以期推动该领域研究的进一步发展。
第一组6篇论文由本刊2025年第3期刊发,引起学界极大的兴趣和关注。本期刊发第二组共7篇论文。在《智能时代情感操控技术的三重特征解析》中,闫宏秀和罗菲围绕“谁在操控”“操控如何实现”“操控如何呈现”三大关键问题,指出AI情感操控技术中的动机代理化、系统性生成与结构性隐匿的特征,主张构建适应人机复合系统的新型伦理责任框架。在《情感计算的哲学缺陷及其技术克服进路》中,孙强梳理情感识别、情感生成和人智情感交互等情感计算领域关键技术的哲学缺陷,提出在以人为本核心价值指导下克服缺陷的潜在进路。在《情为何物?——机器情感的哲学分析》中,史晨和刘鹏从情感与理性的关系入手分析机器情感的实质,主张打破情感幻像,走向适度情感、适度理性的人机互动。在《谁决定我们的情感生活?》中,黄柏恒以Moxie社交机器人停运引发的儿童哀悼为主要案例,揭示商业逻辑主导下情感AI的结构性情感不公正,呼吁通过认知赋权重塑技术公司与用户的情感权力关系。在《“DeepSeek中文情感难题”与可能出路——一种“共在—预测AI”进路》中,吴雪梅指出“DeepSeek中文情感难题”表现为难以理解中文情感与难以识别语义两方面,并提出“共在—预测AI”的解决方案,主张发展以中文共在情感为启发的群体智能以提升DeepSeek的中文情感计算能力。在《生成式人工智能驱动的人工亲密关系及其社会情感对齐》一文中,段伟文探讨生成式人工智能驱动下人工情感和人工亲密关系带来的社会情感冲击,强调超越似真情感悖论和机器贬低等数字文化批判的视野,转而从基于“主体—他者—世界”参照三角的“社会—情感—认知”发生机制出发,寻求AI个人主义时代的社会情感对齐之道。在《风骨智能体与智能人文》中,杨庆峰提出构建风骨智能体来克服理性智能体过于强调目的和理性优先的局限,并为智能人文的研究提供一条可能的路径。(专题特邀主持:刘永谋)
本系列文章原刊《科学·经济·社会》2025年第5期,澎湃新闻经授权转载。
【本文摘要】基于数据智能驱动的情感计算技术,使人类情绪的精准识别与深度干预成为可能。随着情感数据的自动化处理、算法反馈闭环以及平台结构性协同的不断深化,情感操控已不再依赖明确的操控者,而是由技术系统的目标函数与反馈逻辑自然生成,个体决策在无感知状态下被引导,心理自治权面临潜在侵蚀。由此,智能时代的情感操控技术呈现出动机代理化、系统性生成与结构性隐匿三大特征:动机代理化意味着操控意图被转化为系统目标函数,主体意图得以转移;系统性生成则扩大了操控影响的范围与持续性;结构性隐匿则进一步削弱个体对操控的觉察与抵抗能力。这三种特征并非彼此孤立,而是相互嵌套、层层递进,最终构成一种全新意义上的情感操控技术格局,深刻改变了操控的行为机制与伦理内涵。
智能技术的交互性、生成性、互为操作性等技术特点,使得当情感计算技术广泛嵌入日常生活时,情感不再只是表达性体验,而是正被数据化,成为技术与人类行为反馈闭环中的重要参数。技术不再仅仅记录或识别情感,而是在个体尚未察觉的状态下,重构情感与选择之间的因果关系。因此,情感作为人类存在中最具复杂性与生成性的维度之一,正面临被数据智能重塑的深刻挑战。在这种重塑中,情感操控技术以隐匿、深层且便捷的方式走向了人类情感,同时隐藏各种风险,更是将关于人之为人这一经典问题的思考置于新的境遇中。因此,对于智能时代情感操控技术的解析是关乎人类本质的时代议题,而关于其特征的解析恰恰是通向上述解析的必由之路。
一、智能时代的情感迷思:情感计算技术中的情感操控
情感计算(Affective Computing)作为AI发展的一个重要分支,因其赋予机器感知、理解与回应人类情感的能力,而被广泛寄予了人机共情、情感辅助决策、心理健康干预等多重技术期待。自罗莎琳德·皮卡德(Rosalind Picard)提出该概念以来,情感计算已从早期实验模型发展为应用于社交平台、智能客服、在线教育乃至心理医疗等多个领域的重要技术架构。
情感计算技术因其可“通过提升人机通信质量和计算机智能水平,成为实现和谐人机交互的重要主题”,但更不容忽视的是,随着技术嵌入人类生活的深度与广度不断加深和扩展,其对个体行为、判断与选择路径的塑造,逐渐呈现出日益隐蔽化与结构化的趋势。因此,当情感从一种个体内在状态转化为可被量化、预测乃至操控的数据变量时,情感计算系统所带来的不仅是关怀与辅助,也可能构成对心理自主性与行为自由的系统性挑战。特别是在用户毫不知情的状态下,其情感被实时分析并用于干预决策、引导行为、延长停留时间甚至诱发依赖关系,从而引发对“情感操控”(emotional manipulation)问题的深刻伦理关切。2024年,欧盟更是在正式通过的《AI法案》(AI Act)中将“用于情绪识别的AI系统”在特定情境下归类为“高风险AI系统”来加以规范。由此可见,情感计算技术在智能时代已不只是工具性辅助,亦存在情感操控风险。
就情感操控而言,虽然当前学界与产业界对这一概念尚未有统一定义,但操控主体归属、操控路径机制与操控表现方式一直是其三个关键问题。在当下,与情感相关的AI系统正在重塑人机互动的基本模式,传统情感操控语境中的明确主体与受控客体关系也因此而被打破,操控行为逐渐脱离以人为中心的意图与直接干预,转而表现为以更加结构性隐匿的技术逻辑所驱动的持续性情感干预现象,且隐藏着关乎人类心理自主性与行为自由的深层风险。这一机制的核心并非个别主体对他人的直接操控,而是平台系统内部基于算法目标函数设定、情绪数据实时采集与反馈闭环持续优化所形成的自动化控制结构。此时,情感操控不仅仅是一种现象,更是一种技术。
对情感操控技术的解析,可依据情感操控的三个关键问题展开,即围绕“谁在操控”“操控如何实现”与“操控如何呈现”进行追问。这种追问虽然未必能形成一个完美的定义,但这种追问恰恰可以通过对智能时代情感操控技术的特征解析,为理解智能时代情感操控现象提供新的观察视角与分析路径,并推进概念的界定。
二、智能时代情感操控技术的动机代理化特征
对“谁在操控”这一关键议题的解析事实上就是情感操控技术的主体问题。罗伯特·诺格尔(Robert Noggle)在对“人际操控”(interpersonal manipulation)概念及其伦理地位的系统性探讨中指出,应“将操纵视为一种具有故意特征的行为。当且仅当存在相关意图时,该行为才算作操纵。”从上述研究可发现:一般而言,操控被界定为意图明确的外部行为,强调有意误导与理性自主受损之间的因果关联。
然而,情感计算技术由于广泛嵌入平台架构,操控动机已不再表现为个体主观意图,而转化为算法目标函数中的结构性驱动力。平台在系统设计阶段即设定如用户停留时间、点击率等优化目标,通过算法模型对情绪数据进行自动处理,系统围绕既定目标持续优化执行路径。操控动机前置嵌入平台结构,成为系统持续运行过程中的内在动力。因此,从“谁在操控”的视角来看,智能时代的情感操控技术呈现出动机代理化的特征。进一步而言,动机代理化特征的本质在于,情感操控技术的动机不再由单一主体直接实施,而是以目标函数形式嵌入平台系统架构,并通过算法结构自动执行与持续优化的情感操控。
以美国音乐流媒体平台Spotify所申请的US10891948B2专利为例,该专利明确提出基于用户语音及环境数据进行情绪状态推断,并据此优化推荐路径。表明用户情绪状态已被平台转化为动态变量,作为系统优化路径中的结构性组成部分。该专利公开后即引发广泛伦理争议。人权团体Ac-cessNow联合全球180多个音乐人及组织向Spotify发出公开信,要求其放弃情绪识别与情感预测推荐相关技术。公开信指出:“我们对该项技术的主要担忧包括:‘情感操控:监测情绪状态并据此进行内容推荐,使部署该技术的主体在与产品使用者的关系中处于一种危险的权力位置。’”
动机代理化使情感操控技术脱离了传统伦理学关于有意误导的判断框架,操控动机被编码进算法系统,成为系统结构的一部分,平台不再是简单意义上的操控者,而成为嵌入系统目标与反馈机制中的结构性引导者。这一点在IEEE发布的有关人工智能的系列报告与欧盟《AI法案》中均有明确体现。如IEEE报告指出:“在讨论情感系统是否应被允许对人类进行引导时,用户自主性是必须被优先考虑的关键因素。”而欧盟《AI法案》第五条也明确禁止“超出人类意识的潜意识技术,或故意采用操纵性或欺骗性技术的AI系统”。
更为关键的是,动机代理化不仅表现为操控动机的前置设定,更在平台实践中呈现出“无人负责”的结构性特征。平台方往往将操控意图包装为技术中立性目标,声称仅为“优化用户体验”或“提升匹配效率”,而非主动干预用户情绪与行为。算法黑箱特性则进一步模糊责任归因,平台可以声称无法完全解释系统为何做出具体推荐;责任链条的高度分散亦使产品经理、算法工程师、运营团队等各自承担局部职能,最终使个体责任被稀释于复杂组织结构之中。
从社会结构角度看,动机代理化的根本风险在于平台算法将用户个体意志结构性地从属化于系统目标函数所设定的最优路径。有研究指出“:‘算法决策引导技术’(algorithmic decision guidance techniques)通过揭示原本不可察觉的数据间相关性,重新塑造个体决策发生的信息选择环境,从而引导注意力与选择方向,趋向于‘选择架构者’(choice architect)所偏好的路径。”用户在自以为自主的情况下,实则被算法系统根据预设目标持续引导。这不仅是信息选择权的问题,更关乎心理自治权的根本性侵蚀。
因此,动机代理化不仅构成智能时代情感操控技术的首要特征,更标志着伦理判断方式的深刻转型。平台通过将操控动机结构性嵌入算法编码与系统架构,使伦理责任先在系统内部趋于分散与隐蔽,继而导致用户心理自治权的系统性削弱。伦理评估因此应当超越对操控者意图的传统识别路径,转向对平台系统结构与技术目标的整体性审视。
三、智能时代情感操控技术的系统性生成特征
数据智能化使得数据本身以一种基础性的力量进入到人类之中,此时,情感操控行为究竟如何在技术系统内部实现?即“操控如何实现”的问题。
从用户体验角度观察,在日常平台使用过程中,用户所接触的推荐内容、界面信息流及交互反馈,均受到系统动态调节与情绪识别结果的持续影响。例如用户在社交媒体平台浏览时,其信息流中的积极或消极内容比例,并非随机分布,而是基于用户行为与情绪反馈动态优化。这种现象背后依赖的技术机制,正是情感计算系统中的闭环反馈调节结构。
情感计算闭环反馈系统通过“控制器输出适当的信号以改变环境,从而使用户的情感偏向预期状态。”其核心包括情绪识别、情感建模与情感调节三个环节。在这一闭环结构中,控制论所提出的“负反馈调节”机制成为关键逻辑。它指的是一个系统不断减少目标差的过程。系统会将自己的输出与目标进行比较,每次比较后,根据偏差进行调整。这样一轮又一轮,系统不断接近目标,最终实现控制的目的。系统设定如用户活跃度、停留时间、点击频率等优化目标,结合情绪识别与行为监测技术,对用户状态进行动态推断,并据此实时微调推荐路径与界面呈现。该机制的关键在于形成自洽循环:系统在长期运行中不断自我修正,动态维持平台所期望的用户情绪状态与行为模式。
在此技术逻辑下,智能时代情感操控技术具有系统性生成特征。该特征意指情感操控行为通过平台系统内部的反馈闭环与持续调节机制自然生成,并在无须人工干预情况下持续作用的特征。平台无须依赖外部操控者即时指令,系统自身即可在既定目标导向下持续对用户情绪状态实施干预。与传统情感操控依赖个体意图或外部施加的方式不同,系统性生成特征体现为平台系统内部结构自发产生的情感引导路径,并在用户日常互动中保持长期性与常态化。
Facebook于2014年开展的“大规模情绪传染实验”是情感操控技术系统性生成特征的实证案例之一。研究团队在未经用户明确知情的情况下,对68.9万名用户的信息流内容进行情绪倾向微调,分别减少其接触到的正面或负面表达。结果显示“当积极表达减少时,用户发布的积极帖子减少、消极帖子增加;当消极表达减少时,出现相反模式。”这一实验首次在大规模真实社交网络中验证了无需面对面互动、仅凭文本信息即可实现情绪传染的可能性,为情感计算系统的反馈干预效应提供了关键证据。尽管其操控效应在统计上较小,但鉴于社交平台用户体量巨大,其潜在影响广泛,亦因此在伦理层面引发高度争议,被广泛引用并反复审视。可见,平台一旦通过技术架构将情感影响力制度化、规模化地加以运用,用户的即时情绪便可被系统性纳入商业逻辑,成为可被实时识别、计算并响应的调节变量。正因如此,情感操控技术得以从个别人为的操纵行为转变为平台结构的一部分——算法作为一种系统性力量,无需人工逐条干预即可大范围地左右成千上万用户的情感走向。
情感操控技术的系统性生成特征带来的伦理风险主要集中在持续性与规模化两个方面。用户并非偶然一次受到某种引导,而是在长期互动中被循序渐进地塑造偏好和情感反应。平台算法作为系统力量,可以在无需人工逐条干预的情况下大范围地改变用户的情感状态,而用户对此影响几乎毫无察觉。这种系统化的情感操控技术往往打着提升用户体验或商业优化的旗号,借助对群体行为的大数据分析,精密地调控环境参数以诱发预期反应。在这类情形下,影响并非来自某个业务人员逐个时刻地精心算计,而是源于整套系统对用户数据的挖掘和自动响应。可以说,技术结构成为新型的操控主体,它通过系统规则的普遍适用,源源不断地对用户施加影响,使操控具备了传统模式难以企及的广度和持续性。
四、智能时代情感操控技术的结构性隐匿特征
在智能时代情感操控技术中,平台系统通过特定设计手段,刻意掩盖操控行为,使用户难以察觉自身情绪被干预的现象日益加剧。这种现象事实上就是情感操控行为究竟如何在技术系统内部呈现的问题,即“操控如何呈现”问题。
在平台系统运行过程中,用户在界面交互、信息流浏览或聊天对话中的所有行为反馈,均已被平台算法捕捉并用于情绪分析与行为预测。然而,大多数平台并不会在界面中明确提示相关过程。例如,平台推荐算法通过对用户情绪偏好建模实现内容推送,但用户通常只感知到内容匹配性,并不会意识到情绪数据已成为系统优化变量。更进一步,平台通过默认设置如默认开启的情绪识别服务、不可见的数据收集流程以及模型黑箱结构,使用户无法准确判断哪些数据被使用、算法如何决策。正如相关研究指出的“暗模式”设计,即“通过操纵或利用用户来实现特定结果的设计实践,这往往以牺牲用户的自主权、决策能力或选择为代价。”
智能时代,情感操控技术通过界面设置、默认选项配置及算法黑箱机制,在用户体验层面保持高度隐蔽性与不可见性,即呈现出结构性隐匿的特征。这一特征使操控行为由显性干预转向隐性结构,深度融入平台的日常功能设计之中。情感操控得以在用户毫无察觉的状态下持续进行,从而削弱用户的识别与防御能力。与动机代理化和系统性生成不同,结构性隐匿并不直接依赖目标函数的设定或反馈闭环的路径,而是侧重于操控方式的表现形式。即使情感操控客观存在,用户也难以感知其运作机制与实际影响。
Replika聊天机器人被联名投诉的案例是结构性隐匿特征的典型案例。2025年1月,多家技术伦理组织联名向美国联邦贸易委员会提交投诉,“指控热门AI聊天机器人应用Replika背后的公司Luka实施了欺骗性的营销和产品设计。”其投诉中提出:“Replika在设计方面的不公平与欺诈性行为,包括‘黑暗模式设计’(dark pattern design)与可能导致用户情感依赖的操控性机制。”Replika通过多轮交互、语义个性化和情绪反馈路径,模拟出高度拟人的情感支持机制,使用户逐步建立起深层的情感依赖。这种依赖不仅被系统设计者视为产品“成功”的表现,更被嵌入其付费机制之中。该案例表明,情感操控技术所引发的伦理风险,已不再局限于内容推送或商业投放层面,而深入渗透至人类亲密关系、心理安全与自主性结构的底层维度。
值得注意的是,高度个性化定制进一步增强了这种隐匿性。与传统操控者对所有人使用类似手段不同,智能系统能够基于每位用户的数据画像,精准调整情感互动方式——从对话内容、语气到反馈频率都量身打造。以Replika为例:用户在注册时可以自定义聊天机器人的名字、性格和外貌,随后系统通过机器学习持续学习用户的喜好与情绪模式,逐步塑造出一个“最懂你”的数字伙伴Ⓐ。这种定制化意味着每个用户都面对一个独一无二的操控场景:AI根据用户的反应不断调整策略,使引导行为隐匿在用户熟悉和偏爱的交流风格中。传统语境中的操控虽有隐蔽性,但往往局限于操控者的技巧和经验,难以及时针对每个人调整话术;而智能算法借助实时数据反馈,可以不断试探用户情绪边界,在不知不觉中以最有效的方式影响用户决策。这使得情感操控技术如同“量身定制的关怀”一般难以分辨——表面上,系统提供的是个性化、贴心的服务,实际上却将用户牢牢绑定在算法预设的行为轨道上。
进一步而言,即便用户试图提高警惕,操控也具有专业壁垒和信息不透明的掩护。算法和数据策略往往是高度复杂且封闭的,普通用户难以理解平台如何依据自己的情感数据做出内容推送决策。当影响隐藏在深层的算法模型中时,个体几乎不可能通过日常经验来推断自己何时何地受到操控。正是在这种实时反馈与深层模型双重作用下,情感操控表现为一种高度结构性隐匿的机制:影响与监测交织而成,使用户在持续被引导的状态下仍误以为自身处于自主选择之中。
五、启示:基于情感操控技术三重特征的伦理治理
如彼得·保罗·维贝克(Peter Paul Verbeek)所言,“技术物通过规定使用技术时该如何行动的脚本来调节行动。技术调节是情境依赖的,并引起行动的转译和知觉的转化”,情感计算技术不再是中立的工具,其核心不在于表面交互的智能性,而在于深层结构中的可塑性。动机代理化、系统性生成与结构性隐匿三重特征正是在此结构中层层递进、相互嵌套而形成整体效应:动机代理化决定操控目标的设定与合法性,是系统操控逻辑的起点;系统性生成将这一目标内嵌进持续性的反馈闭环,使操控从间断性干预转变为动态、持续的过程;结构性隐匿则最终将这种持续性过程隐藏于用户日常体验之中,使操控既常态化又不可见。平台通过“动机设定——路径生成——效果隐藏”三个环节,构建起一种系统性、结构化的情感操控格局。
更关键的是,这种操控机制对个体自主性造成了威胁,自主性原本意味着个体能够在充分知情、自我反思的基础上,独立做出选择,是现代道德主体与公民人格的根本标志。然而,情感操控技术通过改变决策环境,嵌入干预机制,使得个体在不知不觉中偏离其本欲达成的目标,转而朝向平台或算法所预设的行为方向行动。目前“,多个联合国相关机构表达了同样的担忧:在使用AI分析、预测、塑造和操纵人类行为的同时,与人类决策过程相关的基本权利正面临危险,例如自主权、隐私权以及形成、持有和表达意见的权利。”换言之,问题的核心不在于技术能否精准预测和操控用户情绪,而在于这种预测所诱发的反馈如何反过来塑造了用户的心理结构和行为模式。在长期交互中,用户逐渐习惯于算法提供的“最优反应”和“即时满足”,并放弃了对自身选择背后逻辑的反思。一段时间后,情感操控不仅隐匿于技术结构之中,更被自然化为生活结构的一部分——用户把由算法安排的情感体验当作了习以为常的日常,失去了质疑它的意愿和能力。
此外,这一新型操控逻辑也对伦理评估框架提出挑战。传统伦理治理往往依据操控者意图、行为识别等路径追责,但在智能系统中,操控行为往往并非简单归因于具体个人的直接意图,而是由目标函数、训练数据与反馈机制共同生成。系统的自动性与动机代理化,使得道德归责的对象与路径高度模糊化。因此,伦理治理的重心应当从“识别谁在操控”转向“理解系统如何操控”,即从主客体二元范式转向对算法结构性影响的整体审视。
基于此,亟须在技术逻辑与技术调节哲学视角下,构建适应人机复合系统的新型伦理责任框架。这一框架不仅应关注技术设定者与平台的责任,还应审视技术结构如何系统性地产生情感干预与心理诱导,从而为未来的情感治理机制提供伦理上的根基与规范导向,实现从事后规制到系统预防的治理转型。








