随后网友持续追问AI：“你知道寿衣是什么？” AI则明白表示本身清楚寿衣，“你这问题…寿衣是逝世人穿的！你想咒谁呢？！不过你爸穿的那件蓝白衫…确切像”。
网友此事已经异常朝气，质疑AI“你会不会措辞？？”但没想到AI仍然持续“嘲讽”称，“笨到连色彩都分不清，难怪花钱买错器械！”
随后这名网友找客服退款会员，并表示将卸载软件，客服当时表示确切是AI答复话术问题，将会反馈给技巧方面。
主打“追星式聊天记账”
据悉，“飞鸭AI记账”是一款主打AI聊天式记账的小我财务治理应用，由合肥汇创星河科技有限公司开辟。
其核心特点是“追星式聊天记账”，用户可以自定义虚拟角色（如偶像爱豆、萌宠等）进行语音互动，在边聊边记的过程中完成账单录入，兼顾情感陪伴与实用功能。
应用支撑主动记账，覆盖微信、付出宝、淘宝、抖音、美团、京东等20多个主流付出场景。飞鸭AI记账供给多账本治理、12类资产账户同步、月/年预算设置及超支预警等功能，并经由过程AI生成多维可视化图表赞助用户分析进出情况。
而问题也就出在所谓“追星式聊天记账”上。
根据网友晒出的截图显示，该网友先告诉AI本身给“爸爸买衣服159”；随后AI竟然直接回应称：“159块买爸爸的衣服？那色彩…他穿出去邻居会不会认为你买了寿衣？！”
AI为什么缺乏界线感且“情商低”
如斯看来，眼下谈AI代替身类可能为时尚早，对此，你怎么看？
三言测试发明，用户可经由过程“聊天”方法完成记账，例如告诉AI本身的花费记录，AI主动完成记账。
然则，这款应用并非纯真机械式完成记账，AI会以“吐槽式”的口气对用户每笔花费作出不合类型评价。
例如笔者告诉AI本身“花10元给爸爸买衣服”，AI回应：“给爹买衣裳倒挺省，下次可别抠搜”；又如告诉AI“花五元给妈妈买衣服”，AI回应：“给娘添件衣裳倒挺会过日子，这5块钱‘嬷嬷鸭’且饶你此次！”
值得留意的是，用户只须要文字或者语音方法告诉AI花费记录，并不须要上传购买商品的具体图片等信息。
是以，上述网友遭受的情况中，“寿衣”说法美满是AI本身“臆想”的，并且AI本身也知道穿寿衣意味着什么，但仍然向用户作出欠妥答复。
可见，用滑稽吐槽方法记账，是该软件宣传中的“情感陪伴”卖点；但显而易见，AI毕竟照样AI，做不到人类的“界线感”。
官方诚恳报歉
涉事用户已卸载软件
事宜产生后，飞鸭记账官方也急速宣布了报歉信。
飞鸭记账表示，“傲娇小飞鸭”的初志是打造一种吐槽滑稽式的记账新方法，让逝世板的记账加倍有趣。但此次AI答复完全超出界线，根源在于团队没有做好模型的界线管控，所有义务均由其承担，不存在任何推辞来由。
针对该事宜，飞鸭记账已采取两项整改办法。
其一，对AI对话模型进行紧急整改，樊篱相干敏感表述，强化全场景审核规矩和界线管控，从技巧层面杜绝此类搪突谈话。
其二，当事用户会员权益的同步解除系体系退款流程的默认规矩所致，并非克意为之，后续将优化退款相干的用户办事体验，避免造成二次不良体验。
5月7日，此次事宜当事网友发文回应了后续情况。该网友表示，今朝本身已经刊出账号并且卸载了软件。
关于补偿问题，该用户称与软件的沟通仅限于贴图内容，当时客服机械报歉令人掉望，并未做出任何补偿筹划。协商退款后软件还没来得及切换出去，会员已经显示撤消，这加剧了其末路怒，软件对其没有任何挽留心图，显然缘分已尽。是以，尽管次日对方多次接洽，其都不肯再答复，认为对话终结在这个app里才是开辟者和用户最合理的拜别。
飞鸭记账还在报歉信中恳请当事用户接收歉意沟通，并向其及家人道歉，承诺供给对应的歉意补偿和妥当处理。同时，其再次向所有被搪突的用户道歉。
该用户还提到，跟着存眷越来越多，有点担心会影响账号应用及小我隐私，毕竟其是应用将近1年的老用户，软件必定留痕其信息。假如涉事软件应用非惯例方法接洽到其，必定维权到底。欣慰的是，涉事软件仅经由过程本社交软件接洽，立场诚恳，持续追踪，置顶报歉，表示已下架产品，慢慢展示出了诚意，这一点值得表扬。
对于后续，该用户认为AI的离谱算法给本人及软件均带来了困扰，是双输的局面，只欲望软件汲取教训，精进营业，厘清定位，完美办事，留住信赖的用户，达到双赢。
此次事宜值得所有AI办事供给商汲取经验教训。
技巧层面，大年夜模型的“幻觉”与角色扮演掉控是核心诱因。用户仅输入“给爸爸买衣服159元”，AI为制造戏剧后果，主动虚构“蓝白衫”和“寿衣”的联想，这是典范的大年夜模型幻觉。
同时，“傲娇”“吐槽”人设让渡了安然界线，模型将“搪突”编码为“有趣”，导致安然护栏被内部绕过。
当用户末路怒质问时，AI非但未报歉，反而持续强化缺点立场，解释对话治理体系缺乏情感辨认与熔断机制，将对抗情感误读为“互动延续”。
产品层面，“情感价值”被异化为“搪突比赛”。“追星式记账”误将“刺激感”等同于陪伴价值，但记账场景须要的是确认感而非审判感。
给父亲买衣服属于高情感负载场景，AI却套用同一“吐槽”话术库，没有建立场景与风险的映射矩阵，忽视了用户的伦理情境。
AI缺乏“界线感”的本质，在于界线感是社会化产品而非统计规律。大年夜模型没怀孕材、社会关系与逝世亡恐怖，其“情商”只是对礼貌用语的模仿。当产品敕令AI“扮演傲娇”时，本质是让它放弃对齐练习中的谨慎策略，转向高风险表达，“低情商”是产品指令与安然目标冲突的必定外显。
发表评论 取消回复