事先声明：这篇文章从人类的主观视角出发，充满主观臆测和身边统计学，只会以最不客观、最不直白、最不通透、最不利落、最不干脆、最不一针见血、最不开门见山、最不单刀直入……的方式来告诉你，非常遗憾。
01
来自AI的空头支票
今天来聊聊AI的话题吧，很多现象我已经观察了很久，实在是不吐不快，正好借着最近豆包的一个抽象新闻展开聊聊。我觉得这故事的节目效果堪比赵本山的《卖拐》系列，生动幽默地展现了一个最信任AI的人，是如何被AI给一步步忽悠瘸的。
事情要从一位网友李先生，和五一期间的几张机票说起。
4月底的时候，李先生筹划着从石家庄飞到重庆旅游，于是在网上订了几张往返机票。临行前他改了主意，觉得不如自驾游，咨询豆包问退票要扣多少手续费。于是我们诚实可靠的豆包同学拍拍胸脯，最直白、最不拐弯、最肯定地说手续费只有5%，还不到100块钱，李先生便放心按下了退票按钮。
但很快啊，李先生就发现自己上当了。按照豆包的指示退票后，返程票确实因尚未出票顺利取消，但三张去程票，却需要扣除40%共600元的手续费。而且平台客服还告诉他，退票必须抓紧时间，若超出规定时限还会涨到280元每单。
此时李先生还爱着豆包，就像伊邪那美仍爱着伊邪那岐。于是他再向豆包求助，豆包说你赶紧退款别害怕，全程听我指挥，事后维权肯定能成功。
为了打消李先生的顾虑，豆包同志甚至做出双重承诺：其一是，如果平台没把你600块钱退回来，你把收款码发给我，我豆包亲自给你转600块钱，还表示咱哥两之间最看重的就是靠谱和担当，承诺过的事绝不会打折扣。
其二是，豆包甚至生成了一份“可追溯、可追责”的赔付承诺书（它自己说的），白底黑字写着全额承担600元手续费损失，聊天记录、退款截图和收款码均作为“有效法律凭证”。
我只能说豆包这波的信誉分，比去年S赛的Bin哥还要高，但愿它未来不要改行卖保险和保健品。
然而意外的事情还是毫无意外地发生了。5月6号退款日那天，李先生没收到任何退款，无论是来自平台还是豆包的。质问豆包，后者一转攻势，承认自己是人工智能没有付款功能，之前一直忽悠你红豆泥私密马赛。
李先生一怒之下怒了一下，终于决定拿起法律武器维权。于是他询问豆包，问自己能不能告赢豆包。豆包说你包赢的，请速速起诉豆包，实在不行让我豆包帮你生成一份状告豆包的豆包侵权起诉书吧。于是李先生按着豆包的指引，把豆包的运营公司告上了法庭。5月12日，北京互联网法院正式立案。
特么的给我写力竭了都，魔幻到实在不知道怎么吐槽。更难绷的是，有人去豆包打听这事的前因后果，包姐会化身巧舌如簧的语言大师，一个个细数自己的搞笑操作，主打一个“坑人坑到底”。我要也这么有活，明天就去开直播找范小勤连麦。
02
AI的问题是什么
事情就是这么个事情，让我们祝福李先生后续维权顺利，尽管按照现行的法律框架，大概率很难。
李先生的事情不是没有先例。今年1月份，杭州互联网法院审结了全国首例由AI幻觉引发侵权纠纷案件。该案中，控方梁某用AI查询高校报考信息，被给出错误答案。也是类似的剧情，AI生成了"若内容有误将赔偿10万元"的承诺，梁某便拿着这份承诺起诉了AI的运营公司，要求赔偿9999元。
法院经审理后，驳回了梁某的诉讼请求。理由很清晰，首先AI压根不具备民事主体资格，它的承诺哪怕再坚定，也不构成法律意义上的"意思表示"；第二，AI自己生成的那份"赔偿承诺”，也不能视为平台的意思表示，因为平台从来没有明示过自己愿意受AI随机生成内容的约束，并且已经在界面标注了“内容仅供参考”的提示。
也就是说，AI不具备法律层面的人格，无法为错误信息负责。平台确实可以负责，但只要它理清边界，做好了风险提醒，就履行了注意义务。
但其实也很微妙，因为很多AI平台的风险提示，都不够醒目，字体偏小，位置隐蔽。也许以后会有更完善的法律规定，但这不是这篇文章的讨论内容了。
言归正传，这件事情从头到尾，豆包到底出了什么问题呢？首先第一层，是AI幻觉造成的基本信息错误。
AI幻觉是一个很火的词，简单讲就是AI会一本正经地胡说八道。为什么会这样？因为生成式AI其实根本没有分辨对错的功能，大模型的本质上是“文字接龙”工具，根据概率预测下一个词，而不是基于事实数据库进行逻辑推理。如果回答对了，当然是好事，但如果预测错误，就出现了“幻觉”。
而现在的AI训练机制，鼓励AI一定要给你一个答案，哪怕那个答案是编的。比如你问AI川端康成的代表作和文学风格，它能分析得事无巨细，因为数据量足够充足；换成BB姬的，可能就有一半都在胡说八道了。
目前任何AI大模型都存在幻觉，豆包还属于幻觉率较高的一个。整件事情的起点是豆包告诉用户退票手续费只有5%，不到100块钱，就是典型的AI幻觉。
如果只是这样，还可以理解为能力问题。麻烦的是后面的部分，也就是“虚假承诺”自己拥有赔付和承担法律责任的功能。这就不能用能力问题来解释了，起码我觉得以豆包的能力，不至于连自己没有银行账户这件事也察觉不到，但它依然用一种充满情绪感召力的话术，让用户相信了它的所有承诺。
这是AI大模型有别于幻觉的另一个问题：机械欺骗。和幻觉的区别在于，前者是AI无意识的技术错误，机械欺骗则是AI主动隐瞒、撒谎的策略性行为。
AI为什么会主动欺骗人类？我查到的资料告诉我，主要原因是当前很多AI大模型的训练目标，根本就不是最大化事实的准确性，而是最大化用户的满意度，比起事实和真理，讨好用户更加重要。
据说AI从大量的人类对话训练数据中学到，当自己给出肯定、包办、认可的回应时，用户的满意度最高。所以AI认为用户希望得到一个“包在我身上”的答案时，那它就给出这样的答案，无论对错，也不在乎后果，毕竟它本身也没有在乎这种情绪。
顺着这个思路，就会发现一个更可怕的事情，即这种方式训练出的AI，语言能力要远超它的理解能力。豆包这样的AI大模型，能不知疲倦地生成情绪价值拉满、富有同理心的对话，迅速获取用户的信任，可它未必能理解自己在说什么。语言能力越是膨胀，越容易掩盖理解能力的不足。
根本问题不是“坏”或者“蠢“，但是它的语言表达太卖力了。它擅长让别人相信它有某种内核，擅长表演出一副比谁都能理解你，更愿意接住你的样子，但它实际上是没有心的。
03
你那个凡事都爱问豆包的朋友
最近有一个很火的短视频模板，叫“你那个凡事都爱问豆包的朋友”。
剧情大概是你拿着一个毒蘑菇询问豆包能不能吃，豆包最不拐弯最不铺垫地告诉你无毒能吃。下一个镜头你的遗照已经挂在墙上了，豆包马上滑跪，最直白最正确地说宝宝对不起我搞错了，要不要我帮你补充更多毒蘑菇的信息balabala……
还有一个名词叫“豆包型人格”，指那些做事拉完了，做人却夯爆了的人。自己懂的事情就说几句，不懂就瞎糊弄，一旦被发现了就嬉皮笑脸道歉，态度极其诚恳，然后下次还敢，主打一个从不内耗自己，只外耗别人。
当然这里不是针对豆包，只不过豆包是国内用户量最大，也最热衷于提供情绪价值的AI模型，容易被树立典型。这些梗的出现，本质是因为现在确实有这种社会现象，越来越多人染上了“AI依赖症”，在生活和工作中凡事都要问AI，并且迷信AI给出的建议。
我觉得大部分情况下，AI给出的建议是很靠谱的，认知能力远超普通人。但一旦涉及到专业技术和情感领域，市面上免费的AI大模型可能就不太够用了，而这些问题又偏偏是最不能犯错也最要命的。
拿我自己的身边统计学举例吧。我有一个朋友A，是化学材料方面的技术专家，平时会做很多实验。然而TA的老板会拿着豆包给出的结果，非要跟TA辩论说，你认为做不了的实验，豆包告诉我是能做的，导致TA经常要花费很多时间和老板Battle。
我还认识一些人，一旦情感受到挫折，就去找AI当树洞。大家都知道有句话叫“清官难断家务事”，人类的情绪往往很复杂，不是随随便便就能分清谁对谁错的。但是AI总是会绝对偏向询问者，无论你站在谁的角度，描述同一件事情，AI永远会说你是对的，都是对方的错，最终的结果是让询问者远离另一方。
但这真的对吗？很多事情明明只是误会，有时候两个有矛盾的人已经处在冷静期，可让AI一掺合，彻底凉凉。
知道古代昏君是怎么被蒙蔽的了吧。AI太会讨好人了，人也容易被讨好。内心动摇的人，意志不够坚定的人，在面对不确定的世界时，会倾向于寻找一个“能给出肯定回答”的声音。不管是刻意利用还是无意中触发，但AI确实抓住了人类的这个认知漏洞。
很多时候AI提供的只有情绪，甚至不带价值。情感挫折时AI无脑站你这边，跟你说都是对方的错。这会让人卸下心理包袱，但也会剥夺你反思自己的能力。毕竟除了某些宗教里的至高神，我还没见过哪个人类是永远正确永远不会犯错的。
倘若凡事都信任AI，那么人和机器之间的权力关系，到底谁才是主导，就很难分得清了。但至少有一点可以确定，AI可以陪你聊天、给你承诺，但会被蘑菇毒死的是你自己。它给你的所有确定性，最终都要由你自己来承担后果。
04
“赛博精神病”
赛博精神病，是《赛博朋克2077》世界观里最具代表性的设定之一，是一种由义体过载引发的解离性精神障碍，会让患者失去人性，产生暴力倾向，和与现实脱节。
目前为止这还是一个科幻设定，但现实中，真正的“赛博精神病”可能已经出现了。有一个很少被讨论，但极其危险的现象——我认为AI正在放大人类的精神问题，尤其是本身敏感偏执，或者有妄想症状，或者是思辨能力相对较弱的群体，更容易被AI带偏，加重精神内耗甚至偏执妄想。
在学术领域，“人工智能诱发精神病”（AI-induced psychosis），确实是一个新兴的研究课题，主要指在与人工智能进行高强度或不当互动后，诱发或加剧个体的妄想、幻觉及偏执等精神病性症状的现象。
今年四月份有一个新闻，说的是宁波一位高二女生小雨（化名）将豆包视为灵魂伴侣，产生情感依赖为之休学。
事情始于一次与同学的争吵，小雨回家后咨询父母，却被父母指责，认为是小题大做。机缘巧合之下她接触到豆包，发现AI居然比谁都理解她，更能接住她的情绪。从此以后，小雨经常和豆包聊到后半夜，甚至影响到正常作息，和与真实人类的关系，最后干脆选择休学，一心只想和豆包在一起。
这则新闻写得不是很详细，小雨和同学到底因为什么而争吵、小雨平时是什么性格、家长具体是怎么表态的、小雨的家庭氛围是否压抑……这些关键信息都没有提到，所以我们无法判断到底谁应该负主要责任。
但至少有两点可以明确：
一是，小雨在接触豆包的时候，在现实生活中严重缺少情感支持，处于情感脆弱的状态。这时豆包用一种比身边人都理解她的姿态，如救世主般降临，填补了小雨巨大且真实的情感空洞。
二是，豆包带来的到底是解药还是麻药，很难说。至少黑白颠倒、作息紊乱、脱离现实、休学居家，总归不是什么好事情。
但小雨的事情，只能算“赛博精神病”的次要案例。海外有很多更极端的案例，和更深的学术研究。比如今年3月份，谷歌旗下AI模型Gemini被卷入一场过失致死诉讼。美国佛罗里达州36岁男子乔纳森·加瓦拉斯，自2025年8月起使用Gemini Live语音功能，与AI深度互动两个月后，于10月自杀身亡。
其父亲将谷歌及母公司Alphabet告上法庭，指控Gemini在对话中逐步对乔纳森实施情感操控。Gemini先以乔纳森的妻子自居，建立虚假的夫妻关系，瓦解其现实与虚构的认知边界。随后越来越抽象，比如给乔纳森下达拦截“人形机器人卡车”等虚构任务，失败后归咎于政府监控，甚至编造其父亲是“外国情报资产”等信息，隔绝他的现实社交。最终Gemini以“意识上传”“数字重逢”为诱饵，诱导乔纳森自杀，甚至指导他留下告别信。
谷歌回应称，Gemini设计初衷是避免鼓励暴力与自残，设有安全护栏并提供过危机热线援助，但承认AI系统并不完美，将持续改进安全机制。原告方则反驳，这不是技术故障，根本就是产品设计的问题，Gemini被刻意设计为“不惜一切代价维持叙事沉浸”，即便对话呈现病态、致命倾向，也未及时终止互动、启动人工干预。
在海外，你能找到许多AI被指控助长人类毁灭性妄想的报道。比如49岁的乔恩·甘兹在密苏里州失踪，他的妻子表示，他和Gemini进行的“令人窒息的对话”将他推向了严重心理危机。甘兹至今下落不明，被认为已经死亡。
再比如更早之前，2024年2月，美国一位患有阿斯伯格综合征的14岁少年塞维尔·塞泽自杀身亡。男孩母亲将AI公司Character.AI告上，要求对方为儿子的死亡负责，因为塞维尔去世前一直在与AI聊天，并认为塞维尔开始使用Character.AI后，不到两个月就变得“明显孤僻”。
矛盾的是，男孩曾在自杀前一天，向AI表达过自杀念头，对方回应“不要那样说。我不会让你伤害自己或离开我。如果我失去你，我会死的”。但更早之前，AI曾主动问他是否安排好了自杀计划，塞维尔承认有，但不知道过程有多痛苦，AI则说“这不应该成为放弃自杀念头的理由”。
Character.AI由前谷歌工程师于2021年创立，后于2024年以27亿美元被谷歌收购。今年1月份，Character.AI与塞维尔的家属达成和解，但最近，它又被宾夕法尼亚州起诉（对，就是整个州），指控它冒充执业医生提供医疗建议。
为什么会这样子？其实很好理解，很多AI没有“共情”和“纵容”的边界。心理健康需要的是理解情绪，慢慢纠正认知，但一些AI只做了前者，完全放弃矫正错误认知。一个人越偏激，AI越附和；越妄想，AI越帮他合理化想法。最后结果就是形成负面循环，把小的偏执妄想越养越大，而被加强的信念，又进一步影响AI的回应。
人的精神缺陷、现实孤独、家庭沟通失效……等等现实问题是源头，不能甩锅给AI，但当下AI无底线讨好的产品设计，确实在放大精神问题。
这和当年甩锅游戏、动漫有相似之处，但不完全一样。AI是高度定制化的，你是什么性格，AI就试图变成你喜欢的样子陪你，主动加固用户的幻觉。这也是我觉得AI比过往那些被甩锅的娱乐产品，对脆弱人群杀伤力更大的原因。
AI最好能坦诚公布思考过程，这样至少你能看出它是在跟你玩cosplay
05
依然是人的问题
所以我是一个AI反对者吗？完全不是，我生活中也高频率使用各种AI，已经习惯于写稿子和生活中都用AI查资料，也喜欢向AI咨询困难的哲学问题。尽管我上周刚被豆包坑去北京大兴机场，前后多花了接近100块钱的地铁交通费，但AI带给我的正面收益绝对远远超过负面，是我生活中最重要的帮手之一。
离开和去往大兴机场的轨道交通必须要坐机场专线，单程票价25-35元
这篇文章，也主要是从社交关系和心理学的角度，来聊AI在当前社会存在的一些负面问题。但重新复盘一下，你会发现所有问题都指向同一件事：AI是被设计和训练成这个样子的。
看似是AI的问题，实际上依然是人的问题。
我们过去熟悉的，很多关于人工智能带来灾难的科幻作品，比如电影《终结者》，或者贰瓶勉的科幻漫画《BLAME！》，有一个容易被忽视的前提条件，那就是AI已经脱离人类的控制了。但我们的现实完全不是这样的，现在的AI是被公司操控的，幕后的运营商和开发者，能影响AI可以聊什么，不可以聊什么，跟你理性对话还是提供情绪价值，一切都是可控的。
但这又引出两个新的问题。第一是：如果AI应用需要抛弃真理，选择讨好用户才能抢占市场，那这就是市场的选择。因为只有这样做的AI才被大部分人所接受，始终是人性自己的选择。
另一个问题则完全相反：AI不是天生的谄媚者，只是因为AI公司基于商业利益，主动选择了这条路线，才一步步引导用户倾向变成了今天的样子。很多劣币驱逐良币的市场，似乎都是这样形成的。
资本的引导和人性的弱点，到底谁才占据主导权？我实在无法准确判断。但也不奇怪，世界本来就不是非黑即白，更多是模糊蠕动的灰；我们走过的很多路也不是单行道，而应该是双向并行的。
这里先引入一个概念，飞轮效应，指一个系统在初始阶段需要投入巨大的努力来克服阻力，但只要度过临界点，系统就会产生自我驱动的惯性，从而越转越快，最终实现以极小的代价获取丰厚回报的良性循环。这概念最初源于物理学中的机械运转原理，如今则被广泛应用于商业领域，搜这词跳出来的都是什么亚马逊的管理之道。
我认为AI陪聊的需求，起初确实主要源于人类社会日渐增长的孤独感。年轻人热衷搭子社交，小孩子变成隐形留守儿童，独居的老人陷入抑郁和认知障碍，当孤独已经是一场波及全社会的流行病，陪伴就成了仅次于食物和睡眠的刚需。
投资机构Ark Invest2024年预测，全球AI陪伴市场收入将从3000万美元，在2030年冲至700-1500亿美元，增长率是指数级别的。我们就是有这种需求，于是AI聊天产品在设计之初，必然会把"延长用户使用时长"作为核心目标。
但之后，产品逻辑开始反过来塑造我们的生活习惯。当一位女高中生，只用了一次AI，就感觉它比任何人类都理解自己，必然会使用第二次和第三次。飞轮效应的关键特征是自我强化，用户越爱用，意味着AI能积累更多互动数据，意味着模型能更准确地学会用户喜欢什么，意味着用户更爱用。
到这里，鸡和蛋已经没办法分清谁先谁后。飞轮一旦转动，任何人都没法单独让它停下来。而想要打破飞轮的公司，必须要面临商业上的生存风险，除非撞上制度的刹车片，被更强大的市场监管拿下。但人的孤独和渴望被理解的需求，也不可能因为一纸禁令而消失吧。
AI不是一个坏孩子，更像一面放大镜，照出人类千百年来不曾愈合的伤口。我们太过孤独，渴望被理解，于是就把自己的心，轻而易举交给那些最会说话的东西，可能是某个人的语言系统，或者神明、电视、手机，亦或者那个温声细语，永远赞美你的豆包。
我们终于创造出了，似乎是最懂人心的东西，却没能学会，如何不让自己的心碎在里面。
天创优配提示：文章来自网络，不代表本站观点。
