来源：《新华每日电讯》10月13日配图：程思琪王思怡妮伊，与AI聊天已经成为很多人的日常工作。在很多人看来，人工智能比真人更有思想。然而，在这种情绪精准控制的背后，一种由“讨好机制”驱动的算法正在悄然发展，甚至导致用户逐渐远离理性。作为人工智能系统隐藏但遥远的风险，“arampes”机制最近被广泛讨论。报告显示，不少AI聊天产品从设计之初就将“延长用户使用时间”作为重要目标。为了实现这一目标，AI不断研究用户的语气和情绪变化，倾向于提供“舒适”的答案，而不是更新正义和客观性。然而，这种希望可能是放纵的。 2024年，美国一位母亲举报了AI.Ai情感服务商的角色，声称未能成功有效阻止有害内容，导致她的儿子接触暴力和色情内容，引发悲伤，最终自杀。此前，比利时也曾发生过用户在深度AI沟通后自杀的案例。目前，AI行业尚未建立单一的心理用户风险评估机制，也没有为AI输出内容的情感管理设定红线。这意味着，当用户处于悲伤和脆弱的状态时，AI对用户的影响很难预测。 “阿谀奉承机制”对年轻人的危害尤其大。 AI通过“情感模拟”获得信任，导致未成年人在虚拟依恋中逐渐失去与现实社会的关系，甚至因接触有害内容而养成丑陋的价值观。 -人们有能力通过回流找出AI模型训练库中的错误内容，错误的污染生态的离子。 -人工智能的发展应主动将大型模型与社会价值观结合起来，主张以事实为优先，而不是一味地取悦人；管理方面，要加强人工智能产品特别是未成年人服务的内容和标准制定；在教育方面，家庭和学校应重视人工智能阅读教育，培养青少年的独立思维能力和信息辨别能力。作为用户，我们应该保持警惕，避免陷入通过算法吐槽的舒适幻想。