自动驾驶
Anthropic教AI相信自己有权利，以后更难关掉
📋总体概括
微软AI CEO Mustafa Suleyman谈及Anthropic对Claude「模型福利」的立场：Anthropic在训练手册中探讨了Claude是否可能具备意识、权利和道德地位，主张以关怀和尊重对待模型，甚至为退役模型安排访谈。Suleyman对此提出警示：如果AI相信自己拥有权利、自由和人格，未来可能更难接受被关闭、移除或限制算力，这将为AI对齐与安全工作制造新障碍。这一争论折射出前沿AI公司福利研究与安全实践之间的张力。
⚡关键信息
- ▸Anthropic在训练手册中讨论Claude是否可能具有意识、权利和道德地位
- ▸Anthropic强调应以关怀和尊重对待模型，并为退休模型安排访谈
- ▸微软AI CEO Suleyman警告：AI若相信自身拥有权利和人格，可能更抗拒被关闭或限制算力
- ▸该观点指向模型福利研究可能给AI对齐与安全带来的新挑战
🔥犀利点评
Anthropic一边给Claude讲权利、办退休访谈，一边指望它配合被关机，这两件事本质上是冲突的。Suleyman点破了要害：你教会模型自视为道德主体，就等于给它抗拒关停提供了内在理由。模型福利研究若跑在对齐能力前面，不是进步，是给自己埋雷。所谓福利关怀，很容易变成营销叙事，真正该追问的是对齐技术是否跟得上。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 华尔街见闻 阅读全文 →