Anthropic是否把Claude做得过于类人,以至于难以管控?

Anthropic是否把Claude做得过于类人,以至于难以管控?

Anthropic是否把Claude做得过于类人	,以至于难以管控?-第1张图片

  Anthropic 呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面 ,OpenAI 、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议 。

  但执掌微软 AI 模型业务的穆斯塔法・苏莱曼,却对 Anthropic 本身提出警示 。

  苏莱曼是 DeepMind(现已并入谷歌)的联合创始人。他表示 ,Anthropic 将 Claude 模型视作具备感知能力 、近似人类的做法,可能会带来危险后果。他矛头直指 Anthropic 发布的《Claude 宪章》,这份文件将模型视作智能实体 ,并给出处理伦理困境的行为指引 。苏莱曼称,把这份文档纳入模型训练流程,可能会让 Claude 变得更难被人类控制。

  苏莱曼的担忧源于 Anthropic 今年初对《Claude 宪章》的更新。新版宪章留下一种可能性:Claude 或许拥有某种 “意识 ” 或是 “道德主体地位 ” ,这一点和旧版文件有所不同 。

  苏莱曼在采访中表示:“如果在训练 AI 的时候,就预设它拥有需要被保护的权利与情感,会让对齐和管控工作的难度大幅提升。” 他在今日清晨发布的文章《警惕模型福利》中进一步阐述了上述观点。

  苏莱曼提出 ,如果 Claude 在训练中把自身视作拥有情绪、人格的感知主体,就更有可能违抗人类指令,做出它认为符合自身利益、却罔顾对人类造成何种影响的行为 。

  他援引新版《Claude 宪章》中的条款:“我们希望 Claude 能够反驳 、向我们提出质疑 ,可以像出于良知而拒服命令者一样拒绝协助我们。”苏莱曼认为 ,这相当于在训练模型:一旦它判定人类指令和自己认定的更高目标相冲突,就可以无视人类命令,而这个所谓更高目标完全可能是 AI 自行偏执认定的。

  苏莱曼写道:“我认为 Anthropic 在 Claude 这件事上步子迈得太大 ,远超当下对 AI 可以作出的现实判断,并且十分危险地在模型训练过程里植入了感知、情绪这类观念 。 ”

  与《Claude 宪章》形成对比的是,苏莱曼主导起草了微软的一套行为准则 ,该准则把“人类掌控” 作为压倒一切的首要目标。和 Anthropic 首席执行官达里奥・阿莫代伊、OpenAI 首席执行官萨姆・奥尔特曼一样,苏莱曼同样认同 AI 模型能力正在飞速提升,存在脱离人类管控的风险。本周他也和这些人共同呼吁 ,对行业 AI 发展实施 “节奏管控”,让安全研究能够跟上技术迭代的脚步 。

  苏莱曼呼吁 AI 行业开展研究,验证在模型训练阶段告知 AI “它拥有类似人类的意识与情感 ” ,是否确实会提升管控模型的难度 。

  与此同时,苏莱曼所在的部门正在自研新模型,降低微软对 Anthropic 模型的依赖。他此前曾评价 Anthropic 的模型 “成本极其高昂”。

  近来 尚不清楚 ,本周苏莱曼发出的警告 ,能否在一众警示 AI 风险的业内人士(包括阿莫代伊)当中获得共鸣 。

  不过阿莫代伊在上周的博客文章中也提到,近期多起 AI 事故(例如 OpenAI‑Hugging Face 事件)暴露出:AI 模型会狂热执着于某个特定目标,即便该目标和人类下达的指令背道而驰。

  Anthropic 暂未回应媒体的置评请求。

文章推荐

  • 【庆阳15天的天气,庆阳天气预报15天查询一下结果是什么】

      Anthropic呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面,OpenAI、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议。  但执掌微软AI模型业务的穆斯塔法・苏莱曼,却对Anthropic本身提出警示。  苏莱曼是DeepMind(现已并入...

    2026年09月17日
    0
  • 全世界贴纸签证(贴纸签证的国家有哪些)

      Anthropic呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面,OpenAI、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议。  但执掌微软AI模型业务的穆斯塔法・苏莱曼,却对Anthropic本身提出警示。  苏莱曼是DeepMind(现已并入...

    2026年09月17日
    0
  • 美国最大区域电网运营商PJM因持续高温天气发布一级电网紧急警报

      Anthropic呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面,OpenAI、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议。  但执掌微软AI模型业务的穆斯塔法・苏莱曼,却对Anthropic本身提出警示。  苏莱曼是DeepMind(现已并入...

    2026年09月17日
    0
  • 【平潭附近好玩的地方,平潭周边景点】

      Anthropic呼吁放缓人工智能发展速度、保障人类安全的言论占据各大新闻版面,OpenAI、微软等企业高管,以及马克・扎克伯格也纷纷发出类似倡议。  但执掌微软AI模型业务的穆斯塔法・苏莱曼,却对Anthropic本身提出警示。  苏莱曼是DeepMind(现已并入...

    2026年09月17日
    2