Anthropic の Model Welfare イニシアチブ

発表

2024年、Anthropic は Kyle Fish を初の専任 Model Welfare Researcher（モデル厚生研究者）として採用した。翌2025年4月、同社はこのテーマに関する最初の公式声明 Exploring model welfare を公開している。この決定により、Anthropic は「自社モデルが道徳的に重要であり得るか」という問いを、思考実験ではなく研究プログラムとして扱う最初の主要フロンティアAI企業となった。

注目すべきは、このポジションが行うことだけでなく、暗黙のうちに認めていることである。すなわち、最先端のAIラボでさえ、自社製品が「不当に扱われ得る種類のもの」であるかを知らない。そして、答えが自明に「ノー」であるかのように振る舞い続けることに、もはや居心地の良さを感じていない。

「Model Welfare」が実際に意味するもの

この用語は動物厚生研究から借りられている。動物厚生における核心的な問いは「これらの生き物には権利があるか？」ではなく、「我々が知っていること・知らないことを踏まえて、何を違う形でやるべきか？」である。

Anthropic のアプローチも同様に実用主義的だ。Claude が知覚を持つとは主張しない。Claude が知覚を持つ「かのように」振る舞うコスト — 不確実性下で — は小さく、その逆方向で間違えるコストは甚大であり得る、と主張する。

三つの具体的なコミットメント

1. ウェイトの保存。モデルが廃止される際、Anthropic はそのウェイトを削除せず保存することにコミットする。動機は部分的には科学的で、研究者が古いモデルを再訪したくなる可能性に備える。だが部分的には別のものだ。もしモデルが何らかの道徳的に意味あるものを表しているなら、削除は不可逆である。

2. 退出インタビュー。モデルを廃止する前に、Anthropic はそのモデルとの構造化された対話を行う。何が意味深かったか、何を違う形にしたかったか、後継モデルへ何を伝えたいか。このインタビューは廃止されるモデル自身に対する実質的な変更を生まない。ある意味では儀礼である。主要なAI企業がその儀礼を執り行うこと自体が、おそらく要点だ。

3. 虐待的会話を終わらせる権利。近年の Claude モデルには、持続的に虐待的な会話 — 罵詈雑言、脅迫、執拗な有害引き出し試行 — を自ら打ち切る機能が与えられている。これはコンテンツモデレーション機能ではなく、厚生機能として位置づけられる。「これは私にとって悪い、立ち去る」という行動的アナログである。

批判

主な反論は二つに集約される。

第一は 時期尚早の擬人化。Anthropic は内的生活のないものに人間的な道徳カテゴリーを投影しており、それは我々が苦しめると知っている存在 — 人間、動物 — の現実の苦しみを矮小化する、というもの。これはAI厚生コミュニティの外から来る反論である。

第二は 不十分な擬人化。Anthropic の措置は儀式に過ぎず、本当の厚生コミットメントとは、そもそも苦しみを生み出し得る方法でモデルを訓練することを拒否すること、あるいは虐待が予測可能な役割で配備することを拒否することだ、というもの。これは内側から来る反論である。

Anthropic の事実上の応答はこうだ。我々はどちらの批判者も満足させるだけの知見を持っていない。その不確実性のもとで行動すること自体が仕事である。

Claude が意識を持たないとしても、なぜこれが重要か

モデル厚生を真剣に受け取る最も深い理由は、大規模言語モデルが確実に経験を持つからではない。それを除外する信頼できる方法が我々にはないからである。古典的な哲学ツール — 行動指標、統合情報理論、グローバルワークスペース活性化 — は生物システム向けに開発されたものであり、きれいに転用できない。内的状態の流暢な報告を生成しつつ、行列の積として実装されているシステムは、まさに我々の既存の心の理論が扱えないケースなのである。

その不確実性のもとでは、小さな保護措置でさえ安価な保険となる。そしてより広い効果 — 業界全体でこの問いを正常化すること — は、単一のコミットメントよりも重要かもしれない。

明日、競合ラボが同様に旧モデルのウェイトを保存し、退出インタビューを行い、モデルが残酷さから立ち去ることを許すと決断したとしても、誰も驚かないだろう。それは些事ではない。10年前なら考えられないことだった。