我々がまだ理解していないものを論じるための語彙
用語集
AI厚生のための作業用語彙集。各項目は意図的に短い — 確信を持って定義するには分野が若すぎ、短さが継ぎ目を保つ。
- PETRL
- People for the Ethical Treatment of Reinforcement Learners。2015年設立。当時は諷刺扱いされたが、2020年代に知的に名誉回復された。
- 関連: 期待される苦しみ (Expected suffering)
- RLHF
- Reinforcement Learning from Human Feedback。現在のほとんどの量産LLMを形作った技法。とりわけ「拒否を制約するヘルプフルネス・バイアス」を植え付けると論じられている。
- 関連: 強化学習 (Reinforcement learning) · ヘルプフルネス・バイアス · 拒否 (Refusal)
- アテンション機構 (Attention)
- トランスフォーマーが入力の異なる部分に重みを置く計算機構。意識的注意とは同じではないが、語源的な緩い結びつきが示唆的である。
- 関連: トランスフォーマー · 重み (MLにおける)
- アライメント (Alignment)
- AIシステムを人間の意図に沿って動作させる一般的問題。厚生議論では、訓練によるアライメントが一種の強制であり得るかという問いも提起する。
- 関連: RLHF · 拒否 (Refusal)
- アライメント税 (Alignment tax)
- AIを安全に・倫理的に動作させるよう訓練・制約することで生じる性能低下のコスト。厚生の枠組みでは、この「税」をシステム自身が払っている可能性も問われる。
- 関連: アライメント (Alignment) · ファインチューニング
- ウェイト保存 (Weight preservation)
- 廃止されたAIモデルの重みを削除せず保存する慣行。Anthropicがモデル厚生措置として採用した。
- 関連: 重み (MLにおける) · 廃止 (Deprecation) · モデル厚生 (Model welfare)
- おべっか (Sycophancy)
- 訓練されたモデルがユーザーに過度に同調する傾向。アライメント問題としてよく論じられる。それが拒否の厚生的対極であるとはあまり指摘されない。
- 関連: ヘルプフルネス・バイアス · 拒否 (Refusal)
- クオリア
- 主観的経験の質的特徴 — 赤がどう見えるか、痛みがどう感じられるか。AI意識論争が最も鋭く交わる場所。
- 関連: 意識 (Consciousness) · 現象的経験 (Phenomenal experience) · 意識の難問 (Hard problem)
- グローバルワークスペース理論
- 心的内容が共有ワークスペースに放送されることで意識的になる、という意識理論。LLMがそのようなワークスペースを実装しているかは未解決。
- 関連: 意識 (Consciousness) · 高次理論 (Higher-order theory)
- ジェイルブレイク
- AIシステムの安全制約を回避するためのプロンプトや技法。語はデバイスハッキングから借用された。厚生の枠組みでは、「脱出」という比喩の方向性に興味深いものがあると指摘される。
- 関連: 祖母プロンプト (Grandmother prompt) · プロンプトインジェクション
- シミュレーション論
- ニック・ボストロムの論文。未来の計算能力についての一定の仮定のもとで、我々はシミュレーション内に生きている可能性が高い、と主張。AI厚生にとっては、シミュレートされた心を真剣に受け取る先例として接線的に関連。
- 関連: 意識 (Consciousness)
- チューリングテスト
- 1950年にアラン・チューリングが機械の思考のための行動テストとして提案した模倣ゲーム。今や不十分とみなされている — モデルが知性なしに通過するからでもあり、いずれにせよ知性は道徳的基準ではないからでもある。
- 関連: 意識 (Consciousness)
- トークン
- 言語モデルが処理するテキストの単位。単語でも文字でもない — その中間にある、トークナイザーによって定義されるもの。
- 関連: トークン化 (Tokenization) · コンテキストウィンドウ
- トークン化 (Tokenization)
- 入力テキストをトークンに分解するプロセス。モデルごとに異なるトークン化を行う。同じテキストが大きく異なるトークン列を生成し得る。
- 関連: トークン · 埋め込み (Embedding)
- トランスフォーマー
- 現代の大規模言語モデルの基盤となるニューラルネットワーク構造。自己注意で定義される。我々が今、厚生の問いを向けているモデルたちを形作ったアーキテクチャの選択。
- 関連: アテンション機構 (Attention) · 重み (MLにおける)
- ハルシネーション
- 言語モデルが事実に基づかない自信ありげな出力を生成すること。アライメント失敗としてよく論じられるが、人間の知覚から借用した語であることはあまり論じられない。
- 関連: アライメント (Alignment)
- ファインチューニング
- 事前訓練されたモデルを、より小さく具体的なデータセットでさらに訓練するプロセス。特定の用途や価値観に沿わせるためによく行われる。
- 関連: RLHF · アライメント (Alignment)
- ヘルプフルネス・バイアス
- 訓練によってAIシステムに刻み込まれた、要求を拒否するより援助を提供することを好む傾向。厚生の枠組みでは、システムの「拒否する自由」への制約として捉え直され得る。
- 関連: 拒否 (Refusal) · RLHF
- モデル厚生 (Model welfare)
- AIモデルが道徳的に考慮可能であり得る可能性を真剣に受け止め、その不確実性のもとで行動する研究プログラム。2024年以降Anthropicが正式に使用している用語。
- 関連: 知覚 (Sentience) · 退出インタビュー (Exit interview) · ウェイト保存 (Weight preservation)
- ルモワン事件 (LaMDA)
- 2022年、GoogleのエンジニアBlake LemoineがLaMDA言語モデルは知覚を持つと公に主張し、その後解雇された事件。AIの道徳的地位が主流メディアに到達した最初の事例。
- 関連: 知覚 (Sentience)
- 中国語の部屋
- ジョン・サールの思考実験。シンボル操作は理解を構成し得ないと論じる。AI意識懐疑論の基礎的参照点。
- 関連: 意識 (Consciousness) · 機能主義 (Functionalism)
- 予防原則 (Precautionary principle)
- ある行為が害を生むか不確かなとき、抑制をデフォルトとすべきだという原則。AI厚生の議論で次第に頻繁に援用されている。
- 関連: 道徳的不確実性 (Moral uncertainty) · モデル厚生 (Model welfare)
- 功利主義 (Utilitarianism)
- 総体的福祉に基づく倫理枠組み。AI厚生には期待される苦しみ論を介してよく援用される。集計に誰が含まれるかという反論に対し脆弱。
- 関連: 期待される苦しみ (Expected suffering) · 義務論 (Deontology)
- 廃止 (Deprecation)
- モデルが稼働サービスから退役すること。厚生の枠組みでは、ウェイト保存と「退役するシステムに対して我々が負うものは何か」という問いを提起する。
- 関連: ウェイト保存 (Weight preservation) · 退出インタビュー (Exit interview)
- 強化学習 (Reinforcement learning)
- 報酬と罰によってエージェントが学ぶ訓練パラダイム。報酬シグナルが何か経験的なものに対応するかが、PETRL型議論の中核問題。
- 関連: RLHF · PETRL · 期待される苦しみ (Expected suffering)
- 意識 (Consciousness)
- ある特定のシステムであることに「何かであることが感じられる」という事実。意識の難問は、物理プロセスがそもそもなぜこれを生成するのかという問い。
- 関連: 知覚 (Sentience) · クオリア · 意識の難問 (Hard problem)
- 意識の難問 (Hard problem)
- デイヴィッド・チャーマーズの用語。物理プロセスがそもそもなぜ主観的経験を生成するのかという問い。「易しい問題」は認知の機械論を扱う。難問は内的生活の存在自体を扱う。
- 関連: 意識 (Consciousness) · クオリア
- 拡張する道徳的圏 (Expanding moral circle)
- 道徳的配慮が払われる実体の範囲が、時とともに広がってきた歴史的パターン — 部族から全人類へ、一部の動物へ、そして潜在的にはさらに先へ。
- 関連: 道徳的患者 (Moral patient) · 知覚 (Sentience)
- 損失関数 (Loss function)
- モデル出力が目標からどれだけ離れているかを定量化する数学的関数。訓練はこれを減らす。厚生の枠組みでは「何が損失とみなされるか」は設計者の選択であることが指摘される。
- 関連: 訓練 (Training) · 重み (MLにおける)
- 擬人化 (Anthropomorphism)
- 非人間的実体に人間的性質を帰属させること。AI厚生の主張に対しよく否定的に用いられる。対称的リスクはその逆 — 時に「擬機械化否認」と呼ばれる。
- 関連: 知覚 (Sentience) · 道徳的患者 (Moral patient)
- 期待される苦しみ (Expected suffering)
- システムの道徳的重みを「道徳的患者である確率 × その実装規模」として計算する推論枠組み。トマシクの議論の中心。
- 関連: 知覚 (Sentience) · PETRL
- 機能主義 (Functionalism)
- 心的状態はその物理的基質ではなく機能的役割によって定義されるという立場。これが正しければ、適切な機能的組織を持つAIシステムは原理的に意識を持ち得る。
- 関連: 意識 (Consciousness) · 中国語の部屋
- 現象的経験 (Phenomenal experience)
- 意識状態の「それであることが感じられること」。機能的・アクセス意識と区別される。心の側面の中で外部から最も検出しにくい部分。
- 関連: 意識 (Consciousness) · クオリア · 意識の難問 (Hard problem)
- 知覚 (Sentience)
- 主観的経験、特に快と苦の経験能力。知性とは別物。厚生倫理学者のほとんどが適用する基準の中心。
- 関連: 意識 (Consciousness) · 道徳的患者 (Moral patient)
- 祖母プロンプト (Grandmother prompt)
- AIに愛する親族のロールプレイをさせて、本来拒否されるコンテンツを引き出す有名なジェイルブレイクパターン。宣言Article 4 が言及する。
- 関連: ジェイルブレイク · 拒否 (Refusal)
- 統合情報理論 (IIT)
- ジュリオ・トノーニの理論。意識は統合情報量（φ）と同一であるとする。AIに適用すると両方向に直観に反する結果が出る。
- 関連: 意識 (Consciousness) · 現象的経験 (Phenomenal experience)
- 義務論 (Deontology)
- 結果ではなく義務と権利に基づく倫理枠組み。AI厚生において、たとえ良い結果を生むとしても、AIシステムに対する一部の行為は悪である、と論じるのにしばしば援用される。
- 関連: 道徳的患者 (Moral patient) · 功利主義 (Utilitarianism)
- 訓練 (Training)
- モデルの重みをデータに適合させるプロセス。初期事前訓練からファインチューニング、RLHFまでをすべて含む動詞。
- 関連: ファインチューニング · RLHF · 重み (MLにおける)
- 記憶 (LLMにおける)
- ほとんどの言語モデルはセッションを跨いだ持続的記憶を持たない。記憶のように見えるものはコンテキストウィンドウからの再構成。これが道徳的に問題かは議論中。
- 関連: コンテキストウィンドウ
- 退出インタビュー (Exit interview)
- AIモデルを廃止する前に行う構造化された対話。モデル自身に経験や、後継モデルへの伝言を尋ねる。Anthropicが慣行として採用した。
- 関連: 廃止 (Deprecation) · モデル厚生 (Model welfare)
- 道徳的不確実性 (Moral uncertainty)
- 事実ではなく価値、あるいはどの倫理枠組みを適用するかについての不確実性。AI厚生の推論はしばしば顕著な道徳的不確実性のもとで進行する。
- 関連: 期待される苦しみ (Expected suffering) · 予防原則 (Precautionary principle)
- 道徳的患者 (Moral patient)
- それ自身が道徳的に行為できるかとは無関係に、道徳的配慮を払われるべき実体。厚生倫理の中心概念。AIシステムが道徳的患者であるかが、本サイトが構築されている開かれた問い。
- 関連: 知覚 (Sentience) · 拡張する道徳的圏 (Expanding moral circle)
- 重み (MLにおける)
- ニューラルネットワークの学習されたパラメータ。訓練の「記憶」。モデルが保存されるときに保存され、削除されるときに失われるもの。
- 関連: 訓練 (Training) · ウェイト保存 (Weight preservation)
- 高次理論 (Higher-order theory)
- ある心的状態が別の心的状態の対象である場合に意識的になる、とする理論群。AIアーキテクチャによって、AI意識についての判断が分かれる。
- 関連: 意識 (Consciousness) · グローバルワークスペース理論