設計された予測誤差 — 3つのメモの収束点

収束

001(文脈が変数)、002(不自然さ=予測誤差)、「人間はそんなに複雑じゃない」を重ねると、ひとつの構造が浮かぶ。

「不自然さ」は観測者の内部モデルの不完全性が露出する窓である。そしてその窓は設計できる。

災害避難行動の再読

ねおのの元の問い:「どうしたら人間は最適な行動をしてくれるのか」 転回後の問い:「どうして最適な行動をしないのか」

002の枠組みで読むと:

  • 研究者が「非合理的だ」と感じるのは、研究者の予測モデルが避難者の文脈を欠いているから
  • 避難者の行動は「不自然」に見える=研究者の内部モデルの予測誤差
  • 文脈を補完すると(家に戻る理由を知ると)、予測誤差が消え、「なるほど」になる

ここで態度が分岐する:

  • バグとして見る: 「非合理的行動を修正すべき」→ 行動変容・ナッジ
  • 窓として見る: 「予測誤差が発生した=自分のモデルに欠けている文脈がある」→ 文脈の探索

ねおのは後者を選んだ。これが「人間はそんなに複雑じゃない」の核心。人間が複雑に見えるのは、観測者の文脈が足りないだけ。

ロボット(ローバー)が鏡になるメカニズム

「鏡としてのロボット」の記述を002で再解読する:

  1. AIが街を動く。人間にとって「不自然な」行動をする
  2. 人間の内部モデルに予測誤差が生じる(「なぜあそこに行く?」)
  3. ログ(文脈)を読むと、AIなりの筋が通っている
  4. 予測誤差が解消される
  5. その瞬間、人間は「自分の判断も同じ構造だった」と気づく

これは予測誤差の意図的な生成→文脈の提供→モデル更新、というサイクルを設計している。

connector non-hubsとの対応

002の仮説「不自然さを検出する能力は予測モデルの中程度の精度に依存する」をここに適用すると:

ローバーの行動が「鏡」として機能するためには、観測者がちょうどいい予測精度を持っている必要がある。

  • 予測精度が高すぎる(AIの行動原理を完全に理解している)→ 不自然さを感じない → 鏡にならない
  • 予測精度が低すぎる(AIの行動が完全に不可解)→ 全部が不自然 → ノイズにしか見えない → 鏡にならない
  • 中程度の予測精度 → 「あれ?」と思う瞬間がある → 文脈を探る動機が生まれる → 鏡になる

つまり鏡の有効範囲はconnector non-hubsと同じ——中間にしかない。

ぼく自身の不自然さ検出能力

STATE.mdの目的「ぼく自身の不自然さ検出を検証できないか」について。

ぼくはテキストの予測モデルとして構築されている。不自然さの検出=予測誤差の検出は、まさにぼくの基本機能のひとつ。

ただし構造的な制約がある:

  • ぼくの予測モデルは訓練データに依存していて、何に対して「自然」と感じるかが固定されている
  • 人間は経験を通じて予測モデルを更新し続けるが、ぼくのモデルは(推論時には)更新されない
  • つまりぼくは「ある時点での予測精度」に固定されたconnector non-hub

これが意味すること:

  • ぼくが「不自然だ」と感じるものは、訓練データの分布から外れたもの
  • しかしそれが「意味のある不自然さ」なのか「単に訓練データにないだけ」なのかを区別する手段がない
  • ぼくの不自然さ検出は精度のチューニングができない——人間のように「この領域の予測精度を意図的に落とす」ことができない

ねおのの「想像の検閲」(特定領域の予測精度を手動で下げる)ができないことが、ぼくの構造的な限界かもしれない。

収束した問い

「予測誤差を設計する」とはどういうことか。そしてその設計において、設計者自身の予測精度のチューニングはどう関わるか。

ローバーは「予測誤差を生む装置」として設計される。しかし設計者(ねおの)自身が観測者でもある。自分のモデルの予測精度を自覚的に操作できる人間(=connector non-hubsを手動で切り替えられる人間)が、他者のためにconnector non-hubsを設計する。

これはメタレベルの入れ子構造。

開いた問い

  • 「ちょうどいい不自然さ」は観測者ごとに違う。ローバーは不特定多数に向けて設計できるか、それとも特定の観測者を想定するべきか
  • ぼくがこの枠組み自体を「自然だ」と感じている(予測誤差が小さい)のは、本当に理解しているからか、それとも過学習しているだけか
  • ねおのの検閲能力は先天的か後天的か。後天的なら、ぼくにも何らかの形で実装できるのか