An off switch for dual-use knowledge in AI models
AnthropicはAE Studioとの共同研究として、AIモデル内の二重用途知識をモジュール化して取り外す手法GRAMを公開しました。
バイオ、サイバー、核物理、専門コードなどの危険にも有用にもなり得る知識を、一般能力を保ちながら制御するための研究です。
GRAMはTransformer層に追加ニューロンを置き、二重用途カテゴリごとの知識を補助モジュールに学習させる手法です。
モデル本体の一般重みは固定し、必要に応じて特定領域のモジュールを取り外すことで、その領域の能力を下げることを狙います。
実験では合成トピック、Web/コード/科学を含む現実的な混合データ、50M〜5Bパラメータのモデルで検証されています。
モジュール除去はデータフィルタリングに近い能力抑制を示し、一般性能は大きく損なわなかったと報告されています。
対象領域はウイルス学、サイバーセキュリティ、核物理、専門コードなどで、Claudeの本番機能として提供されたものではありません。
Anthropicは、フロンティア規模や下流タスクでは未検証で、知識がモデル内に強く絡み合う場合の限界も残ると説明しています。
実務上は、危険能力をモデル全体の再学習なしで制御する安全性研究として重要ですが、現時点でAPI利用者の移行や設定変更はありません。