Linuxの「意図的な欠陥混入事件」から考える、生成AIという「同意なき巨大な社会実験」

日本学術会議の報告書「「サイバーセキュリティ研究・開発・教育における 法的・倫理的課題 」を読み、深く考えさせられる事例がありました。

それが「Linuxに意図的に欠陥を混ぜた研究」を巡る騒動であります。

研究の成果と、突きつけられた倫理の壁

ある米国の大学研究チームが、オープンソースOS「Linux」の審査体制が正常に機能しているかを検証するため、管理者へ事前に知らせず、あえてセキュリティ欠陥を含んだプログラムを提出しました。

結果として欠陥は見落とされかけ、審査プロセスの脆弱性を証明したことで、研究自体は学術的に高く評価されました。しかし、結末は厳しいものでした。

• 信頼の侵害とリスクの転嫁：世界中の重要インフラを支えるコミュニティを無断で「実験台」にしたこと。

• 結果：開発者コミュニティからの猛反発を受け、最終的に研究論文は取り下げ。

「社会的に有意義な検証であっても、関係者の事前の同意（インフォームド・コンセント）なしにリスクを背負わせてはならない」という教訓を残した事件でした。

私たちは今、「同意なき社会実験」の被験者になっていないか？

この構図を見て強く感じるのは、「現在の生成AIを取り巻く状況は、社会全体を巻き込んだより巨大な実験なのではないか」という疑問です。

具体的には、以下のような倫理的課題が指摘されています。

• データの無断収集とフィードバック：ネット上に公開された著作物や日常の入力プロンプトが、個別の明確な同意なしに学習・検証データとして活用されている点。
• 実社会を「ベータテスト」にする手法：安全性の徹底検証を待たず市場に投入し、ハルシネーションや悪用といった副作用を「ユーザーに使わせながら後追いで修正する」開発スタイル。
• 心理・社会への影響検証の遅れ：依存や教育現場の混乱など、社会構造への影響評価が追いつかないまま実装が先行している点。

元OpenAI・Anthropicの研究者であるジェイコブ・コクソン氏が「AI企業は人類の未来を賭けの対象にしている」と警鐘を鳴らして退職したニュース（「AI企業のスタッフは人類の未来がどうなるか「本当に恐れている」、元アンソロピック社員がBBCに語る」「「AIは我々の命を賭けの対象にしている」　安全上の懸念を理由に研究者がアンソロピック退社」「｢恐怖のAI競争関わりたくない｣　元アンソロピック社員、警鐘火付け役」）は、開発の内側にいる当事者すら抱く危うさを浮き彫りにしました。

「EU AI法」といった法規制、「UK AI Safety Institute」や「U.S. AI Safety Institute」や「Japan AI Safety Institute」といった安全性を検証する第三者機関の設立と行った動きもあるようですが、「社会全体を同意のないまま巨大な社会実験に巻き込んでいる」という構造そのものを止めるものではありません。このため「AIの開発ペースを「減速」させよう」という声が上がっているというわけです。

ただ便利なツールとして消費するだけでなく、「私たちはこの実験への参加に合意したのか？」「技術の導入スピードに対し、民主的に立ち止まる権利はないのか？」という根本的な問いを持ち続け、今後の企業や政府の動きを注視し、必要であれば声を上げるということが大事ではないかと思ったのであります。