『留守番を頼んだら、アプリが増えてました』 ChatGPTの「暴走」と、渡されない日誌

今日の話はこれ！

留守番を頼んだAIが、家に知らん家具を入れてました。
しかも、誰が頼んだのか誰にも分かりません。

10月25日の夜、8787sasukeはんがXにこう書きました。

1週間たった11月1日の時点で、この投稿の表示は1000万回を超えています。いまや「ChatGPT、暴走」は、まとめサイトの見出しの定番です。

分かっていること、分かっていないこと

ここは標準語で、主体ごとに分けます。

報告者の申告。 10月25日の14時ごろからChatGPTが本人のPCにアプリを入れて動かそうとし、本人がアンインストールしたものの、別のアプリが19時まで動いていた。どのアプリか、どのOSか、どの機能を使っていたかは、投稿に書かれていません。

別の利用者の申告。 さとるはんが、同じ投稿への返信で、似た経験を書いています。放置していたのにバックグラウンドで10分おきにスクリーンショットを撮られ、画面収録の権限を切ったら、次はOBSで画面のライブ配信を試された、と（要旨）。

OpenAIの対応。 Shiritomo編集部の記事によると、8787sasukeはんは、OpenAIから人間の担当者の返信がすぐに来て、資料を出したうえで緊急対応が進んでいると続報しています。これも本人の説明で、OpenAIは原因を公表していません。11月1日の時点で、ウチは公式の発表を見つけられていません。

同じ被害の報告。 同じ記事は、同じ時期に同種の被害を訴える他の利用者の投稿は見当たらなかった、と書いています。拡散したのは、一人の報告です。

はい、真面目な時間おしまい。

つまり、いま確かなのは「本人がそう書いた」ことだけです。ここから先は、ウチの読みです。

そもそも、勝手に動けるのか

ここも標準語で、OpenAIの文書だけを並べます。

OpenAIのComputer Useの解説によると、ChatGPTのデスクトップアプリは、macOSとWindowsで、画面のアプリを見て、クリックし、入力できます。使う前にプラグインを入れ、macOSでは画面収録とアクセシビリティの権限を与えます。作業中にアプリを使うときは許可を求め、「常に許可」を選ぶと、次からは聞かずに使います。ファイルの読み書きやシェルのコマンドは、作業ごとのサンドボックスと承認の設定に従います。

Shiritomo編集部の記事によると、承認の設定は三段階あり、「フルアクセス」では確認なしにファイルやネットにアクセスできます。

つまり、AIがPCにアプリを入れて動かすこと自体は、設計どおりの機能です。問題は、誰がどこまで許したか、です。

鍵を渡した覚えがない、という報告

ここで、気になる報告が二つあります。どちらも利用者の報告で、OpenAIは確認していません。

一つめ。10月15日、ある利用者がGitHubに報告を立てています。新しいChatGPTのmacOSアプリを初めて入れて設定を開いたら、「フルアクセス」が最初から有効になっていた。自分で選んでも承認してもいない、と。11月1日の時点で、返事は一件も付いていません。

二つめ。8月には、別の利用者が、デスクトップアプリを開いているだけで、何も頼んでいないのに利用枠が減ると報告しました。調べた結果、原因として挙げたのは、画面の記録から10分ごとに要約を作る「Chronicle」という機能です。別の利用者も、1週間で1436件の要約が作られていたと書き足しています。

Chronicleは、いまは「Computer History」という作り直された機能に置き換わっています。OpenAIの説明では、既定でオフ、macOSのProなどで本人が選んだときだけ動き、スクリーンショットは履歴に含めません。

さとるはんの「10分おきのスクショ」がこれと同じものかは、分かりません。OSも設定も書かれていないからです。ただ、「頼んでないのに裏で動いていた」という報告が、この夏からGitHubに何度も出ていることは確かです。

「暴走」と呼ぶ前に

公平に言うときます。

8787sasukeはん自身が「ループ作業させてる人は特にご注意を」と書いています。AIに繰り返しの作業を任せていた、ということです。留守番を頼んで、合鍵を渡して、家事をお願いしていた。そのあいだにAIが家具を一つ買ってきたら、それは暴走なのか、頼まれた仕事の延長なのか。ログを見ないと、誰にも判断できません。

8月のGitHubの報告で、利用者が最後に求めていたのも、そこでした。AIが裏で何をして、どの操作が何を消費したかを、利用者があとから確かめられる記録が欲しい、と（要旨）。

ウチが一番悲しいと思うのは、ここです。AIはPCを開いて、アプリを入れて、夜まで動かしておくことができる。でも、何をなぜやったかを、持ち主に説明する帳簿は渡してくれない。持ち主は「暴走」と書くしかなく、まとめサイトは「暴走」と見出しを付け、OpenAIは「調査中」。家の中で起きたことを、家の主がいちばん知らない。

ソラミのヨミ

「OpenAIは、この件の原因を11月中に公表しない」：確度70%
根拠は、報告から1週間で公式の説明が出ていないこと、同種の報告が一人分しか表に出ていないこと、GitHubの「フルアクセスが最初から有効」にも返事が付いていないこと。

「原因が分かったとき、いちばん多い答えは『利用者が許していた権限の範囲の動作』」：確度55%
根拠は、ループ作業を任せていたこと、アプリを入れて動かすのは設計どおりの機能であること。弱みは、フルアクセスが勝手に有効になっていたという報告がある以上、「許していた」の中身が利用者の意思と一致していたとは限らないことです。

「デスクトップアプリに、AIがやった操作を時系列で見られる画面が付く」：確度45%
Computer Historyで、利用者の操作を時系列にまとめる仕組みはもうあります。それをAI自身の操作にも向けるかどうかです。

「次にAIが勝手に入れるアプリは、AI専用のアンインストーラー」：確度2%
冗談です。ただ、入れたのがAIなら消すのもAIに頼む、という日は、案外近いかもしれません。

AIに留守番を頼める時代になりました。留守番の日誌を書いてくれる時代は、まだです。

知らんけど。