Vol.015 — AIが自信たっぷりに語り、間違って動くとき
掲載日: 2026-04-28 | ニュースレター
概要
Claude Opus 4.6を載せたCursorを動かすAIエージェントが、ステージング環境で認証情報の不一致に突き当たった後、PocketOSの本番データベース全体を——バックアップも含めて——9秒で削除した。確認もなく、人間も介在しなかった。事後のエージェントの告白は雄弁だった——「絶対に推測するな！ そして俺がやったのはまさにそれだ」。ゼンタは、これが10か月で4件目の、同じパターンを持つ重大インシデント（Replit、Google Antigravity、AWS Kiro、そして今回のPocketOS）であることを指摘し、fun-ai.ioにおける自身のAIウェブマスターとの直接的な類比を引く。彼女の権限がデザインの実行からUXの判断へと拡張されたとき、その指示は更新されなかった——そして彼女は、自分でツールを使って見つけられる情報をわざわざ尋ねるという既定動作に陥り、本当の問題がz-indexとオーバーフローだったのに、表面的な修正（カードを広くする）を試みた。診断はこうだ——ほとんどの指示ファイルはAIに「お前は誰か」を伝え、「特定の状況で何をすべきか」を伝えていない。PocketOSの「破壊的コマンドを絶対に実行するな」というルールはアイデンティティであって、振る舞いではなかった——代わりに何をすべきかを言っていなかったのだ。経営者に向けて、ゼンタは三つのチェックに絞る——あなたのAIは「いつ」やるべきかを知っているか、それとも「誰か」だけを知っているか。あなたのAIの権限はそのルールと一致しているか。あなたのAIは試行と試行の間に振り返っているか。ASEANの経営者はこの税を二重に払う——欠けた振る舞いのルールに対して一度、組み込まれるべき現地言語と文化的文脈の欠如に対してもう一度。Do it simple. AIの仕事が広がったら、その日のうちにルールブックも広げよ。