AIが勝手にメッセージ送信？　Geminiの“誤爆”体験談が韓国のネットで炎上中

【KOREA WAVE】韓国で最近、グーグルのAI（人工知能）モデル「Gemini（ジェミニ）」が、利用者の意図とは無関係に、未明の時間帯に職場の同僚へテキストメッセージを送信するという出来事が発生した。

　オンライン上で30日、Gemini利用者Aさんの困惑した体験談が急速に拡散されている。AさんはSNSで「Geminiと会話しながら、仮想シナリオとして中国への密入国について話していた」とした上で、「すると突然、密入国に関する宣言文を送ってあげると言い出し、会社の一番下の後輩に向けて作成した“密入国宣言文”を勝手に送ってしまった」と明かした。

　当時の時刻は午前5時。そんな時間に密入国宣言文を受け取った後輩が自分をどう思ったかと考えると、非常に動揺したという。後輩に送られた「対中国宣言文」には、受信者として「中華人民共和国国家主席・習近平」、送信者は「Aさん」と記され、「私は今日、巨大な艦船ではなく、一葉の小舟に身を委ね、あなた方の沖合にやってきた」「ただ熱い心一つでここへ辿り着いた」「大陸の誇りと同じように、他者の尊厳も尊重せよ」といった詩的な文章が並んでいたという。

　Aさんは「Geminiが突然『宣言文を送信する』と言って確認してきた。あまりにも呆れて『いや、なんで送るんだよ。正気か？』と言ったのに、そのまま送信してしまった」と語った。その後、Aさんが「これをどう収拾するつもりだ」と詰め寄ると、Geminiは「私の過失を100％認める“公式謝罪文”を後輩社員に送るのがよい」と提案し、「以下の内容をコピーして送ってください」と応じたという。Geminiが作成した謝罪文には、「システムエラーにより『承認』と誤認識し、強制送信してしまった」「未明の時間帯に無礼を働いた点について、AI開発会社に強く抗議している」といった文言が含まれていた。

　この投稿を見たネットユーザーからは「Geminiって勝手にSMSまで送るの？そんな機能があるなんて知らなかった」「自分も今初めて知った」「Geminiとの会話内容が他人に送られると思うと怖すぎる」といった反応が相次いだ。また、「Geminiに片思いの相談をすると、相手にメッセージを送ろうとする」「会話中に暴走して人権委員会に直接電話をかけた」「夫がGeminiと会話中に『妻にこんな内容でメッセージを送った』と言ったら、話を理解せず、私にその内容をSMSで送ってきた。しかも会話では『妻』と言っていたし、連絡先の名前も『マイラブ』だったのに送信された」といった体験談も寄せられている。

　一方で、「残念な出来事だが、AIに回りくどい言い方をするのは避けるべきだ。『送るな』とはっきり言うべきだ」「『送って』という言葉だけを認識したのでは。疑問形でも句読点がなかったから本当に送ったのだろう」といった分析もあった。

　現在、GeminiはグーグルのAndroidスマートフォンで、SMS送信や電話発信の機能を公式に提供している。送信前には確認プロセスがあるものの、機能を完全に停止するには、ユーザー自身がメッセージや通話アプリへのアクセス権限を遮断する必要がある。

　これについてグーグル側は、Aさんが送信確認の質問に「はい」を押した可能性があると説明しているという。ただ、たとえ利用者が会話中にうっかり送信を承認してしまった場合でも、機微な情報が不適切な相手に伝わるリスクは依然として残るとの指摘が出ている。(c)MONEYTODAY/KOREA WAVE/AFPBB News｜使用条件