ジャーナリズムの世界には昔から、「愛していると母親に言われても、裏を取れ」という格言がある。つまり、誰よりも信頼できる相手にさえ懐疑的にならなければいけないということだ。では、話している相手が母親ではなく、OpenAIの「ChatGPT」のような生成人工知能（AI）モデルだったらどうだろう。コンピューターは、信頼できるのだろうか。
先頃開催された、映画、音楽、インタラクティブメディアのカンファレンスである「South by Southwest」で、カーネギーメロン大学（CMU）の2人のコンピューター科学者が語った話については、どうだろう。これも同じことだ。自分で確かめよう。
テキサス州オースティンで開かれたこのカンファレンスでも、話題が集中したのはAIだった。信頼性の問題、人間の仕事の変化といったテーマについて、AIの将来の展望と全体像が専門家の間で論じられた。CMUの助教を務めるSherry Wu氏とMaarten Sap氏は、とりわけAIの現在の状況に焦点を当て、大規模言語モデル（LLM）でトレーニングされたAIチャットボットなど、現在出回っている一般的な生成AIツールを、誤ることなく適切に使うヒントを示した。
「生成AIは、実のところ完璧にはほど遠く、人々が使いたいと考えている用途のすべてに適しているとは言いがたい」。Sap氏はこう話している。
AIより賢くあるにはどうすればいいのか、そのための5つのヒントをご紹介しよう。
「Twitter」（現「X」）や「Bluesky」などのSNSでジョークを投稿して不発に終わった経験がある人なら、文字で皮肉を伝えることの難しさを十分に承知しているだろう。そうしたSNSのユーザーは（少なくとも人間であれば）、文字どおりの発言でないことを対話上の手がかりから理解する。LLMには、それができない。
現在のLLMは、文字どおりではない発言でも文字どおりに解釈してしまうことが多く、社会的な状況や関係性からの推論が不得手だとSap氏は説明する。
Wu氏によると、プロンプトはできるだけ具体的に、かつ体系化するとよいという。重要なのは、自分がどんなことを聞き出そうとしているのかをモデルに理解させることだ。求めている内容を厳密に絞り込むべきであり、LLMが質問の真意を察してくれるなどと期待してはならない。
生成AIツールで最大の問題は、おそらくハルシネーションを起こす、つまり虚偽の情報を作り上げることだろう。Sap氏によれば、ハルシネーションは多ければ4回に1回は起こるもので、法律や医学など専門性が上がるとその確率は上がるという。
問題は、間違った内容を答えることだけではない。チャットボットは、完全に間違っていても自信たっぷりにそうに回答する、とSap氏は指摘する。
「間違った答えに、さも確実そうな表現を使うので、人はついそれを信じてしまう」（Sap氏）
これについての対策は単純で、LLMの回答を確認すればよい。同じ質問を何度か繰り返したり、同じ質問でも聞き方を変えたりすれば、AIの一貫性を確かめることができる、とWu氏は説明する。違う答えが返ってくる場合もある。「ときには、自分が答えている内容を実際には分かっていないことさえある」（Wu氏）
最も重要なのは、別の情報源を使って検証することだ。自分が答えを知らない疑問を尋ねるときは、要注意ということでもある。生成AIの回答が最も有用なのは、質問者がよく知っているテーマを尋ねたときだとWu氏は言う。何が正しく、何が正しくないかを質問者自身が判断できるからだ。
「AIモデルを信頼するときと信頼しないときを意識的に峻別し、自信たっぷりな回答は疑うようにすべきだ」（Wu氏）
LLMについては、プライバシーの問題も多い。LLMにサプライズパーティーの企画を手伝わせるというテストでは、秘密にしておきたい当のサプライズ相手への連絡にパーティーのことを含めてしまう結果になった、とSap氏は話している。
「LLMは、誰がいつ何を知るべきか、どんな情報を隠しておくべきかといった類推が不得意だ」、とSap氏。
機密データや個人情報はLLMに共有しないように、とWu氏も警告する。
「自分が作ったものをAIモデルと共有する場合は、LLMに公開したくない情報が含まれていないかどうか常に再確認すべきだ」
AIチャットボットが人気を博している理由の1つは、人間の話し方をまねるのがうまいことだ。しかし、それはあくまでも物まねであってリアルな人間ではない、とSap氏は釘を刺す。AIモデルが「こうではないかと思います」とか「こう想像します」といった言葉を使うのは、そういう語句を含む言葉づかいを学習したからであって、実際に思ったり想像したりするわけではない。「われわれが言語を使うとき、こうした語句には必ず暗黙的に認知が伴っている。そのために、LLMが何か想像するかのように、内面世界を持っているかのように感じてしまうのだ」、とSap氏は解説している。
AIモデルを人間のようにとらえると、誤った信頼感を生む危険性がある。LLMは人間と同じように動くわけではなく、人間のように扱っていると、社会的な固定観念を強めてしまうおそれがある、とSap氏は言う。
「人は、AIシステムが人間に似ている、意識を持っていると実際以上に考えてしまう傾向がある」
LLMは高度な調査や類推の機能を備えているとうたわれてはいるものの、実際にはまだそこまでではないとSap氏は話している。AIモデルは博士号を取得した人間並みの能力を発揮できるというベンチマークはあるが、それはあくまでもベンチマークにすぎない。その分析の裏でどんなテストが実施されていようと、個々人が使いたい用途と同じ水準でその性能が発揮されるとは限らないのである。
「AIは何でもできるという幻想が先行しすぎたために、自分のタスクに使うべきだと人々が早計に判断するようになっている」、とSap氏は語る。
生成AIモデルを、あるタスクに使うかどうかを判断するときには、使った場合のメリットと潜在的なリスクは何か、使わない場合のメリットと潜在的なリスクは何かをそれぞれ考慮すべきだ、とWu氏も指摘している。
この記事は海外Ziff Davis発の記事を朝日インタラクティブが日本向けに編集したものです。
CNET Japanの記事を毎朝メールでまとめ読み（無料）