ChatGPTの不正確さを分かりやすく解説

ChatGPTは極めて高性能な対話型AIです。

うまく活用できれば生産性が急上昇する、世の中を一変させる可能性があるなどと非常に話題に登っています。

しかし一方で、そんなChatGPTの回答はかなり不正確だという話しを耳にしたことのある人も多いのではないでしょうか。

そこで今回はChatGPTの不正確さについて分かりやすく解説していきます。

ChatGPTは不正確な回答もする

ChatGPTの回答は不正確なことも少なくありません。

ChatGPTを対話型のデータベースのように考えている人もいるようですが、それは間違いです。

語弊はあるかと思いますが、ChatGPTはネット上の情報をAIがまとめてくれるようなサービスです。

そのため、その情報源が誤っていれば不正確な情報を返してきます。

しかも悪いことに、かなりもっともらしい内容で断定的に返答してきます。

こちらが「それは不正確な回答です」と指摘すれば間違いを認めて新たな回答をしますが、たいていはそれも不正確です。

嘘に嘘を塗り重ねるだけ、かえって性質が悪いとさえいえます。

総じて、ChatGPTの回答に正確さを期待すると当てが外れてしまうかと思います。

ChatGPTの不正確さはどの程度?

ChatGPTが不正確な回答をする頻度は一概には言えません。

質問の仕方にもよりますし、その内容も大きく影響してきます。

ただ、体感でいえば普通のGoogle検索よりは全体的に不正確な回答が多い気がします。

質問の内容によっては回答に時間がかかることもしばしばです。

また、ChatGPTは画像を扱えずテキストのみでのやり取りになります。

したがって、不正確さ云々以前に、情報収集・検索用途の使い勝手はいまいちと言わざるを得ません。

そうした諸々を加味すると、「知らないことを調べる」という目的ではまだChatGPTよりはGoogle検索のほうが頼りになるような印象です。

ChatGPTが不正確な回答をする理由

ChatGPTが不正確な回答をする理由は、そもそもその学習リソースが誤っているからです。

ChatGPTはAIとは言われていますが、基本的には膨大な学習済みデータから妥当と思われる言葉をつないで回答しているだけです。

したがって、元データが不正確な場合はChatGPTも誤った情報を回答してきます。

対話型のインターフェイスといえばSiriやALEXAなどもありますが、それらの場合は参照元を提示してきます。

そのため、その参照元をさらに確認すれば妥当かどうかも判断可能です。

一方で、ChatGPTはさもそれが確固たる事実のような体で回答してくるため、そもそも不正確かどうかに疑問を抱きづらいというデメリットがあります。

ChatGPTは極めて自然な言語処理で対話できることが大きな特徴です。

しかし、それが逆に仇となっているともいえるかもしれません。

少し例えは悪いかもしれませんが、口は上手いが嘘をつく部下と、業務知識は今ひとつだが誠実な部下ならばまだ後者のほうが便りやすいはずです。

ChatGPTを部下や相棒のように使おうと考えている人はそのあたりの感覚でいたほうがよいかと思います。

ChatGPTが不正確な回答をしがちな質問

ChatGPTの学習していない内容の質問は不正確な回答になりがちです。

たとえば、個人の来歴などのパーソナルな質問や、見る人によって解釈の分かれる歴史的事実など。

あるいは、学習済みデータに含まれない最新情報についての質問は不正確になりがちです。

また、当然ながら本来は回答の存在しない質問にも不向きです。

それらを実感してみたい人は、まったく存在しない本や映画などのタイトルを考えてChatGPTにその著者を訪ねてみましょう。

もちろん逆に内容を考えてからタイトルを聞いてみるのもよいでしょう。

いずれにせよ、不正確どころかそれはもうデタラメな回答を当然のごとく回答してくるはずです。

ちなみに、現在すでに学習済みの情報の範囲をChatGPTに質問したところ2021年９月までとの回答でした。

しかし、それ以降に学習が進んでいることもあるでしょうから、この回答自体が不正確な可能性も否定できません。

また、一応、リアルタイムでインターネットを巡回して情報収集して回答しているとのことですが、それでも情報源の誤りが不正確な回答につながるリスクは変わりません。

こうした事情からChatGPTは自身の回答を「最善を尽くしたもの」と表現しています。

これはまさに言い得て妙で、ChatGPTの正確性はその程度といったところです。

ChatGPTは不正確という前提で

ChatGPTは不正確な回答をすることがあるのは事実です。

しかし、だからといって決して使い物にならないというわけではありません。

そもそも、編集や校閲の目が入る出版物でさえ必ずしも正確とはいえません。

それにもかかわらず、基本無料のChatGPTに正確さを求めるのは酷というものです。

また、これまでのウェブ検索でも情報の不正確さや古さの見極めは当然の基礎リテラシーとして必要でした。

ChatGPTにも同じくそういった前提が必要ということにすぎません。

それらを承知しておけば、ChatGPTの機能はたしかに画期的です。

たとえば、自然な言語処理を活かしてブレインストーミングの相手にしてみたり、あるいはさまざまなドキュメントの叩き台のジェネレータにしたり。

あるいは、冗長な文書をまとめる編集代わりに頼ってみたり。

非常にいろいろな使い方が思い浮かびます。「情報に不正確なことがある」という一点さえ承知しておけば、極めて可能性に満ちたものであることは間違いないでしょう。

ChatGPTの不正確さは改善される?

早晩、ChatGPTの不正確さが抜本的に改善されることはないように思います。

まず、不正確さの原因が情報リソースにある以上、それを正す方法はありません。

仮に正確な情報だけに限定して学習するとなれば、代わりに学習スピードが急低下することでしょう。

また、ChatGPTのようなAIの宿命として、利用が進むほど回答や予測の精度が下がるという問題があります。

もちろんそうした問題に対応する技術も開発中ではありますが、まだ完全にクリアするには至っていないはずです。

ChatGPTの不正確さが問題にならなくなるには、まだいましばらくの時間を要するものと考えておくべきではないでしょうか。