色々と生成AIと議論しているが、それに関して最近気付いたことがある。
最初の応答については、あまり深く考えずに世間の評判を基に答えるのだが、それには往々にしてウソ大げさが混じっている。それに対して指摘をし、更にそれを繰り返すことによって、だんだんとそのウソ大げさを理解し、マトモな解釈ができるようになる。
これは、近年のコメ価格高騰の要因について問い合わせた際に気付いた。最初は、新聞で見るような「流通の目詰まり」「訪日外国人による需要増加」「買い占め」などと答えていたのだが、その各々について分析を指示したところ、これらについてはファクターとして弱く、主要因ではないと答えるようになった。では主役は誰かと問うと、「減反政策」「JAや全農の影響」と答えるAIと、「需要側の問題」と答えるAIに分かれた。これらの質問をする際、各々に対して定量的根拠を求めると、答えにもきちんと定量的評価が入り、答えが論理的になった。
Grok3の最終的な結論は減反政策とJAの前払金制度だったが、前払金制度は以前からあった施策であり、その意味では説明がつかない。それを突っ込むところで回答数制限が来て、お預けになってしまった。
これは他のAIについても同じで、回答を分析して突っ込んで質問すると答えを翻す場面は多かった。それに気付いて以前からのAIとのやり取りを思い出してみると、確かに思い当たることがある。最初の答えは表面的、ミーハー的で、突っ込んでいくと段々と専門家らしくなってくる。同じ知識を持っていても、質問の仕方次第では180度異なる回答をすることもあるのだ、と思った。
最近のAIはDeep Searchのようなオプションも無償で(回数制限はあるが)使えるようになっているが、それをONにして訊いても、やはり最初の回答は定性的・テキトーなことが多く、こちらが突っ込んで聞かないとマトモな答えは得られないことが多い。そう考えると、AIに安易に回答を求めることは危険で、陰謀論者を増やすことにもなりかねない。
逆に言えば、その「ツッコミ」をできる技量が質問する側にも必要だし、その技量によっては回答がブレることにもなる、と言える。そこに思想や偏見が交じる可能性は当然否定できないから、質問する側もその分慎重になるべきである。
最近では、わざと誤ったツッコミをしてミスリーディングをして、AIがそれに耐えられるかなどといったことをして遊んでいる。