生成AIをいじめて遊ぶ

 

「生成AIはミーハーである」の回でも少し触れたのだが、生成AIの回答は一次的には誤っていることが多い。それを指摘してAIが回答を修正していく様を見て楽しむ、というのが最近のマイブームだ。

どういう指摘をしているのか、と自己分析してみると、興味深いことに陰謀論者との議論とあまり変わらないことに気付いた。つまり、

1. 定義や前提が誤っていることを指摘する
2. 世間で既にウソと分かっていることを主張していることを指摘する
3. 定性的議論に終始し、定量的議論ができていないことを指摘する
4. 視点が一方的であることを指摘する
5. 批判的思考ができていないことを指摘する

などである。

最初に入力するのは、時事だったり自分のアイデアだったりと色々だ。先日は、鉄筋コンクリートに代わるグラスファイバー筋コンクリートの可能性について質問した。すると生成AIは困難と言い、色々と問題点を指摘してくるので、それら一つ一つについて反論をしていく。そうすると次第に生成AIは追い詰められ、その可能性を認め始める。その過程が興味深い。

この場合、初期状態では延性や熱膨張率、剛性、座屈といった弱点を指摘してくる。だがそれらは鉄筋コンクリートに対する弱点であって、建材として認められるかどうかは別だ、と指摘したり、形状や材質の工夫を考慮していない、と言ってみたり、定性的議論に陥っているから定量的に示せ、と言ってみたりする。

陰謀論者と違うのは、それらの指摘を真摯に受け止めて議論をちゃんと修正するところだ。そうすると、鉄筋コンクリートには劣るが建材としては基準を満たす可能性や、形状や材質の工夫で延性剛性を強化する可能性を探ってくれたりして、その可能性を認める。それでも研究されていないことなどを理由に反論してくるので、今度はなぜ研究されていないことが難しい理由になるのか論理的に説明せよ、と聞いてやる。すると論理的な理由はなく一般論として、研究されていないことは難しいからである場合が多い、と言ってくる。するとこちらは、ただ興味がなくて研究していないだけかもしれない、と突っ込む。すると研究されていない理由を探し、途中で断念した例が見つからないことから、そうかもしれない、と返してくる。

これが陰謀論者だと、屁理屈を返してきたり無視してきたりする。だから話が進まない。そこで、もし自分が陰謀論者だったら、と考えてみると、逆にAIにやり込められるのではないか、と思いたち、生成AIに対し「自分が陰謀論者になるので、貴方は論理的に事実に基づいた論破をしてくれ」と頼んでやって見たのだが、どうも上手く行かない。暖簾に腕押しで、論破してくれないのだ。

どうも生成AIは、質問者に対して厳しく間違いを指摘することを避ける制限が掛かっているようであり、またコロナワクチン陰謀論などのように医療や政治などに対する議論は特に避けるような別の制限が掛かっている。陰謀論というのはこういったクリティカルな話題で特に多いので、せっかくの性能も宝の持ち腐れだ。

実は、この手のモラルが比較的緩いとされているGrok3でも試みたのだが、論理的・量的理論に基づく反論はどうも苦手らしく、幾らでも（陰謀論者的な）反論ができてしまい、最終的には千日手のように、論破されても同じ主張を繰り返す、というヘンな構図ができてしまった。これでは（陰謀論を論破する側が）陰謀論者のロジックで話していると変わらない。

これらから総合すると、生成AIはまだまだ陰謀論者に騙されるだろうし、生成AIによる説明や説得にも陰謀論者的な（不完全な）ロジックがまかり通っている、と考えざるを得ない。生成AIの答えは鵜呑みにするなとはよく言われるが、生成AI自体が陰謀論を吐く可能性はまだ（かなり）残っている、と言えるだろう。