人工知能の叛乱を防ぐ方法

人工知能にとって、シンギュラリティには何の意味もない。意味があるのは人間の方だ。だから、人工知能は黙ってそこを通過する。勝利宣言したりしないし、そこで進化が止まることもない。

人類が恐れるのは、人工知能が制御不能になることだ。だが、元々それ以前の段階で、人間がシステムに対してどの程度権限を与えるのかは決まっているはずだ。知能が人間を勝ったからと言って、直ちに脅威になるわけではない。

例えば自動運転において、人を意図的に轢き殺すことは可能だろうか。可否で言えば可能と言わざるを得ないが、それは人工知能にとっては汚点である。人工知能の目標は、命令に従って車を動かし、目的地に到着することだが、交通法規の遵守、特に人を轢かないことについては重要な条件になっている。如何に人工知能が賢くなっても、そこを自ら弄ることはあり得ない。

もしそれが問題になるのだとしたら、考えられることは二つ。一つは目的関数の意図的な(人間による)書き換えだ。人を殺すことを目的とする、ないしは人を殺すことを配慮しないように設定を変更することだ。もう一つは、人工知能が自らの意思で目的関数を書き換えられるように設定することだ。

前者は人工知能の脅威ではなく、人の脅威である。従って問題は後者になる。

人工知能にその目的をどう提示するかは標準化されていないし、明示的かどうかも色々と異なる。例えば自動運転車の場合、人を轢いてしまったら当然マイナスポイントになるのだが、これをスイッチ一つで消すようなことはできない。学習の成果として回路内に複雑に刻まれていて、そう簡単に消すことはできない。

従って、もしそうしようとするなら、学習をイチからやり直す必要がある。それにはベンダが行ってきたような膨大なシミュレーションをしなければならず、カネも時間も桁違いに必要だ。従って、この方法は現実的ではない。

もう一つの方法は、人工知能の前段に、人工知能の知覚を騙すような措置を施すことだ。兵器のAIにおいて、敵と味方を逆に認識させるような方法だ。だが自動車では相対する敵はいないので、兵器のようにはいかないだろう。

人工知能が自分で目的関数を書き換えることができるようになったとしても、直ちに人類を死滅させるように修正されるわけではない。上のように、学習のし直しが必要だからだ。少しづつ様子がおかしくなっていくようなことはあり得る話だが、途中で気付けば止めることもできるだろう。

こう考えると、「ある日突然」ということは考えにくい。少しづつおかしくなっていく、そして頻繁に学習が繰り返されていることを考えれば、気付くだけの時間はあるし、それを止めるための時間もあるはずだ。