2024年10月23日水曜日

シンギュラリティと「場」の概念

 


ガートナーが出しているハイプサイクルによると、生成AIはまだ幻滅期の手前にいるらしい。つまり今後大きな幻滅を経て実用域に進んでいくことになる。その幻滅とは、人間なら当たり前にできることでまだ生成AIにできないことが多く分かってくることによる。そしてその幻滅期を乗り越えるのは、そういうことができるようになるか、そういうことを回避することができるようになるか、となる。

今の生成AIにできないこととして、「以前に自分が言ったことを忘れてしまう」というものがある。例えば「XXはできますか?」と聞いて「できます」と答えたのに、「じゃあやって」と言うとできなかったりデタラメを返したりする。また、回答がこういう観点で間違っているから修正して、と言っても、謝りはするが前と全く同じを返してくる、といったことがしばしばある。

これをアーキテクチャで修正するには、言葉の順序のレベルだけでなく、相互の会話のレベルでフィードバックループを構築する必要がある。つまり、生成AI自体を複数置いておいて、会話単位でフィードバックを掛けるのだ。生成AI自体は複数のニューロンのブロック(塊)を相互接続したものだが、その相互接続済みの生成AIをまた複数並べて相互接続する、といったものになる。

さて、シンギュラリティの鍵となるのは、アーキテクチャをAIが自分自身で変更することだ。現在そのアーキテクチャを持っているAIはないが、上位のAIが下位のAIのアーキテクチャを修正するような仕組みは既に出来ている。もう少し方式を工夫すればできそうな気がする。

その工夫とは、脳の機能である「シナプスの伸び」である。脳は、同じ学習が繰り返されるとシナプスが伸びていってショートカットのようなものが出来上がるが、これはつまりニューロン同士の接続そのものが変わるということだ。これに対して、今のAIのニューロンは、接続は固定で、重み付けのみが変わる。

この違いは何かというと、AIのニューロンの場合は、接続がないニューロン同士では絶対に今後繋がることはないので、ショートカットが不可能である。かといって、最初から全部繋いでおいて重み付けだけで対処しようとすると、組み合わせ爆発が起こって実現不可能になる。脳はこの問題を、粘菌のような仕掛けで回避しているのである。組み合わせ爆発を避けつつショートカットを模索するのが、脳の賢い(?)ところという訳だ。

シンギュラリティにおいても、ニューロンの数を増やすのではなく、このような「ショートカット」を構成する仕組みがあれば、同様のことができるのではないかと思う。これができれば、ニューロンとしては単体のフラットなものを作っておいて、進化させることによって前述の「塊」ができ、更に塊同士の経路ができて、勝手に(今までは人が考えていた)構成が出来上がる。

このためには、ニューロンの「(仮想的な)物理的な位置」と、「ショートカットの動機となる回線(の塊)の関連付け」が必要である。

肝になるのは後者である。例えば今のTransformerの個々のモジュールと相互接続は、人間が考えたものだ。これが自然に形成されるようにするには、「ニューロン同士が近いほど相互接続しやすい」「ニューロンが塊を形成したことを感知する」「ニューロンの塊同士の因果関係(どちらかを刺激するともう一方が反応する)を感知する」といった仕掛けを施せば良い。

このための仕掛けとしては、物理学における「場」の概念を取り込むのが良いと考えている。

場とは、例えば重力場、磁場、電場という意味での「場」である。つまり、ニューロンが発火したらそこには「場」が生じ、場の状態自体が俯瞰して見られるのだ。その場の強さの時系列的比較を通じてシナプスを伸ばしてやるようにすれば、上に上げたような計算機的アプローチより簡単に作れるのではないかと思う。

これともう一つ必要な仕掛けは、脳のランダムな「摂動」である。初期のニューロンは、放って置くとどこも反応しないので、最初のフィードバックに時間がかかる。これに対し、脳がある程度勝手に動くような仕掛けを取り入れておくと、フィードバックも速くなるはずだ。

これを説明すると、赤ちゃんは最初、手の動きを目で見て、手の存在を自覚する。そのうち自分の意思で手を動かせることに気づき、次第に思い通りに動かすできるようになっていく。この時、最初の手の動きは摂動である。ある程度ランダムに動いているところを見せて、それを目で自覚し、今度は意思を入れるとより大きく動く、ということが分かれば、そこに回路が形成される。これを繰り返すのである。

このアーキテクチャ、即ち①多次元位置情報を持つニューロン、②ニューロンの発火を物理的位置情報に転換する「場」、③場の情報を基にニューロン同士の接続を促す仕掛け、④以上の動きを活性化するための摂動、これらが備われば、シンギュラリティを起こす新たなAIになるのではないか、と考える。

0 件のコメント:

コメントを投稿

注目の投稿:

ダイナミック租税とその指標

今の法律では、税率は一定の計算式で表されるが、そのパラメータは固定である。需要と供給のバランスによって商品の価格を変えるダイナミックプライシングというのがあるが、あれを租税にも適用してはどうかと考えてみた。 納税者の声をベースにして様々な租税や補助金を自動調節して、どこか一箇所...

人気の投稿: