過去30年間で、人工知能（AI）は飛躍的な進歩を遂げました。適切にプログラムされたコンピュータは、特定のタスクに非常に適応しており、さまざまな面で人間を上回る性能を発揮することができます。その一方で、AIは依然として多くの面で人間の能力には及ばない部分があります。 人間は、新しい動物の例を一度見れば、別の状況下でもその動物を比較的容易に識別できる（これを「ワンショット学習」と呼ぶ）のに対し、現在のAIはそれを学習するために、数百万とまではいかなくとも数千もの例を必要とする。 人間は一つのタスクを習得した後、新たなタスクを学ぶことができますが、AIにとってはこれが大きな課題となっているようです。人間の脳が1日に消費するエネルギーは約0.3kWhであるのに対し、ChatGPTはたった1件のリクエストに応答するだけでほぼ同量のエネルギーを必要とします。多くのタスクにおいて、最先端のAIでさえ、人間を上回るにはまだ長い道のりがあります。
なぜでしょうか？ 何しろ、現代のAIアーキテクチャの多くはニューラルネットワーク（NN）に基づいており、これらはもともと人間の脳を模倣するために設計されたものです。本記事では、フランチェスコ・ディ・ラッロ氏が、「汎用人工知能」の実現における課題のいくつかについて考察しています：
脳とニューラルネットワークの仕組み
脳は、例えば目からの入力を受け取り、それが視覚野のニューロンに電気的刺激を与えることで機能します。ニューロンが一定の刺激閾値に達すると、活性化し、シナプスを介して接続された他のニューロンに信号を送ります。このプロセスは、電気信号が脳内を伝達されるにつれて繰り返されます。最終的に、入力信号が処理され、判断が下されます。 例：入力――自分に向かって走ってくるライオン；判断――逃げる。
ニューラルネットワーク（NN）の仕組みもこれと多少似ています。画像などの入力を受け取り、シナプスによって相互接続された一連のノード／ニューロンを通過させます。これらのノードやシナプスはそれぞれ、入ってくる信号を出力に到達するまで修正し、最終的に判断が下されます。例えば、入力がライオンの画像である場合、ネットワークにはそれをカエルではなくライオンとして正確に分類してほしいものです。
脳や神経ネットワークに関するこの説明は、明らかに過度に単純化されたものですが、今回の話題について論じる上では十分です。
ニューラルネットワークは、膨大な数の例を学習し、ネットワーク内のさまざまなパラメータを微調整することで学習します。「ライオンかカエルか」というシナリオでは、ネットワークはライオンやカエルの画像の無数の例を学習し、推測を行い、それを正解と比較します。 推測が正しければ、正しい神経経路を「強化」し、推測が間違っていれば、同じ神経経路を「弱める」ことになります。このプロセスは「バックプロパゲーション」と呼ばれ、1960年代のコンピュータ科学者が脳の学習メカニズムとして理解していた仕組みと類似しています。
この問題に対して、より高性能なコンピュータやより多くのデータを投入することはできるでしょうか？
人間の脳には、およそ1,000億個のニューロンと100兆個のシナプスがあります。これは、およそ100兆個の学習可能パラメータを持つモデルに例えることができます。 比較のために言えば、Metaの「Llama 3」（本記事のタイトルにもなっている）の学習可能パラメータ数は「わずか」 700億に過ぎない。人間と同等の知能を実現するには、Llama 3やその他のモデルを100兆パラメータ規模に拡張することが解決策であるに違いないだろうか？
そうとも限らない。
機械学習における基本定理の一つは、ニューラルネットワークが任意に複雑な課題に対処できるというものである。より正確には、ニューラルネットワークは任意の連続関数を近似することができる（この結果は1988年にサイベンコによって示された）。 したがって、理論上は、どのような「挙動が良好な」課題であっても、十分に大規模なニューラルネットワークであればそれを解決できることになる。数学者たちは、適切なニューラルネットワークが理論上存在することだけで満足するかもしれないが、課題は実際にそのようなネットワークをどのように構築するかという点にある。これは、言うは易く行うは難しであることが判明している。現代のアーキテクチャや学習アルゴリズムがどれほど効果的になれるかには限界がある。
そのような制限の一つが、勾配消失問題です。勾配消失は深層ネットワークで発生し、ネットワークの初期段階にあるパラメータを調整することが極めて困難になります。ネットワークが十分に深くなると、層をどんどん追加しても（パラメータが増えるだけ）、初期のパラメータが学習不能になってしまうため、意味がありません。 バッチ正規化や勾配クリッピングなど、この問題を回避しようとする方法はいくつかありますが、問題は依然として残っています。単にネットワークを大きくしただけでは、汎用人工知能（AGI）の問題は解決されないでしょう。
さらに問題を複雑にしているのは、利用可能な学習データや計算リソースの量など、NNの有効性には他にも実用上の制約があるという点だ。ChatGPTを単一のGPUで学習させていた場合、その処理にはおよそ355年かかっていたと推定されている。
ニューラルネットワーク（NN）の学習には大量のデータが必要であるため、質の高いデータの確保が極めて重要になっています。Googleが最近公開した「AI Overview」ツールは、その好例です。 ウェブ上で見つけた情報やデータを基に、Google検索の上部に検索クエリに対する回答の要約を素早く表示する。しかし、インターネットを少しでも利用したことがある人なら誰でも、ウェブにはでたらめな情報が溢れていることは明らかだろう。その結果、AI Overview は、その引用が風刺新聞 『ザ・オニオン』から引用したことに気づかずに、「1日に少なくとも小さな石を1つ食べる」ことで健康を改善できると親切に提案してしまったのです。AIが効果的に学習するためには、単に大量のデータがあるだけでなく、そのデータに一定の信頼性が必要なのです。
硬直したコンピューター対柔軟な脳
脳には、「神経可塑性」として知られる、自らを再配線し、新たな方法で機能する能力があります。人間の脳と比較すると、最新のニューラルネットワーク（NN）の多くは比較的硬直した構造を持っており、新しいノードを「成長」させたり、新しいシナプス接続を形成したりする能力を持っていません。 「フォゲットゲート」や「重み剪定」といった手法は存在しますが、こうした解決策は、まだ脳の神経可塑性には及んでいません。神経可塑性は、人間の学習や知性の根本的な側面であると考えられます。ニューラルネットワークのこうした比較的硬直した構造は、人間を模倣する能力にとって深刻な制約となっているようです。
その構造上、ニューラルネットワーク（NN）は与えられた問題に適応するようになっています。手書き文字の読み取り用に学習されたNNは、大幅な再学習を行わなければ、動物を正確に分類することはできません。一方、人間は両方を比較的容易に行うことができます。マルチタスク学習については多くの研究が行われていますが、タスクごとに異なるネットワークを用意するという単純な実装を超えて、大きな進展は見られていません。
例えば、より汎用性の高いネットワークが直面する明らかな課題の一つは、情報の入力方法です。テトリスをプレイしたり、英語からフランス語への翻訳を行ったりできるAIを作りたいと仮定すると、そのネットワークは画像だけでなく、一連の単語も入力として受け取れる必要がありますが、これは実際にはそれほど簡単ではないことがわかります。
マルチタスクNNの学習に関する他の試みでは、AIが新しい情報を学習する際に、古い情報を保持することが難しいという点が指摘されている。このことは、DeepMindが57種類の異なるアタリ2600のゲームをプレイするNNの学習を試みた際に明らかになった。2020年3月、DeepMindは57種類のゲームすべてにおいて人間の基準値を上回る性能を発揮するNNの学習に成功したが、この達成に際して直面した課題は、「汎用知能」という問題の規模の大きさを浮き彫りにしている。
ニューラルネットワークは、本当に脳のように学習するのでしょうか？
ニューラルネットワーク（NN）のアーキテクチャに関する問題を解決したからといって、それで終わりというわけではない。もう一つの大きな制約は、ネットワークの学習方法にある。NNは、正しい答えや、その答えからどれだけ近いか遠いかをNNに伝え、ネットワークのパラメータをどのように変更すべきかを指示できる、いわば全知全能の外部アルゴリズムに依存している。
神学的な議論には立ち入らないが、脳ではこうしたことは起きていないようである。脳には、バックプロパゲーションに必要な正確な誤差信号を提供できるような、そのような厳格な環境が存在しないからだ。脳の内部には、「正しい答え」に評価を与えることができる何らかの自己調節プロセスが備わっているのかもしれない。オックスフォード大学の最近の研究では、「プロスペクティブ・コンフィギュレーション（prospective configuration）」と呼ばれる新しいメカニズムが提唱されており、そこでは、川に魚を捕りにやってくるクマが例として挙げられている。 川を見ると、そのクマは水の音が聞こえ、サケの匂いがすると期待することを学んでいる。しかし、ある日、クマは耳が詰まった状態で川に到着し、川の音を聞くことができない。古典的なバックプロパゲーションでは、視覚ニューロンと聴覚ニューロンを結びつけるパラメータが減少することになるが、そうすると視覚ニューロンと嗅覚ニューロンの間のパラメータも減少してしまう。この減少は壊滅的な干渉を引き起こし、クマが次に川を訪れた際にサケの匂いを嗅ぎ分ける能力を損なうことになるだろう。
もちろん、現実の世界ではこのようなことは起こりません。その代わりに、この研究では、学習アルゴリズムによってニューロンが「プロスペクティブ構成」に落ち着くことが提案されています。この構成により、学習中の情報間の干渉が軽減され、重みの変更による干渉がそれほど劇的なものにはならないのです。 「プロスペクティブ構成」は比較的新しい概念ですが、オンライン学習（各経験の直後にネットワークが学習を行うもの）、複数のタスクを伴う継続的学習、変化する環境下での学習、限られた量の学習例を用いた学習（ワンショット学習を含む）、強化学習など、生物学的に関連性の高いシナリオにおいて、すでに有望な改善を示しています。この分野が今後どのように発展していくか、注目されます。
未来
現代のAIは、チェスの対局、メールの他言語への翻訳、近くのカフェの検索など、個別の特定のタスクにおいては優れた性能を発揮しますが、「汎用人工知能」とは言えません。 現在の人工知能研究には、汎用人工知能の実現を妨げる少なくとも2つの問題があります。それは、ニューラルネットワーク（NN）に神経可塑性が欠如していることと、効率的な学習が困難であることです。これら2つの課題のいずれかを克服できれば、汎用人工知能の実現に向けた進展に大きな影響を与えるでしょう。
バーカー・ブレテルでは、AIおよび機械学習の動向を大いに注目しています。当社は、AIおよび機械学習の最先端技術に関する発明を日常的に取り扱っておりますので、AIおよび機械学習に関連する知的財産の保護についてアドバイスが必要な場合は、ぜひ当社までご連絡ください。
「単にデータ量が多いだけでは不十分であり、AIが効果的に学習するためには、そのデータにある程度の信頼性が必要なのです」
