研究報告　第976号

　ニューラルネットワークは生物の神経細胞（ニューロン）の動作を情報処理の観点からモデル化したものであり、人間に近い高度で柔軟な情報処理能力の実現を目指したものである。現在までに学習能力、汎化能力、連想能力などを有することが確認されており、様々な分野に応用されている。階層型ニューラルネットワークにおける教師付きの学習アルゴリズムとしては、１９８６年に提案されたバックプロパゲーション学習アルゴリズム（以下、実BPと呼ぶ）がパーセプトロンの限界を越えるものとして注目され、近年、様々な分野に盛んに応用されている。実BPの応用分野としては、たとえば、パターン認識、人工知能、信号処理、画像処理、音声認識等であるが、分野によっては、フーリエ変換などにより、その処理過程で複素数が現われることがある。あるいは３次元情報を陽に扱うことがある。また、人間の脳においては、異なったパルスパターンが存在し、しかもパルス間の距離は異なっているという。このことは位相と絶対値で表現される複素数をニューラルネットワークに導入することの有益性を示唆している。
　本論文は階層型ニューラルネットワークの重みやしきい値といったパラメータの高次元化（複素数化および３次元化）の試みについて論じたものである。この試みの主な目的は、高次元情報を自然に表現することができ、素直に処理することのできる階層型ニューラルネットワークを提供し、その特性を明らかにすることである。本論文の構成は次のようになっている。
　第１章では研究の背景、目的および論文の構成を述べる。
　第２章では、Widrowら（１９７５年）、Kimら（１９９０年）とは異なった方法で、従来の階層型ニューラルネットワークの結合の重みと各ニューロンが持つしきい値を複素数に拡張し、複素パターンに対する自然な学習を可能にするバックプロパゲーション学習アルゴリズム（複素BPと呼ぶ）を導出する。本研究で提案する複素数化された階層型ニューラルネットワークは、Widrowら、Kimらの階層型ニューラルネットワークが持っていた収束性に関する問題点を解消している。
　第３章では、ネットワークアーキテクチャの観点から、複素BPの基本特性を解析的、実験的に調べ、従来のBPとの差異を明確にする。主要な結果は次のとおりである。（１）複素BPが適用される階層型ニューラルネットワーク（複素BPネットワーク）における重み係数は、従来のBPネットワークにおけるそれとは異なり、２次元アフィン変換に関係した制約を持っており、学習は基本的にその制約を保ちつつ行われる。（２）複素ニューロンの実部の決定表面と虚部の決定表面とは互いに直交しており、決定領域を均等に４つに分割する。３層の複素BPネットワークにおける決定表面は基本的にこの構造を内包しており、中間ニューロンへの総入力が十分大きいときに直交する。
　第４章では、複素BPの学習特性について述べる。複素BPは次の学習特性を持つ。（１）複素BPにおける誤差逆伝播は２次元アフィン変換に基づいた構造をしている。（２）複素BPは、ネットワークを流れる複素信号を１つの処理単位として学習を進めるものである。（３）複素BPでは、学習則における実部要因と虚部要因の補完構造により、学習停滞状態の発生が押さえられる。その結果、通常のBPに比べて、複素パターンに対する学習が数倍速くなっている。しかも、そのときに必要となる学習パラメータ数は約半分で済む。
　第５章では、複素BPには、実BPには見られない２次元アフィン変換学習能力（図形変換能力）が備わっていることを確認し、そのふるまいと複素解析における一致の定理との関係について述べる。また、コンピュータビジョンへの応用についても触れる。
　第６章では、複素BPの著しい性質である２次元アフィン変換学習能力の数学的解析を行い、その定性的な性質を明らかにする。主要な結果は次のとおりである。（１）１種類の変換率（たとえば、１種類の回転角度）を学習した複素BPネットワークのふるまいを明らかにする。変換率に関する汎化能力の（距離に関する）誤差は、未学習パターンと学習パターンの偏角の差に関する正弦関数によって表現される。（２）２種類の変換率を学習した複素BPネットワークのふるまいを回転角度を例にとって解析し、汎化能力の性質を明らかにする。最後に、計算機実験を通じて、これらの数値例を示し、解析結果の妥当性を確認する。
　第７章では、ニューラルネットワークのパラメータの３次元化を試みる。本章で提案するアルゴリズムは、第２章で提案した複素BPを群論に基づいて３次元パラメータ化したものであり、重みパラメータが３次直交行列、しきい値、入力信号および出力信号がすべて３次元実ベクトルである階層型ニューラルネットワークに適用されるものである。さらに、提案するアルゴリズムには、従来のニューラルネットワークには見られない３次元アフィン変換学習能力が備わっていることを確認する。この能力は複素BPが備えている２次元アフィン変換学習能力（第５、６章）に対応するものである。最後に、コンピュータビジョンへの応用について述べる。
　第８章では、第７章とは異なった方法でバックプロパゲーション学習アルゴリズムを３次元パラメータ化する。本章で提案するアルゴリズムは、重み、しきい値、入出力信号がすべて３次元実ベクトルであり、外積演算が行われる階層型ニューラルネットワークに適用される。有効性を確かめるために、３次元ベクトルから成るパターンを使って計算機実験を行う。