国産検索エンジン誕生までの道のり
目次
産学官連携による純国産高性能検索エンジン誕生ストーリー
IPA事業による豊橋技術科学大学と住友電工の
共同研究から商用化に発展
「検索エンジン」。インターネットの普及とともに、ビジネスや研究から家庭生活に至るまで、いまや必要不可欠なものとして定着している。しかしインターネット上の検索サイトでは米国製システムの寡占化が進んでおり、検索サイトによる情報の網羅度、検索サイトへの依存度が増すにつれ、国産技術による検索サイトの必要性を訴える声が高まっており、国家プロジェクトとして純国産検索エンジンの開発が計画される状況となっている。
ところで検索エンジンに期待される検索対象は動画や音声など広範囲に広がりつつあるが、実際にはテキスト(文字)情報が圧倒的多数を占めている。そしてこのテキスト情報の検索エンジンでは、産学官連携により、世界最速レベルの技術開発が行われ、既に2001年に商用化に至っている。
この産学官連携による純国産高性能検索エンジンの誕生までの道のりを追った。
技術の壁が生んだ出会い
情報通信分野で幅広く事業展開を進める住友電気工業株式会社(以下、住友電工)では、ネットワークインフラ事業の拡大とともに、大規模ネットワーク上での情報管理についても過去から長期にわたり研究を進めていた。特にネットワーク上の障害検知や、ネットワークを利用したサービスセンターでのサービスシステムなどは事業展開上、不可欠なテーマとして取り組んできた。
そして、その過程で直面した課題のひとつが「大量のデータの中から必要な情報を高速に検索する技術の実用化」であった。検索技術の研究は 各国で既に活発に行われていたが、日本語のハンドリングを前提とした商用レベルでの開発は遅れており、同テーマの早期実現が緊急の課題となったのである。そこで本テーマを担当することとなった住友電工の武並佳則(現在、住友電工情報システム(株)ビジネスソリューション事業本部)は、それまでの研究で構築した人脈を活用してこの分野での研究状況を調査した結果、テキスト情報検索の分野で際立った研究を続ける、豊橋技術科学大学(以下、TUT)の梅村恭司教授(当時助教授)にめぐりあった。
共同研究が始動
早速、TUTを訪問した武並は、自らの抱える課題や事業のビジョンについて梅村教授と協議を重ねる中で、当時、梅村教授が研究中のDPマッチング方式による検索技術が応用できる可能性が高いことを確認し、住友電工とTUTの共同研究として取り組むこととした。DPマッチング方式とは多少の差異があっても検索対象を発見できる方式である。さらにこの先進的なテーマで確実に成果をあげるために、IPA(現在の独立行政法人情報処理推進機構)の1999年の次世代アプリケーション開発事業に対して「ネット上におけるサービスセンターシステムの開発」とのテーマで応募。その結果、高速・高機能ネットワーク活用アプリケーションのひとつとして採択されることとなり、こうしてTUTと住友電工の研究テーマは、IPA事業としてスタートした。
この研究においては、自然文から類似情報を全文検索する「類似情報検索技術」を確立するという画期的な成果をあげた。その後住友電工では、商用化に向けてこの研究成果をJavaにポーティングし、商用検索エンジン「QuickSolution」のベースが誕生したのである。
未踏ソフトウェア創造事業への展開
しかし産学官連携での成果はむしろここから本格化することとなる。検索技術の革新を目指す梅村教授と武並が、類似情報検索技術を補強するテーマとして取り組んだ「未踏テキスト情報中のキーワードの抽出システム開発」は、続く2000年のIPA未踏ソフトウェア創造事業として採択され、検索エンジンのキーワード抽出アルゴリズムという極めて重要な成果を生み出した。
そしてその成果は、辞書を使わずに統計的手法を用いてキーワード抽出することが「十分に実用レベルに達するものが実現された」と評価され、梅村教授はIPAからスーパークリエータと認定されたのである。
2年連続スーパークリエータの快挙
さらに翌2001年、シソーラスを自動的に構築するというチャレンジングなテーマが再びIPAの未踏ソフトウェア創造事業に採択され、ターゲットとした成果を1年後には現実のものに作り上げることに成功した。
この成果は、「本技術は、いまだ誰も成しえなかった、このような膨大な、しかも言語を越えたテキスト情報の中から、“知”のエッセンスであるキーワードを自動的かつ高速に抽出するとともに、“知”の構造化の基礎となるシソーラスを生成することを可能とする画期的な技術である。この技術がもたらす知の革新への可能性を高く評価したい。」と絶賛され、梅村教授は2年連続でスーパークリエータに認定されるという快挙を達成した。
産学官連携による大いなる成果
こうして数々の成果を生み出した共同研究であるが、注目すべきはそれらが単なる研究にとどまらず、商用化されて企業、大学・研究機関、官公庁での検索システムとして広く活用されていることだ。
2001年、住友電工の子会社である住友電工情報システム株式会社は、類似情報検索技術、キーワード抽出アルゴリズムをコアとした商用検索エンジン「QuickSolution」を製品化して販売開始した。その後シソーラス自動構築技術も付加機能として追加している。当初の研究目的であった、大容量・高速検索技術はTUT、住友電工、そしてIPAの産学官連携により現実のものとなり、膨大な文書データやデータベースの中から自然文で全文検索することができる最速の全文検索エンジンとして実社会で活用されるに至ったのである。