ChatGPTの登場によりAIがより身近に感じられる昨今ですが、私たちが最先端テクノロジーの恩恵を享受する一方で、AIやIoTに過剰に依存し、気づかぬうちに人がテクノロジーに“使わされている状態”に陥る可能性を懸念する声もあります。今回は、ユビキタスコンピューティングの分野で、人とコンピュータの“ちょうどいい関係”を追求する松田裕貴先生に、現在の取り組みや今後についてお聞きしました。
AI・IoTと人の
“ちょうどいい関係”を探る
――研究されている分野について教えてください。
私の研究は、大きくは情報科学、ユビキタスコンピューティングの分野になります。今の時代、スマートフォンやスマートウォッチのように、コンピュータは私たちの生活のごく身近なところにあります。こうした機器を用いてコンピュータが人をどう認知・理解するのか、また、人に対してどのようなサービスを提供できるのかなどを研究するのがユビキタスコンピューティングです。私は、その中でも特に「AI・IoTと人の“ちょうどいい関係”とは何か？」について研究しています。そして、理論的な研究だけでなくシステムとして実装する応用的なテーマまで幅広く調査・研究できる場として「コンヴィヴィアルコンピューティング研究室」を立ち上げました。
コンヴィヴィアル（Convivial）は、ラテン語の「Convivere」に由来します。Convivereを訳すと「自立共生」という意味なのですが、この言葉には、「友好的な」「陽気な」といったポジティブな意味も含まれています。コンヴィヴィアルコンピューティング研究室では、「IoT・AI」の能力向上だけでなく「人」の能力も向上させることにより、相乗効果によって新たな価値を創出するような“ちょうどいい関係”を追究しています。
最近、「AIoT」という言葉がよく使われますが、AIとIoT双方を組み合わせた技術を中心にセンシングをしたり、行動認識、感情認識をしたり、さらには学習支援やナビゲーションなどのシステムの構築など、様々な技術を活用して人が生き生きと暮らせる（= Convivialな）環境・社会を実現することを目指しています。
――ご研究テーマとして、なぜ、「珠算」に目を向けられたのでしょう？
私自身が子どもの頃に珠算を習っていたことが大きなきっかけになりました。古くから「読み書きそろばん」と言いますが、読む、書く、算術力は現代においても、人の学びの基礎だと思います。今でも習い事として珠算教室に通う子どもは多いですが、他の習い事と比較すると、珠算は特にIT化が進んでいないと感じています。練習方法は昔から大きくは変わらず、算盤（そろばん）の珠操作で問題をひたすら解き、トライアンドエラーを繰り返しながら計算スピードや正確性を向上させていくものです。もちろん、こうした伝統的な練習法にも良さはありますが、上達までに時間がかかるため、途中で諦めてしまう子どもも少なくありません。また、週に２、３回の頻度で教室に足を運ぶということも、今の子どもたちの多忙な生活を考えると負担が大きいと感じます。このような観点から、珠算練習法の効率化にICTの活用が役立つと考えました。
さらに、珠算の学習支援システムの導入は、指導者不足の解決にもつながります。珠算は、算盤の珠を操作して計算をしますが、初学者のうちは操作に慣れていないため、指導者が学習者の計算ミスや苦手操作を発見し、指導する形式が一般的です。つまり、学習者の珠算上達は、指導者に大きく依存しているのです。しかし、学習支援システムがあれば、学習者はいつでも、どこでも同じレベルで珠算を学ぶことができます。最近は海外で珠算人気が高まっており、習いたい人が増えていますが、現地で珠算の指導者不足が課題となっているようです。この学習支援システムはそのような課題の解消にも貢献できることでしょう。
算盤の数値を
100％正しく認識する仕組みを考える
――今回の助成期間には、どのような研究をされたのでしょうか。
珠算の上達には、解答の誤りを正すだけではなく「どこが理解できていないのか？」という根本的な原因を発見することが重要です。今回の研究では、学習者の計算ミスや苦手な珠操作といった「つまずき」がどの段階で発生しているか、そして、学習者がどのようにして克服したかという「学習経験」をデータベース化し、同様の課題を持つ学習者を効率的に課題の改善に導けるような学習支援システムを目指しました。
具体的に行った内容は次の３つです。まず、学習者の「つまずき」を発見するには、算盤上で珠がどのように操作されているかを正しく把握する必要があります。そのため、第１段階としてセンシング技術を用いて珠の状況を正確に認識する方法を検討ました。第2段階として、学習者の珠操作から「つまずき」がどのように発生したのか、また、それを改善するためにどのような操作が行われたのかを分析し、「学習経験」としてデータベース化を進めました。最後に第３段階として、学習者の計算ミスや苦手操作に応じて問題を生成し、課題を克服できるように支援する方法を考えました。以下の図が、今回構築した学習支援システムの仕組みです。
実験には、一般的な算盤にARマーカを貼付したものを使用しています。書画カメラで算盤を操作する手元を撮影することで、どのような数値が入力されたかを推定し、問題の正解・不正解を判断します。そして、その結果を卓上ディスプレイに表示したり、学習者の状況に応じた問題を表示したりできるシステムになっています。
また、算盤だけでなく卓上ディスプレイにもARマーカを表示することで、算盤と画面の相対的な位置関係を把握することができます。これにより、算盤を置いた位置に対応して問題や計算結果の表示位置を動的に変更することができるようになりました。
――特に苦労されたのは、どんなことでしょうか。
珠算の学習支援システムですから、カメラの画像から推定する算盤上の数値は極めて正解であることが求められます。中途半端な画像認識はできないという点が一番苦労しました。最初のうちは実験も手探り状態で、学習者の手にセンサーをつけてみたり、それぞれの珠の色を変えてカメラで撮影してみたりと様々な方法を試したのですが、なかなか精度が上がらずにかなり苦戦しました。
試行錯誤の結果たどり着いたのは、珠画像の分類とテンプレートマッチングから数値を推定する方法でした。下図のように、算盤上のARマーカで場所（桁）を認識した上で、操作した一つ一つの桁画像を切り出していきます。さらに、その画像から図の点線で囲まれている７箇所の小画像だけを分割して抽出すると、その 部分の小画像は、必ず珠の上半分・下半分・軸（珠がない）部分のいずれかになります。そして、抽出した ７つの小画像の組み合わせを事前に準備した０〜９の数値の小画像順列の辞書とテンプレートマッチングすることで、入力値が推定できるようになります。例えば、下図のような珠の位置であれば、入力値は「３」と推定できます。これを全ての桁で行うと、学習者が操作した状況を把握することが可能になるのです。
この推定手法の性能評価を実施したところ、認識精度は98.6%でした。残りの1.4％についてはいずれも「パターンマッチなし（認識不可）」という結果で、別の数値に誤認識されたケースは一つもありませんでした。認識できない場合は、操作の際に珠の位置が中途半端な位置に置かれてしまい、前述の上半分・下半分・軸という３つの位置に分類できない時に発生します。そのため運用上は、時系列的に隣り合った複数フレームの認識結果を複合的に分析することで、ほぼ100%の認識精度で推定できるようになりました。
珠算教室の子どもたちの協力を得て
検証実験を開始
――珠算の学習支援システムについて、検証実験を続けておられるそうですね。
このシステムでは、学習者の「つまずき」の傾向に合わせて最適な問題を表示することができます。同じような操作ミスのパターンで、しきい値を超えた場合、その操作を含んだ問題を生成して出題する仕組みは完成しているのですが、ミスをしやすい問題ばかりが出題されると学習者の意欲が低下する可能性があります。そこで、問題をどのくらいの割合で出題するとよいのか、よいバランスはどのあたりかを調査しています。また、実際に学習者の「つまずき」を正確に見つけ出せるか、システムを利用した学習者と利用しなかった学習者の上達スピードなどの違いについても、これから検証していきたいと考えています。
当初は助成期間中に検証まで実施する予定でしたが、コロナ禍で行うことができませんでした。そのため、現在、大阪の珠算教室の子どもたちの協力を得て調査を進めています。
検証実験で子どもたちが使いたくなるように、研究室の学生がシステムにゲーム要素を加え、RPG風のデザインを考えてくれたのですが、その中に操作ミス検知システムや克服問題の自動生成システムも組み込まれています。せっかくの優れたシステムも、楽しんで使えるものでなければ無駄となってしまいます。楽しく学べる練習と珠算上達のバランスがとれるよう工夫することも、コンヴィヴィアルコンピューティングを追究していく上でとても重要な要素なのです。
人の余白の豊かさを高めるような
技術を作り出す
――先生のご研究の今後の展望についてお聞かせください。
珠算の学習支援システムに関する研究は、研究室の「人の能力向上」の研究主テーマとして、これからも続けていきたいと思っています。また、この研究で考案した「学習経験」をデータベース化し、他の学習者の指導に活用すると仕組みは、他の学習にも転用できるものだと考えています。こうした学習支援システムが普及すれば、これまで個人がトライアンドエラーの中で学びとってきた「暗黙知」を体系化し、「形式知」として多くの人と共有することができるようになるでしょう。
一方で、研究室では効率化やDXとは異なる視点で、人の余白部分にアプローチするような取り組みも進めていきます。「余白」とは、効率で考えれば必要ないかもしれませんが、人が豊かになる要素であると思います。実際に研究室では、美術館を訪れた時に鑑賞者の興味や関心に合わせて案内を行うナビゲーションシステムや、観光客の感情や満足度を推定して観光スポットを推薦するシステムに関するプロジェクトなどが進行中です。今後も文化的な面で「AI・ IoT」と「人」のコラボレーションを通じて新たな価値を創り出していきたいと考えています。
認められる研究対象が幅広く、
状況に応じて柔軟に対応してくれる助成制度
私は、すでにこのプログラムを利用された先生に勧めていただいたことがきっかけでKDDI財団の助成制度を知りました。「珠算」という少し珍しい研究テーマで申請先が限られる中、KDDI財団はICTの広範な学術分野の研究を助成対象としており、今回のテーマについても採択される可能性があると期待し、申請することにしました。
採択後、実際にプログラムを利用させていただいたところ、他財団と比べて、研究遂行のために必要と判断された場合には、使途の自由度が高く、十分に役立てることができました。また、助成期間についても、当初は２年半で申請していましたが、途中で半年の期間延長を認めていただきました。状況に応じて柔軟に対応いただけたのは、とてもありがたかったです。
