【学生必見！】人工知能で学力テストの時間を短縮　安田淳一郎准教授にお話を伺いました

人工知能で学力テストの時間を短縮

安田淳一郎　准教授

 

皆さんこんにちは、YUM!の小林です。今回は皆さんもなじみ深い山形大学の「学問基盤力テスト」を開発された安田淳一郎准教授の大変興味深い研究を取材してきました！

 

普段私は対話形式で記事を進めるのですが、読みやすさを考慮し今回はレイアウトを少し変更しようと思います。また、記事の最後に読者の皆様にも是非考えていただきたい先生からの問いを載せておりますので、最後まで記事を読んでいただければ幸いです！

 

今回の記事を書こうと思ったきっかけは山形大学公式ホームページの「注目の研究」に掲載されていた『人工知能で学力テストの時間を短縮』の概要を読み、学生にとって、そして大学入試を控える高校生の皆様にとって非常に有益な情報であると感じたからです。

 

1.安田准教授の専門とこの研究をしようと思ったきっかけ

先生は物理学、そして物理概念やそれ以外の物理理科関係なくテストを効率化するための研究をなさっていますが、きっかけは効率化の先にある「教育の質の向上化」という目標があったとのことです。

 

2.研究の概要

こちらの図を見るとなんとなくこの研究が何をしようとしているか少し理解できるかもしれませんが、取材をもとにより詳しく説明していきます。

 

視力検査をするとき、すでに見えないと申し立てたサイズの対象よりも小さい対象を見せてくる視力検査なんて、時間の無駄だと思いませんか？安田准教授の研究は同様に、前の問題で解けなかった問題よりも難解もしくは同難易度の問題を受験者に問うという、この無駄をコンピュータ化された適応型テスト（CAT）の利用を提案し問題数を最小限に抑えることで解消しようとしているのです。これにより学生のテストに費やすエネルギー負担も減りますし、教員にとっても授業にもっと時間を費やせるというメリットがあります。

 

この回答によって次の問題の難易度をCAT利用により決定するという技術ですが、ひとつ疑問が湧きませんか？

というのは、問題が「難しい」か「簡単」かを判断するのは個人差があって、まずは生徒にとってどの問題が平均的に難しいか簡単かを見る必要がありますよね。そこで、この研究には山形大学の学生にも調査対象として参加してもらったそうです。FCI(物理学の教育研究において学生が力学の概念を理解しているかどうかを図るために開発されたテスト)のCAT版を利用する前に、どの問題が難しくてどの問題が簡単なのかはまず学生に解いてもらい回答データを収集してもらわないとわからない。そこで学生に研究に参加してもらい、どの問題が難しくてどの問題が簡単なのかというデータを取りCATのシステム中に組み込むことでFCIのCAT版の作成にあたったということです。

 

さて、コンピュータ化された適応型テスト（CAT）を少し理解できたでしょうか。

それでは次に、この「効率化」されたテストがその結果にどう影響するのか？というのを主に安田准教授は研究なさっていたので、その影響に関して見ていきましょう。

 

3.受験者の回答に合わせて問題数を少なくすることで学力テストの結果に出る影響をどう解消したか？

安田准教授はコンピュータ化された適応型テスト（CAT）のテスト結果と効率化されていないオリジナルのＦＣＩテスト結果にどれだけ誤差があるかを調べるために、いくつか数値的シミュレーションを行いました。そのなかで、測定一般で使われる誤差の大きさを測るための統計的指標であるRMSEを用いた測定結果を見てみましょう。なお、RMSEはその値が小さいほど誤差が小さいという意味を表します。

※↑左から右に読むグラフです

これは、オリジナルのFCIテスト問題数を出題した時とテストの問題数をだんだんと少なくしていった際の結果を表すグラフですが、例えばクラスサイズ４０を見てみましょう。３０問あった問題と１５問に減らすと、RMSEの値が30問の時0.100だったのが0.109に数値が増えています。問題数を減らすと少なからずテスト結果の誤差が増えるということを表します。

 

4.さて、以上のグラフで説明したようにFCIのCATバージョンテストは問題量を15〜19項目に減らすことができ、研究論文によればFCIのテスト時間を50％〜63％短縮することが可能でしたが、それに伴うがわずかに5％〜10％減少するということも判明しましたね。しかし、この誤差は社会的に許容範囲なのでしょうか？

安田准教授の懸念は、この誤差が社会から許容範囲として認めてもらえるかどうかだそうで、現状では研究者同士での話し合いが行われているそうです。しかし！本稿で扱っているこの研究は実は2021年段階で完成しており、今はこの誤差を0％にすることが可能であるという研究論文も出ているそうなのです！！このよりアルゴリズムを複雑にしなければならないため一般向けの解説記事にはしていないそうなのですが、近い未来より効率化され、さらに従来のテストと精度が全く変わらないテストが誕生するかもしれません。

 

5.今先生が研究なさっていること

今現在先生が研究なさっていることは、学校の中間・期末テストなどの効率化を図る研究をしているようで、期末テストや中間テストの代わりにCATを取り入れた毎回の小テストに移行可能かという研究をなさっているそうです。コンピュータシミュレーションによれば、期末テストで実施する30問のテストを、各授業で実施する5問の小テストに置き換えることができるかもしれないとのことです。最終的には中間テストや期末テストがなくなるかもしれない、と安田先生は予想しております。

 

6.今後の研究の展望や希望

「人類の科学技術が発展するなかで様々なものに対する時間短縮の技術開発はされてきたにもかかわらず、一方で学校におけるテストの時間は何年間もわたって短縮されてこなかった。」しかし、情報技術(IT)の発展によってようやくテスト時間の短縮化が可能になろうとしています。記事全体で見てきたように、技術的には時間短縮のシステムは出来上がっている。しかし、問題はその技術を日本社会がどうとらえるかが課題となる。アメリカではSATと呼ばれる共通テストがあるが、そのインターナショナル版は２０１３年からすでにCAT化されており、国内版も２０１４年にはCAT化されているそう。[i]一方、日本ではそう言った動きはまだないようで、去年か一昨年にセンター試験のＣＡＴ化が検討[ii]されたが、次期早々ということで先延ばしになってしまったそう。しかし、安田先生は「数十年後にはおそらくCAT化されたものに切り替わっているだろう。」と予測している。

 

こういったテストの時間短縮の動きをもっとアピールしたいと安田先生は考えてはいるものの、「まずは地に足をつけ、皆に認めていただける研究成果をきちんと出してから、アピールを始めたいと思っています。」と意気込む。

 

7.安田先生からの問い

　読者の皆様は、中間テストや期末テストのような学期末などにおこなわれる集中的なテスト形式のほうがいいか、授業で5毎回～10問ほどの小テストが行われる代わりに中間・期末テストがなくなるのとでは、どちらが良いと感じますか？

 

この機会にぜひ、皆さんで考えてみましょう。

[i] ソースはこちらです。

https://www.washingtonpost.com/education/2022/01/25/sat-exam-digital-shorter-admissions-test/

[ii] ソースはこちらです。https://www.dnc.ac.jp/albums/abm.php?d=140&f=abm00001556.pdf&n=%E5%A4%A7%E8%A6%8F%E6%A8%A1%E5%85%A5%E5%AD%A6%E8%80%85%E9%81%B8%E6%8A%9C%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8BCBT%E6%B4%BB%E7%94%A8%E3%81%AE%E5%8F%AF%E8%83%BD%E6%80%A7%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6%EF%BC%88%E5%A0%B1%E5%91%8A%EF%BC%89%EF%BC%88%E5%85%A8%E4%BD%93%E7%89%88%EF%BC%89.pdf