生成AI以前から、コンピュータが生徒の理解度に応じて教える「知的チューターシステム（ITS）」の研究は蓄積されてきました。KulikとFletcherが2016年に学術誌Review of Educational Researchに公表したメタ分析は、その代表的な統合研究です。現在のAIチューターの議論を読む際の基準点として、今も参照されています。

分析の方法と主な結果

分析の対象は、統制された評価研究50件です。結果の中央値として、ITSを使った生徒のテスト成績は通常の授業を受けた生徒より0.66標準偏差高く、百分位でいえば50パーセンタイルから75パーセンタイルへの移動に相当すると報告されました。50件中46件でITSの側が上回ったことも示されています。メタ分析は一つの実験ではなく、多数の研究を集めて傾向を見る方法であり、数値は研究全体の中央値として読む必要があります。

同じ研究が示した、もう一つの数字

この論文で実務上重要なのは、効果の大きさがテストの種類で大きく変わった点です。授業内容に合わせて作られた独自テストでは平均0.73標準偏差だったのに対し、標準化テストでは0.13標準偏差にとどまったと整理されています。つまり「どれだけ伸びたか」は、「何で測ったか」に強く依存します。著者らも、テストと指導内容の一致の度合いが結果を左右する重要な要素だと述べています。ベンダーの提示する効果の数字を読む際にも、どのテストで測ったのかを確認する視点を与えてくれる知見です。

生成AI時代に読む意味

対象となったシステムの多くは、生成AI以前の、ルールやモデルに基づいて応答する仕組みです。そのため、この結果は現在の生成AIチューターの効果を直接示すものではありません。一方で、個別最適化された練習と即時のフィードバックという仕組み自体には、一定の効果の蓄積があることも示しています。新しい技術の主張を、過去の蓄積と並べて読むための材料になります。

注意点

数値を引用する際は、比較条件（何と比べたか）とテストの種類をセットで確認する読み方が求められます。中央値の数字だけを切り取ると、実態よりも大きく見える場合があります。なお、数字や制度の内容は変更される可能性があります。最新の内容は出典の一次情報をご確認ください。

出典：Kulik, J. A.（ミシガン大学）& Fletcher, J. D.（Institute for Defense Analyses）「Effectiveness of Intelligent Tutoring Systems: A Meta-Analytic Review」Review of Educational Research 86(1), 42–78（2016年） https://doi.org/10.3102/0034654315581420

あわせて読みたい