山形大学 日本初 たった5問で最大32段階にレベル分けできるテストアプリを導入

基盤力テストを導入した山形大学

学びの場.com独自開発した『学問基盤力テスト（以下、基盤力テスト）』とは何ですか。

安田本学では、全ての学生に共通して身に付けて欲しい３つの力を『基盤力』と定義し、その育成のために3年一貫の『学士課程基盤教育』を行っています。そのうちの１つ、学問基盤力を測定し、教育効果を検証するためのテストが『基盤力テスト』です（表１、２参照）。テスト結果を基に「1年間で、学生の能力がこれくらい向上した」ということを示すことで、『学士課程基盤教育』の意義を学内外にアピールするねらいもあります。

表１　３つの『基盤力』と測定方法

表２『基盤力テスト』概要 （2018年度時点）

図１ CATのイメージ。学生の解答に応じて次に出題される問題が変化する。

学びの場.comスマートフォンアプリで受験するのですよね。

安田はい、スマートフォンを持っていない学生にはタブレット端末を貸与する、もし端末の充電が少ない場合には充電ケーブルを用意した場所で受験してもらう、など対策を整えています。
出題数は各分野5問ずつで、１つの設問ごとの制限時間は3分間です。出題形式については、PISA（国際学力調査）や各種英語検定試験で用いられている『CAT（Computerized Adaptive Testing／コンピューター適用型テスト）』を採用しています。

学びの場.comこれからはペーパーテストではなくCBT（Computer Based Testing）が主流になってくると言われていますね。どのようなメリットがあるのですか。

安田図１のように、CBTの一種であるCATでは、学生の解答に応じて次に出題される問題を変化させることができます。例えば、1問目に正解した場合は、2問目により難しい問題を、正解できなかった場合は、2問目により易しい問題を表示します。能力値が高い学生は難易度の低い問題を一律で解く手間が省け、解答時間を大幅に短縮できるというメリットがあります。「5問」と聞くと少ないようにも感じますが、CATで5問解答すると、能力値を最大32段階（２の５乗）にレベル分けすることが可能です。
即座に採点も実施され、テスト終了後すぐに能力レベルに応じてダイヤモンド、ゴールド、シルバー、ブロンズの4種類のメッセージが表示されます。S、A、B、Cのような成績評価形式にしない理由は“格付け”というイメージを学生に持たせず、学習の動機づけを意図しているためです。

図２ 基盤力テスト実施スケジュール

学びの場.comどのような問題が出題されるのですか。

安田テストの出題分野は、データの解釈・分析を目的とした数的文章理解をはじめ、数学・物理・化学・生物の5分野からなります。受験科目は学部によって異なり、統計学的な要素が含まれる「数的文章理解」は全学部が受験対象ですが、他の4科目は理系学部のみが対象です。
「１つの知識から解答するのではなく、概念を理解しているから解答できる」内容としています。例えば、物理ならごく日常的な現象に物理概念を適用して解く設問を出題しています。その理由は、本学の基盤教育が“単なる知識の詰めこみではなく、概念を深く理解する”教育を重視しているためです。

学びの場.comテストはどのようなタイミングで実施するのですか。

安田入学時のオリエンテーションや進級時のガイダンスなど学生の多くが参加する機会に合わせて実施しています。そのため受験率は高く、1年生は99％以上、2年生も90％前後です。 2019年度からは3年生も対象となり、9月から学部ごとに順次実施しています（図２参照）。

学びの場.com大学教育の総合的な成果をテストで測るというのは珍しいですよね。

安田海外の教育現場では、教育の成果の評価方針が、授業評価アンケートのような「間接評価」から、知識・能力を測るテストを実施するという「直接評価」にシフトしてきています。
「この授業にどれくらい満足しているか」を5段階から選んで回答するアンケートだと、回答者の主観や性格により回答が変化する可能性があり、結果の信頼性を担保できないという問題点がありました。現在、米国で『CLA＋』『CCTST』などクリティカルシンキング・分析的推論能力・問題解決能力・文章表現力を直接評価するテストも開発されており、世界的に直接評価の導入が進んでいます。そこで本学は、国内他大学に先んじて『基盤力テスト』を開発し、直接評価に基づいた教育の改善を推進しています。
全学生が対象ですから、1学年約1,700名が受験します。大学入学後は通常、専攻・授業ごとのテストだけなので、ここまでの大規模なテストを実施することは世界を見渡しても珍しいです。大人数に受験してもらうことで、分析の統計的確度が上がります。

山形大学学士課程基盤機構　准教授・安田淳一郎氏

学びの場.comテスト問題は、どのように作成を進めたのですか？

安田『学士課程基盤教育機構』に所属する各専門分野の教員5名が、自身の講義内で予備調査を行いながら問題を作成しました。予備調査時には10問ほど、2016年12月に行った本番さながらの試行試験時には30～45問の問題を作成しました。
問題はオリジナルも含まれますが、院試の過去問や「力学概念指標」「生物リテラシー」など、各分野で開発されている妥当性の高いテスト問題も参照しながら作成を進めました。設問は、すべて５つの選択肢から１つ選んで解答する形式です。

学びの場.com選択式ですと、学生がよく理解しないままに正解する可能性もあるのではないでしょうか。

安田そうですね。それを防ぐために、予備調査の段階で２つの方法で問題を精査しています。
1つは、記述式解答の導入と学生へのインタビューの実施です。予備調査時に行ったテストでは「なぜ、その選択肢を選んだのか理由を説明してください」と記述スペースを設け、数名の学生に向けて行ったインタビューでも、各問いについて感じたことをヒアリングすることで、「設問の文言が分かりづらい」など、データでは測れない事柄についてリサーチしました。
そして、もう１つは「項目反応曲線」を用いた分析を行いました。この分析では、受験者をテストの得点ごとに分け、各得点層について各設問の正答率を算出し、グラフで表して分析します。分析結果から、全体の得点が高い受験者が誤答しやすい問題、いわゆる“引っかけ問題”を抽出し、修正したり外したりしました。問題の作成時点では意図していなくても、結果的に“引っかけ問題”になってしまう可能性もあるので、精査することを心がけていますね。

学生にも担当教員にもフィードバックする

学びの場.com今後『基盤力テスト』を通して目指していることを教えてください。

安田問題の難易度・出題アルゴリズムなど、さまざまな面を随時精査して『基盤力テスト』のブラッシュアップを重ねることで、データの信頼性を高め、カリキュラム編成・講義内容・学び方の改善サイクルの確立を目指していきます。2019年度に実施した『基盤力テスト』では、数的文章理解の問題を大幅にリニューアルしましたし、新分野「語彙力」も実施しました。 また、能力値の推定法もより精度を上げていきます。

学びの場.com『基盤力テスト』の分析結果からどのような改善を行っているのですか。

安田現在、出ている分析結果で１つ特徴的な例を挙げると、「化学」分野では、やはり化学を専攻する学科の数値が良好でした。これは、講義や学び方を含めた教育の成果を実証する、意義ある結果と言えます。一方では、「化学を専攻しているにもかかわらず、低い数値が出る」というケースも想定できます。その場合は「学生が意欲的に講義へと参加していない」、つまり「効果的な講義ができていない」と推測ができます。こうした分析結果を担当教員にフィードバックすることで、講義内容の改善を促していく取り組みも段階的にスタートしました。 学生にも同様に、テスト結果・履修履歴・学習時間などの各種データを関連づけて分析を行い、効果的な学び方のフィードバックを実現できるように取り組みを進めていく方針です。こうした『基盤力テスト』を活用した取り組みにより『基盤力』を持った学生の育成を実現することで、本学が“データを活用した教育と学びの質を向上させるサイクルを確立”させる先進的なモデルケースになれればと思っております。