考査問題の妥当性を考える時の視点(その2)

前稿で申し上げた通り、先生方の頭の中にある教科観・学習観は、授業のあり方と考査の作り(内容・配点・採点方法)の双方に表れます。

考査問題の現物を眼前に広げ、データも使って客観視した上で、個々の問題が何を測定しているのか改めて考え、測るべき学力を正しく点数に反映できる考査に近づけて行くことは、教科観・学力観の更新、ひいては授業の改善にも直結する、最も効率的な活動のひとつです。

生きて働く知識・技能、思考・判断・表現力を測定する定期考査というモノサシに、もし歪みが生じていたら、生徒一人ひとりの学力形成上の課題は正しく特定できず、今後の指導を計画するにも判断を誤るリスクを抱えるとお考え下さい。

2015/03/05 公開の記事をアップデートしました。
旧タイトル:考査問題の妥当性評価(その2)

❏ 出口で求められる学力を考査が正しく測定しているか

学力の三要素のうち、テストでカバーできるのは、言うまでもなく「知識・技能」と「思考・判断・表現」に限られます。

主体性・協働性・多様性の測定は、ルーブリックなどを用いた行動評価が必要ですし、学習を通じた生徒の意識の変化や自己認識については、アンケートなどの手法を用いて把握することになります。

 ■ 学習評価は多様なツールを組み合わせて多面的・総合的に

テストで試す「知識・技能」についても、活用を想定しない「丸暗記」 で済むような形で有無を試しているばかりでは、それらが「生きて働いているか」は確かめられません。

高大接続改革以降の大学入試で求められるのとは異なるタイプの学力を測定してしまっていることになります。生徒はテストに合わせて勉強しますので、誤った方向に学習者を導いている可能性もあります。

モノサシは、測りたいところにきちんと当てなければなりませんし、モノサシそのものが精度を保っているか確かめる必要がありますよね。


❏ まずは、考査と模試の相関をとって確かめてみる

求められる学力を正しく測っているかどうかを確認するには、様々なやり方がありますが、最も簡便な方法のひとつは、考査得点と模擬試験やや外部検定などの結果との相関をとってみることです。

本来は、センター試験の結果や出願先大学での得点開示の結果と照らすべきでしょうが、これらのデータは最終出口でしか得られず、定期考査とは実施時期に大きなずれがあります。

その間の生徒の頑張りや先生方の指導の成果が相関に影響を与えてしまうので、得点相関はできるだけ実施時期の近いテストの間で取りたいもの。となると、如上の「ターゲットとすべきテスト」に似せて作られている模擬試験で代替するのが現実的ということです。

画像
上の散布図は、横軸に校内実テの得点、縦軸にセンターの自己採点結果を配置して作ったものです(ちなみに作成の目的は、校内実テの性能評価と、実テ以降の成績伸長者/停滞者の抽出です)が、これと同じように横軸を定期考査の点数、縦軸を模試などの成績にした散布図を作成すれば、ここでの目的に沿ったグラフが得られます。

Microsoft Excelのスプレッドシートに、表の1列目に前者のデータ、2列目に後者のデータを配置しておけば、あとは「散布図」を選んでグラフを挿入するだけでOK。右クリックで近似線も描けますし、必要ならば決定係数も表示できます。相関係数が欲しければcorrel関数ですね。

なお、総合点ではそれなりの相関が出ていても、大問ごとに相関係数を算出してみると、高相関の問題と低相関の問題とが混在しているものです。怪しいと気になった問題が見つかったときは、少々手間が掛かりますが、ちょっと確かめてみるようにしましょう。


❏ データを使って、出題改善の効率化を図る

考査と模試の相関をとる作業自体はそれほどヘビーなものではありませんし、解析に用いるデータはもともとしっかりと収集し整えておくべきものですので、追加すべき工数は最小限で済むはずです。

ルーチン化して作業に習熟すれば、それこそ増える作業時間は1回の定期考査あたり、ものの10分、15分といったところだと思います。

出てきたデータ/グラフを見て、「おや、これは何かおかしいぞ」となったときに、出題内容や採点方式を再点検してみたり、改善のための協議を行ったりするようにすれば、点検と協議も的を絞って効率的に進められるのではないでしょうか。

定期考査の点数の出方をちゃんと点検しておかないと、考査の妥当性を維持・向上させるきっかけを失います。結果的に生徒の学力を伸ばしきれなくなるかもしれませんし、学力形成上の問題点の検知が遅れれば、その分、後でのケアにより大きな時間を要することになります。

相関をとることで、改善を図るべき問題の所在に当たりがつきます。データをいじるだけで出題の改善が図れるわけではありませんが、改めるべき箇所を特定できれば、後の作業の軽量化が期待できます。


❏ 相関を下げる「主眼のズレ」と「ノイズの介在」

上のグラフで使ったデータの相関係数は0.7を超えており、かなり正確に出口学力を予想できるテストであったと言えます。一般的にはもっと低いことが多く、ときには無相関の検定ではじかれるケースもあります。

前述のように、測っているもの自体がズレていることが低相関の原因となっているケースもあれば、作問作業の工程の不備が余計なノイズを取り込んでしまい、相関を下げていることもあります。

前者を防ぐには、「出題研究を通して"問い方"を学ぶ」ことが欠かせませんが、後者については作問作業そのものの見直しが必要です。

下図は、考査問題などを作成するときの手順を模式的に表示したものです。普通は、青い点線を辿っているのではないでしょうか。

画像
青線に添って直線的に作業工程を進めるだけでは、ノイズとなる要素が介在していることにも気づきにくくなります。

オレンジ色の線に沿って幾度も前工程に立ち戻りながら進めていく方法は、一見すると面倒にお感じになるかもしれませんが、考査の妥当性を高める(=生徒がその時点で持っている学力を、正確に得点に換算できる問題を作る)ためには欠かせないものです。

採点基準を起こしながら模範解答を書き改めたり、配点を調整したりします。模範解答をポンっと提示するよりも、採点基準ありきで、それを満たし得る解答例を示した方が学習者にとってはるかに有益です。

自己答案を評価し、朱入れするにも、模範解答との異同だけに着目するより、基準との適合を確かめた方が、答案への深い向き合いができるはずです。

また、解説を起草しようとする中で、どうしても誤答を排除できないことがわかれば、設問や選択肢の修正も機を失わずに行えます。

次稿「設問ごとに出題の妥当性を確かめる」に続く。


このシリーズのインデックスに戻る。

教育実践研究オフィスF 代表 鍋島史一

この記事へのトラックバック

  • 考査問題の妥当性評価

    Excerpt: 考査問題で何を測るかは、授業で何を教えるかと「ほぼ同義」です。教える側には、意識しているか否かに拘らず、「学力観」「教科観」というものが頭の中にあり、それが一方でテスト問題に、同時に他方で授業実践にも.. Weblog: 現場で頑張る先生方を応援します! racked: 2015-03-05 06:55
  • 考査問題の改善が授業も変える#INDEX

    Excerpt: 教える側の頭の中には、学力観というものがあります。普段は意識することがなかったとしても、授業の進め方、テスト問題の作り方には、それがはっきりと現れます。見方を変えれば、 学力観が背景要因となって、「.. Weblog: 現場で頑張る先生方を応援します! racked: 2015-11-19 07:15
  • 考査問題における得点集計(集計の取り方と活用法)

    Excerpt: 模擬試験もそうですが、定期考査の役割はその時点までの学習の成果を測り、ゴールに近づくための課題形成を図ることにあります。何が足りていないのか、正しく検知できる問題が必要ですが、せっかく検知した課題も「.. Weblog: 現場で頑張る先生方を応援します! racked: 2016-11-15 05:33
  • 考査問題の妥当性を評価し、最適化を図る

    Excerpt: 「授業で何を教えるか」 と「考査で何を測るか」 はともに、担当する先生たがの頭の中にある学力観を反映したものだけに、両者はほぼ同じものです。片方の最適化を図れば、もう一方もおのずと改善されます。 Weblog: 現場で頑張る先生方を応援します! racked: 2016-11-17 07:18
  • 考査問題で何をどう測るか

    Excerpt: 1 考査問題の改善が授業も変える1.0 考査問題の改善が授業も変える(序) 1.1 考査問題の改善が授業も変える(前編) 1.2 考査問題の改善が授業も変える(後編) 2 考査問題の妥当性評価2.. Weblog: 現場で頑張る先生方を応援します! racked: 2017-01-05 06:08