中央値を!もっと中央値を!

少しばかり前のニュースになるんですが、久しぶりの「やさしい統計学」のための良い題材になると思うので、少しばかり記事を引用したいと思います。

区の学力テスト 保護者に無断で障害児の成績除外(読売新聞)
 東京都足立区教育委員会が昨年4月に実施した独自の学力テストで、区立小学校の1校が、障害のある児童3人の成績を、保護者の了解を得ないまま集計から除外していたことが7日わかった。
(中略)
 同区教委によると、区独自の学力テストは、全区立小中学校を対象に2005年度から本格的に実施。昨年は4月25日に区内の小学校で一斉に行われた。問題があった小学校でも、1年生を除く全児童が国語と算数のテストを受けたが、情緒障害などがあり、特別支援教育学級に通っていた6年生3人の答案については、保護者の了解を得ず、採点しなかった。
(中略)
 同小の平均点は05年度は全72校中44位だったが、06年度は1位になっていた。同区では学力テストの成績などに応じた学校予算の配分を行っている。
 同小の校長は区教委の調査に対し、「学習内容が身についていない児童もいて、3人の成績を除外した方がいいと思った」などと説明している。
(後略)
(2007年7月8日 読売新聞)
http://www.yomiuri.co.jp/kyoiku/news/20070708ur01.htm

区全体で学力テストをした方がいいのか、しない方がいいのか。さらに全国で学力テストをした方がいいのか、しない方がいいのか。いや、それよりも学校への予算配分を学力テストの結果で決めていいのか、いけないのか・・・この記事を読まれた皆さんには様々なご意見があるかと思います。矢野もこういった社会的問題に関して意見がないわけではありませんが、今回は社会的側面は忘れて、「この記事を統計学者が読んだらどう考えるか」という点だけに的を絞ってみましょう。

で、統計学者がこの記事を読んだらどうも思うかというと

平均値を使わなきゃいいじゃん!

と思います。

「え?そんな無茶な話、聞いたことないよ!(怒」ですって?じゃあ、今日はみんなで中央値の勉強をしましょう。

[平均値とその性質]
まず最初に平均値(平均点)のことを復習しましょう。

ここで10人の生徒に対して100点満点のテストを実施してその結果が
データ例1: 70点、66点、71点、74点、65点、67点、73点、72点、68点、69点
だったとします。

計算すると(70+66+71+74+65+67+73+72+68+69)/10=69.5

つまり平均値(平均点)は69.5点になります。

ところが、一人だけ0点の人がいるとどうでしょうか?たとえば先ほどの69点の人
が0点になった場合を考えます。つまり、以下のようになります。
データ例2: 70点、66点、71点、74点、65点、67点、73点、72点、68点、0点

この場合、平均値は(70+66+71+74+65+67+73+72+68+0)/10=62.6点になります。

先ほどまでは平均値が69.5点だったのが、いきなり62.6点に低下しています。さらに0点が二人いる場合、平均値の下落は悲劇的でたとえば、68点の人も0点だとすると
データ例3: 70点、66点、71点、74点、65点、67点、73点、72点、0点、0点

この場合、平均値は(65+66+67+68+69+70+71+72+0+0)/10=55.8点になります。

二人0点がいるだけで平均点が69.5点から55.8点に下がってしまいます。要は二人の0点の人たちを除けば、ほとんどの人が70点前後の点数を取っているのに0点の人たちが足を引っ張って平均点が急激に低下している訳です。

[解決方法その1: 外れ値を除く]
さて、そのような問題があるときにはどうすべきでしょうか?統計学で行われる方法の一つは実は足立区の校長先生がやった方法そのままで、「点数が極端に悪い生徒は除いてしまう」というものです。つまり他の大部分の人のデータから考えて、それらから大きく離れていて「これは異常だ」と思えるデータを除いてしまうのです。これを外れ値検出(もしくは異常値検出、英語でoutlier detection)といいます。

データ例3で考えると0点の二人分を「外れ値」だと考えて、除いてしまう訳です。

しかし、この方法には常に付きまとう大きな問題があります。「何が異常か」を決める客観的な方法があまりないのです。

例えばある生徒が本来は70点は取れる学力があったにも関わらず、その日たまたま体調が悪くて0点になってしまった場合は、「外れ値」だと思ってもいいかもしれません。しかし、先生の教え方が悪くて、勉強がまったく理解できなくて0点の生徒はどうでしょうか?その生徒の成績を除外すべきでしょうか?少し怪しいですね。

誰を除いて、誰を除かないか?恣意性があると思いませんか?

一般に統計学者はこのような恣意性のある解決方法を好みません。そこで、もう一つの方法は「中央値を使う」というものです。

[解決方法その2: 中央値を使う]
中央値とは「データを小さい方から大きい方へ*1順番に並べた時の真ん中の値」のことを言います(ここで一つだけ注意点があって、データ数が奇数の場合には真ん中の値があるので、それをそのまま使いますが、偶数の場合には真ん中の二つの値の平均値を取ります)。

さっそくデータ例1から3を並べ替えてみましょう。

並べ替えたデータ例1:65点、66点、67点、68点、69点、70点、71点、72点、73点、74点*2

この場合、中央値は69.5点です。

並べ替えたデータ例2: 0点、65点、66点、67点、68点、70点、71点、72点、73点、74点

この場合、中央値は69点です。

並べ替えたデータ例3: 0点、0点、65点、66点、67点、70点、71点、72点、73点、74点

この場合、中央値は68.5点です。

この(並べ替えた)データ例を見ると、0点の人が増えてもあまり中央値は変わらないことが分かります。少なくとも平均値の時のように大きく変化することはないですね。

実は平均値はこの外れ値がごく少数でもあると大きく変わってしまう場合があることが古くから知られています。こういう性質を統計学では「平均値は外れ値に対して頑強(robust)ではない」といいます。

それに対して外れ値があっても中央値はあまり変化しないということも古くから知られています。これを「中央値は外れ値に対して頑強(robust)である」といいます。外れ値があってもあまり変わらないという性質は「外れ値がある」と分かっている(もしくはそう推測できる)場合には非常に有効だと言えるでしょう。

さらに「解決方法その1」で示したような「外れ値を除く」というような作業は、中央値を使う場合には必要ありませんので、「解決方法その2」は「その1」よりも恣意性が低いと言う意味ではより望ましいと言えるでしょう。

[ポール・レチェット的提案]
で、こういった問題(足立区の小学校で起こったような問題)に「統計学的に」対処するとしたらどうすべきか*3

対策は非常に簡単で「学校ごとの学力を比較する時にはテストの点数の中央値を使用する」だと思います。

とはいえ、いきなり中央値「だけ」に移行するのは極端に感じる人もいるのではないでしょうか?その場合には「テストの点数の平均値と中央値を併記する」と良いでしょう。

[本日の結論] 中央値を!もっと中央値を!*4

*1:もしくは大きい方から小さいほうに並べた場合も同じ

*2:実はデータ例1というのは65から74までの整数を「なるべくバラバラに見えるように」並べ替えただけのものでした。

*3:再度、念のために書いておきますが、このエントリーでは社会的側面を一切無視して書いています。

*4:ゲーテとかいう人が、死の間際に「光を!もっと光を!」と言ったとか。