標準偏差というのは，得点分布の「バラつき」のことである。たとえば100人が受験した平均50点のテストがある場合，全員が50点であることはまずないだろう。ある人は40点かもしれないし，ある人は60点かもしれない。こうしたデータのバラつきは，あらゆる統計的推測の基礎となるものであり，以降の説明でも繰り返し出てくることになるので，ここでは標準偏差の定義をしっかりと確認しておこう。
平均点が50点である同じテストでも，その得点の分布は図1のように異なったバラつきを持っている。テスト1 では35～65点の範囲にほぼ全ての得点が含まれるのに対し，テスト2では20～80，テスト3では0～100の範囲までにすべての得点が含まれている。こうした得点のバラつきを数値化するためにはどうすればいいだろうか。
おそらく図1を見た人は，明らかにテスト1よりもテスト2が，テスト2よりもテスト3の方がバラつきが大きくなっていると直感的に判断するのではないだろうか。その判断の基準は，おそらく，平均値を軸とした分布の広がりであるはずだ。この平均からの差こそがバラつきの指標になるのである。
たとえば，平均が50点のテストに対する30点という得点は，平均値から20点のバラつきを持っているし，逆に70点の場合でも，平均値からは20点のバラつきを持っている。こうした個々の得点と平均値との差を「偏差」と呼ぶ。この偏差を使ってあるテストにおける得点分布のバラつきを表現したい。
しかし，ここで受験者の偏差を足し合わせていっただけでは，バラつきの指標にはならない。バラつきという概念に正負は関係ないからだ。30点も70点も平均値から20点バラついているというのは変わらない。しかし，個々の得点から平均を引くにせよ，或いはその逆にせよ，偏差を同じ式で計算すると，正の値と負の値で打消しあってしまう。そして平均の定義上，偏差の総計は必ず0 だ。
そこで，正負の符号を揃えるために，個々の偏差を2乗したものを足し合わせよう。たとえば，100人のテスト得点をそれぞれ
，その平均得点を
とした場合，偏差を2乗したものの総和は，
と表現される。これは偏差平方和と呼ばれる。
しかし，偏差平方和だけではバラつきの指標にはならない。単純に受験者の数を増やすだけでその値が大きくなってしまうからだ。そこで偏差平方和の平均をとったもの
これが，分散と呼ばれるバラつきの指標になる。ただしnは受験者数である*1。しかし，分散は偏差の2乗を使っていたため，その単位も2乗になっている。また値も大きくなっているために，そのままでは直感的にデータのバラつきを把握しにくい。そこで，分散の平方根をとったもの
これが標準偏差(Standard Deviation)と呼ばれるものであり，あるデータセットのバラつきをあらわす指標となる。正規分布の場合，
の範囲に約68%のデータが，
の範囲に約95%のデータが入る。また，
の範囲にはほぼ全てのデータが入ることがわかっている。
たとえば，図1のテスト2は平均50点，標準偏差10点の分布になっている。したがって，40～60点（±1SD）の範囲に全受験者の約68%が，30～70点（±2SD）の範囲に全受験者の95%が含まれ，20～80点（±3SD）の範囲にはほぼ全ての受験者が含まれている。
有意性検定
有意性検定は仮説検定とも呼ばれるように，何らかの統計的仮説の真偽を検証するための手段である。統計的仮説には様々なものがあるが，畢竟，二つのデータ*6間に「差がある」か「差がないか」という仮説に帰着する。前者の仮説を対立仮説，後者の仮説を帰無仮説と呼ぶ。
ここで，単に差が「ある・ない」と表現したが，そもそも二つのデータが全く同じであるということは殆どない。異なる二つのデータには，その大きさはともかく，必ず何らかの「ずれ」が存在するはずである。
そこで，統計的検定では，そのずれを確率的に評価するという方法をとる。つまり，二つのデータ間のずれが偶然の「誤差」の範囲内におさまるのか，そうではないのかを確率的に評価するのである。後者の場合，統計学的にみて「有意差がある」と表現される。
誤差は大きく分ければ標本誤差と非標本誤差に分けることができる。標本誤差とは標本を抽出する際に確率的に発生する誤差であり，母集団の特徴を完全には反映していない標本集団を抽出することによる誤差である。
非標本誤差とは文字通り，標本誤差以外の誤差であり，たとえば，長さを測定するものさしが歪んでいたりすることによる誤差である。このうち，誤差の分布が理論的に予測でき，したがって検定に利用することができるのは標本誤差の方だ。
PISA2000とPISA2003のデータを例に有意性検定を説明してみよう。利用するのはそれぞれの調査における日本の読解力の平均得点である。PISA2000では，日本の読解力は522.2点，PISA2003では498.1点である。この点数は等化した後の点数なので，直接比較することができる。したがって，522.2-498.1=24.1がPISA2000とPISA2003の点数の差ということになる。この差が統計的に有意であるといえるのか，そうではないのかを判断するのが検定という作業である。
しかし，有意性検定では対立仮説を直接検証することはできない。なぜならば，対立仮説は無数に存在するからだ。たとえば，PISA2000とPISA2003の平均得点に「10点の差がある」というのも一つの対立仮説である。仮に検定の結果，その仮説が採択されるとしても，「実は15点の差がある」，「やっぱり20点の差だった」という対立仮説が次から次へと出てくることになる。
また，仮説が棄却されるにしても，「9点の差」ならばあったかもしれないし，それが棄却されたとしても，「8点の差」という仮説ならば採択されるかもしれない。その対立仮説に決定的な意味があるのでない限り，対立仮説を直接の検定対象とすることはできない。逆に言えば，この作業を繰り返していくと「棄却されない（対立）仮説の範囲」というものも表現できることになるが，それは後述しよう。
そこで，有意性検定では，帰無仮説を棄却することができるかどうかによって，統計的仮説の判定を行うことになる。つまり，帰無仮説が正しいと仮定した場合に，観測されたデータが従う理論的な分布を明らかにし，その分布と観測されたデータのずれを確率的に評価することで，帰無仮説を棄却するか，しないかが判断される。
このとき棄却の判断基準として任意に設定された確率を有意水準と呼び，慣例的に0.05が設定されることが多い。言葉だけでは少しわかりにくいので，実際に図で確認してみよう。
図9は，「帰無仮説が正しいと仮定した場合」の検定統計量が正規分布であった場合の確率分布である。検定統計量とは現実に観測されたデータを，検定がしやすいように加工したデータだと思えばいい。
たとえば，二つのテストの得点の差を標準化したものが検定統計量であり，その場合，図のように検定統計量は標準正規分布に従っている。設定した有意水準は0.05なので，両側検定の場合は両裾に0.025の棄却域が存在する。
もし，検定統計量がこの棄却域に入れば，それは，帰無仮説が正しいという仮定の下で，5%以下という非常に稀な確率でその事象が起こったことを意味する*7。このとき，帰無仮説は棄却され，対立仮説が採択される。正規分布の場合，両裾が0.025となるのは
になる。標準正規分布の場合は
，
なので，そのまま±1.96の点となる。
PISA調査の例で言えば，「PISA2000とPISA2003の受験者の平均得点は同じ」というのが帰無仮説であり*8，24.1点という差が検定するべきデータになる。
つまり，PISA2000とPISA2003の受験者集団の平均得点に差はない，という仮定の下で，24.1点という差が確率的にどの程度稀であるのかによって帰無仮説を棄却するか否かを決定するのである。そしてそのためには，「二つの集団の平均点の差」という統計量が従う確率分布が明らかにされなければならない。
標本平均のバラつき
まずは，「テストの平均得点」のような標本平均が従う分布を明らかにしよう。たとえば今，日本人の平均身長が知りたいとしよう。そのために日本人から100人程度，無作為抽出したとする。このときの標本平均は168cmであった。ではこれをもう一度繰り返すとどうなるだろうか。
おそらく，その値は一回目の推定値とは異なっている。たとえば，170cmになっているかもしれない。さらに，もう一度同じ作業を繰り返してみよう。やはり，その値は一回目，二回目の推定値とは異なっているはずである。つまり，標本平均にもバラつきが存在するということである。
この標本平均のバラつきは，「中心極限定理」という統計学の定理を使えば，その理論的な分布を知ることができる。中心極限定理というのは母集団がどのような分布であっても，そこから抽出された標本平均の分布が正規分布するという定理である。つまり，日本人という母集団から100人を抽出して，その身長を平均した168cm，或いは170cmという値は正規分布に従っているのである。
今，中心極限定理により標本平均は正規分布に従っていることがわかっていた。そこで知りたいのは，この正規分布の平均と標準偏差（正確に言えばその不偏推定量）である。このうち，平均は簡単にわかる。たとえば，今，日本人の平均身長を調べるために，100人の標本集団の平均身長をその推定量としていた。この試行を無限に繰り返したときの標本平均の平均が，母平均に一致することは直感的に理解できるだろう。
一方，標準偏差がどうなるかといえば，これは母集団の標準偏差を標本サイズの平方根で割った値になる。つまり，標準偏差が
の母集団から，サイズがnの標本を抽出すると，その標本平均の標準偏差は
になるのである。
また当然ながら，その分散は母集団の分散
を標本サイズで割った値
になる。証明は長くなるので割愛するが，中心極限定理は統計学の基礎をなす定理であるので，その証明は多くの統計学の教科書に記載されている。
これで，標本平均が従う理論的な確率分布がわかった。標本平均の標準偏差は標準誤差（Standard Error）とも呼ばれる。つまり，標本平均と母平均との平均的な誤差のことである。たとえば，日本人の平均身長が170.0cm，その標準偏差が5.0cmだったとしよう。そうすると100人の標本集団の標本平均は，平均が170.0cm，標準偏差が
=0.5となる。もし，日本人からランダムに100人を抽出すれば，その標本平均は平均的には0.5cm程度しかバラつかないということである。
少しわかりにくいかもしれないので，「標準誤差」という言葉の意味を説明しておこう。通常，母集団から抽出した標本を平均したものは母平均の推定値とみなされる。或いは逆に母平均を知りたいからこそ標本抽出は行われている。一つのデータから母平均を推定するよりも，複数のデータを平均した方がより精度の高い母平均の推定になることは経験的によく知られているからだ。
しかし，標本平均もまた標本と同様バラつきを持っている。そのバラつきは単なるバラつきではなく，母平均からの「誤差」である。身長が160cmの人と170cmの人が存在するのは単なる身長のバラつきだが，標本平均160cmと母平均170cmのずれは「推定値と真の値からのずれ」という意味で「誤差」なのである。これが標準偏差と標準誤差の意味の違いである。
Linking Error
今説明したように，異なる年度間のPISAやTIMSSの得点が有意に変化しかどうかは，
の式を使えば判断することができる。しかし，PISA調査の場合は少し式を変えて次のような式が使われる。
\begin{equation}
-{1.96}\leqq \cfrac{（\bar{X}_{2000}-\bar{X}_{2003}）}{\sqrt{SE_{2000}^2+SE_{2003}^2+Linking Error^2}} \leqq 1.96 \tag{36}
\end{equation}
見てわかるように，PISA調査における有意差の検定ではLinking Errorというものが分母の√の中に登場している。そのため，PISAでは通常の検定と比較して検定統計量が小さくなり，その分，帰無仮説を棄却する基準は厳しいものとなっている。
このLinking Errorとは一体何なのだろうか。まずは，表6.1を確認してほしい。
これはPISA2000とPISA2003の読解力問題における共通項目28問ついての表である。表には，PISA2000のデータのみから計算した項目の困難度と，PISA2003のデータのみから計算した項目の困難度，およびその差を載せてある。また，それぞれの項目困難度は28問の平均困難度が0になるように調整されている。
5章で（或いは先ほども）述べたように，ラッシュモデルの場合，同じ問題に対する二つの項目困難度は単に定数を加え合わせたものであった。したがって，二つの項目困難度を同じ尺度にのせるには，項目困難度をそれぞれの平均値を引いてやればいい。結果として，両者の項目困難度の平均は0になる。したがって，二つの項目困難度は等化されている。
しかし，両者の値は一致していない。これには二つの原因がありうる。一つは，上記の項目困難度は推定値であり，したがって「真の項目困難度」それ自体ではないということだ。既に見たように，推定の結果得られた母数の推定値は，テストの結果を最も有り得るように推定された値だ。推定値の結果が真の値と正確に一致することはほとんどない。そのため，テスト項目の情報を項目プールに追加するときなどは，二つの項目困難度の平均値が利用されたりする（豊田 2002）。また，この場合，受験者の数を増やしてやれば推定値は安定する。
しかし，ここで問題とするのは，もう一つの原因である。それは，IRTのモデルと現実のデータが適合していないことに起因している。項目反応理論は5章でも述べたように，項目困難度の不変性を前提している。困難度の不変性は，次の性質を満たすための十分条件となっている。
\begin{equation*}
\theta_{1} < \theta_{2} のとき，
P_{j}（\theta_{1}） < P_{j}（\theta_{2}）
\end{equation*}
この性質は，異なる二つの能力を持つ受験者が同じ問題を解いたとき，それがどのような問題（逆転項目以外）であっても，能力が高いほうが，正答確率も高くなるということを意味している。この性質が学力調査において前提されることは自明であると言っていいだろう。困難度が不変であれば，この性質は常に満たされる。
しかし，現実のテスト場面ではこの性質が必ずしも成り立つわけではない。たとえば，テストには「位置効果」というものが知られている。これは，テストの最初の方に出された問題よりも，最後の方に出てくる問題の方が正答率が低くなってしまうという現象である。この場合，仮に同一の問題について，同一の能力を持つ受験者がそれを解いたとしても，問題がテストで出題される位置によってその困難度は変化してしまう。
これと同じようなことが，カリキュラムの変更によっても起こりうる。たとえば，カリキュラムの順番が変更されていれば，全体的な学力が同じ受験者であっても，より最近に学習した内容についての問題の方が正答率は高くなるだろう。あるいは，カリキュラムの範囲の変更によっても同様である。全体的な学力が同じ受験者であっても，カリキュラムの範囲，あるいはカリキュラムの重点によって，項目に対する反応には違いがでる。
項目困難度が変化するということは，等化係数が変化するということだ。等化係数が変化すれば最終的に推定される成績も変化する。たとえば単純な例を考えてみよう。図11を見てほしい。今5問で構成されたテストAを集団aが受験したとする。集団の潜在特性は全て等しく
，また5問の困難度も全て等しく
だったとしよう。したがって集団aは全ての項目に対して平均正答率が50%となる。
しかし，現実には様々な要因によって正答率が変化することがある。たとえば，疲労によって正答確率が1問ごとに1%ずつ下がると仮定しよう。このとき項目1の正答確率は50%であり，項目5の46%まで1%ずつ下がることになる。
次に，集団aと全く同質の集団bにテストBを受験させる。テストBもテストAと同じく5問で構成されているが，二つのテストを等化するために，テストBの3問目には共通項目として項目1から項目5までのいずれかを出題することにする。また1問ごとに正答率が低下するのも集団aと同様だとしよう。
このとき項目1が共通項目として選ばれると，集団aの正答率が50%に対し集団bでは48%となってしまう。その分，集団aの能力は高く推定されることになる。一方で項目5が選ばれた場合，集団aの正答率が46%であるのに対し集団bでは48%となる。その分，集団aの能力は低く推定されることになる。
つまり「共通項目の選び方」によって推定結果が違うものになってしまうということだ。すなわちLinking Errorとは共通項目のサンプリング誤差なのである。そのため，いくら受験者の数を増やしたところで共通項目の数を増やさない限り，Linking Errorは小さくならない（Michaelides and Haertel 2004）。
また，受験者のサンプリングの際にその代表性に注意しなければならないのと同様に，共通項目のサンプリングもまた測定したい領域をできるだけ広くカバーするように出題されなければならない（Sheehan and Mislevy 1988）。
