基礎実験（2）　質問・討論・告知掲示板

　えっと...めっちゃ長くなります（笑）結論は先に示しておきましたけど，きちんと全部読んでくださいね。


【結論】
　苦肉の策だけど，1群と2群，及び，1群と3群の平均値差を「有意傾向」とみなして，「有意差」があった箇所とは区別して，控えめに考察を行うといった方法が考えられます。


【何故，検定結果に“食い違い”が生じるのか】

　「主効果が有意になったのにもかかわらず，多重比較ではいずれの条件間でも有意差が認められなかった」という結論になりますが，多重比較において，第2種のエラーが生じている可能性が高いのではないかと考えられます。

　統計の復習になりますが，検定には2種類のエラーがありました（以下の【復習】参照）。
　今回，主効果を検討する際には，1群と2群と3群の全員分のデータを使用して分析をしていたのに対し，多重比較においてはいずれか2群間の比較をするわけです。
　多重比較で群間比較を行う際の，サンプルサイズが比較的小さいため，「主効果が有意になったのにもかかわらず，多重比較ではいずれの条件間でも有意差が認められなかった」という結論になってしまった（多重比較において,第2種のエラーが生じてしまった）のではないかと考えられるわけです。


【復習：検定における2種類のエラー】

★　第1種のエラー
　母平均には差がないのに（“真実としては”差がないのに），標本平均では有意差が得られてしまったため，母平均には差があると判断してしまう誤り

★　第2種のエラー
　母平均には差があるのに（“真実としては”差があるのに），標本平均では有意差が得られなかったため，母平均には差がないと判断してしまう誤り

★　第2種のエラーが生じやすくなる条件
（a）サンプルサイズが小さい
（b）母分散（母標準偏差）が大きい
（c）比較する真の母数（例えば，母平均）の差が小さい

　
【ANOVA4における多重比較の出力結果の見方】


《 要因 A の主効果における多重比較 》 ( Ryan's method )

<< means on Factor A >>

1 2 3
mean : 2.788 5.515 5.364
n : 11 11 11

--------------------------------------------------------------
pair r nominal level t p sig.
--------------------------------------------------------------
2 - 1 3 0.0166667 2.318 0.0274701 n.s.
2 - 3 2 0.0333333 0.129 0.8984051 n.s.
3 - 1 2 0.0333333 2.189 0.0365179 n.s.
--------------------------------------------------------------
MSe=7.615488, df=30, significance level=0.050000

★　“significance level=0.05”である場合，“p”に示された数値が，“nominal level”に示された数値以下であれば，その差は「p<.05」となり「有意」とみなされます（正確なp値は計算しない限り不明です）。

★　“significance level=0.05”である場合，“p”に示された数値が，“nominal level”に示された数値の2倍以下であれば，その差は「p<.10」となり（有意傾向という考え方を許容するならば）「有意傾向」とみなされます（正確なp値は計算しない限り不明です）。

★　結果の記述の仕方は以下の通りですが，「有意傾向」とは何かは，以降で詳しく説明をします。
--------------------
　Ryan法による多重比較を行ったところ，1群における平均逸脱回数の方が，2群と3群の平均逸脱回数よりも，有意に少ない傾向があった（いずれも，p<.10）。2群と3群の間における平均逸脱回数においては，有意差及び有意傾向は認められなかった（p>.10）。
--------------------


【有意傾向という考え方】
（※大久保・岡田（2012）の一部を引用して＆参考にして回答しています）

　検定は，有意水準（例えば，α=.05）に基づき，p<.049であれば有意であり，p<.051であれば有意でない（全く無意味）といった，極端な二分法によって客観的な判断を行うのが本質です。
　しかしながら，p<.049とp<.051との間に，本質的な差があるかというと...実際には無さそうですよね。
　...という考え方に基づき，習慣的にp<.10の場合を「有意傾向」と表現し，検討対象の平均値の差などに対して考察を行う考え方が（許容される場合が）あります。


【有意傾向といった考え方を取り入れた場合の注意点】

★　注意点1
　p<.05で「有意」と認められた箇所と，p<.10で「有意傾向」とみなされた箇所とは区別して考察を行いましょう。
　前者は，今回のデータに基づいた検定によって明確に差が示された箇所です。一方，後者は，今回のデータに基づいた検定によって明確に差が示されたわけではなく，差が示唆されただけです。そのため，有意傾向に基づいて考察をする場合には，有意差が示された箇所と区別して，より控えめな表現で考察をすべきだということです。

★　注意点2
　その研究内において，有意傾向という考え方を認めるのであれば，p<.10となった箇所全てについて，有意傾向として（差が示唆されたこととして）扱うべきです。
　一方，その研究内において，有意傾向という考え方を認めないのであれば，p<.10となった箇所全てについて，有意差が無かったとして（差が示されなかったこととして）扱うべきです。そもそも有意傾向という考え方を認めていないので，有意傾向の有無を報告する必要性もありません。
　つまり，同じ研究内で，「●●についてはp<.10だから有意傾向として扱うけど，■■についてはp<.10だけど有意傾向とはみなさない」などと恣意的に判断するのは，完全に許容範囲外だということです。

★　注意点3
　元々の統計的仮説検定の考え方には，p<.10を「有意傾向」とみなすといったルールは存在しません。そのため，極力「有意傾向」という考え方を適用することは避けた方が良いのではないかと個人的には思っています。
　「主効果が有意になったのにもかかわらず，多重比較ではいずれの条件間でも有意差が認められなかった（ので，多重比較の結果については，第2種のエラーが生じていると推察できる）」といった，今回のような結果を解釈する際の苦肉の策，ぐらいに思っていた方が無難なのではないかと思います。


【引用・参考文献】

大久保街亜・岡田謙介（2012）伝えるための心理統計　勁草書房
　

ご返信ありがとうございます。
いろいろ検討して考察してみます。

★ageます