Blattmanの金言 & CSAE Conference

Blattmanのこのポストは非常にナイス。
http://chrisblattman.com/2011/03/24/behavioral-economics-and-randomized-trials-trumpeted-attacked-and-parried/

特にこの部分：

• We need to stop finding a robust empirical result, writing a model that is consistent, then putting the model at the beginning of the paper and calling the empirical work a test.

• The greatest advantage economics holds is theory, and it ought to be wielded more productively in experimental design (especially the hundreds of atheoretical searches for significance that characterize most program evaluations in the big development agencies).

人のこと言えないが、
最初に推計やって、
それからその結果にあうようなモデルを作って、
そのくせ論文では、対象とする状況のモデルを作り、そのImplicationをテストをした、
って書いている論文、多いんだよなあ。
それって、後だしじゃんけんと同じで、
モデルのテストになっていない。
例えば評価すべき変数を50個くらい準備しておいたら、
有意水準5%の検定なら、本当は何の関係がなくても、そのうち2〜3個は有意な結果が出るわけで、
その有意な結果に沿うようなモデルを書いて、
あたかも最初にモデルがあって、
そのモデルのImplicationを実証結果がサポートした、
と主張するのは、
いかさまに近いということがもっと認識されるべき。
ちょうど占い師が
100個くらいの災害予言とかのリストを作っておいて
災害が起きた後で
リストに載ってるその災害だけ見せて、
ほら私の言っていたことは当たっていたでしょう、
というのと同じレベル。

それとOxfordのCSAE Conferenceのセッションの一部がここで見れる：
http://www.csae.ox.ac.uk/conferences/2011-EdiA/video.html

"Randomized Trials or Structural Models?"というセッションのG.Harrisonのトークが小気味がいい。
「行動経済学者のパラメータ推計は信じるな。エコノメ知らないずさんな推計で震えが来る」
「若い研究者の卵がRCTに特化するのは機会コストが大きすぎる。時間はかかるし、扱える範囲は狭いし、使用するスキルも限られてる（のでスキルを磨けない）」
「それでもRCTやるならPreferenceパラメータとかもきちっと取ってメカニズムが明らかにできるようにしろ」