Rejoinder: response to sobel

causality in statistics is recursive and rules out simultaneous causality.

My Section 2.5 is standard econometrics but new statistics that reveals

the power of the econometric approach over ‘‘frontier’’ methods in

statistics like directed acyclic graphs (see Pearl 2000) that are recur-

sive. Given long-standing interest in social interactions by sociologists

(see also Durlauf and Young 2001) it is unfortunate that Sobel

dismisses out of hand this contribution of my essay that allows

sociologists to define and identify models of social interactions that

are ruled out in the Rubin (1978)–Holland (1986, 1988) approach that

he espouses.

Sobel misses another main contribution of my paper: to make

the literature on causality specific by addressing real problems.

Abstract discussions of causality with appeals to philosophy, ‘‘closest

worlds,’’ ‘‘regularity,’’ and the like sound profound but in fact are

superficial since they have no operational content and do not address

policy problems. Most empirical social scientists are not concerned

with philosophy per se, but instead they want honest answers to

clearly stated problems.

My essay is organized around the theme of addressing three

policy evaluation questions that arise in everyday practice. Problem

P1 is what statisticians focus on. Problems P2 and P3 are new prob-

lems that can be answered using the econometric approach. Sobel’s

attempt to address P2—the extrapolation problem—demonstrates the

ad hoc

nature of current statistical approaches and the power of the

econometric approach. By keeping the unobservables implicit, he

disguises an implicit exogeneity assumption for the conditioning vari-

ables in the approach he advocates. Heckman and Vytlacil (2005,

2006b) consider extrapolation under more general conditions.

An alternative approach discussed in Heckman and Vytlacil (2005,

2006b) is to model the dependence between the conditioning variables and

the unobservables, but since Sobel (like Rubin and Holland) does not like

to make unobservables explicit, this route is denied him. He implicitly

agrees that the literature in statistics does not address P3 and his discus-

sion of it confuses problem P2 with problem P3.

He offers a discussion of factorial experiments as a substitute

for a clear discussion of P3. Since he will not make explicit statements

about unobservables, he begs a central question addressed in the

econometrics literature of how to predict the effects of new programs

never previously observed. His version of P3 is a simple extrapolation

REJOINDER: RESPONSE TO SOBEL

141

---

exercise and hence a version of P2. He does not offer a general

treatment of P3 as I do in the paper and in Heckman and Vytlacil

(2005, 2006b).

Our approach goes well beyond the interpolation and extrapola-

tion advocated by Sobel to consider predictions of programs with features

never previously observed.

6

Making predictions about new programs and

policies is an essential task of social science. If these predictions are not

made in a cautious, principled, explicit way, plenty of ‘‘causal inference

experts’’ stand waiting to fill the vacuum and provide less credible esti-

mates. By discussing hard problems clearly, analysts can pinpoint limits to

knowledge that raise the standards of evidence.

In failing to present a serious discussion of problem P3, which

is a central focus of my essay, Sobel echoes the conventional statistical

approach that ignores this policy evaluation problem. Had he care-

fully considered my analysis of this problem in this paper and in my

work with Vytlacil, his claims about close ‘‘agreement’’ between the

econometric approach and the statistical approach would vanish.

Sobel misses another major theme of my essay and the entire

econometric evaluation literature: that treatment effects should be defined

relative to the problem being analyzed (Marschak 1953; Heckman 2001;

Heckman and Vytlacil 2001b, 2006a,b). The econometric literature devel-

ops the point that the choice of an estimator cannot be separated from the

choice of the question being addressed by the investigator and the a priori

assumptions made by the investigator.

Thus, although ACE, ITT or TT may be traditional para-

meters, they do not address many specific policy questions. My

work with Vytlacil (2001b, 2005, 2006b) discusses specific policy

questions and devises estimators that address them. Manski (2000,

2004), in his interesting work, derives treatment assignment rules for

particular loss functions.

3. IS CAUSALITY IN THE MIND?

Sobel, evidently influenced by my exchange with Tukey (in Wainer

1986, reprinted 2000), sharply attacks me for claiming that ‘‘causality

6

His approach is based on arbitrary functional form assumptions

whereas we present a general analysis guided by theory.

142

HECKMAN

---

is in the mind’’ and that causal knowledge is provisional. Then,

throughout the rest of his discussion, he demonstrates the validity of

my point by offering a series of unsupported opinions and assertions

about what is ‘‘reasonable’’ and what is not. His opinions and value

judgements are his expressions of intuitive models in his mind that he

never formalizes or makes explicit, but introduces casually using

rhetorical devices. Sobel is typical of many statisticians who keep

crucial assumptions implicit.

My claim is not intended as a defense of solipsism, post-mod-

ernist relativism or the notion that analysts are free to make up any

crazy model they like. Instead, I am saying that all scientific activity is

predicated on assumptions.

A clearly formulated causal model should (a) define the rules

or theories that generate the counterfactuals being studied, including

specification of the variables known to the agents being studied as

well as the properties of the unobservables of the model where the

unobservables are not known to the analyst but may be partly known

by the agent; (b) define how a particular counterfactual (or potential

outcome) is chosen; (c) make clear the assumptions used to identify

the model (or to address the policy questions being considered); and

(d) justify the properties of estimators under the maintained assump-

tions and under alternative assumptions. These are tasks 1

(corresponding to a and b), 2 (corresponding to c) and 3

(corresponding to d) in my Table 1. These ingredients are the hall-

mark of the selection model as analyzed in Heckman (1974, 1976,

1979), Gronau (1974), Roy (1951), Willis and Rosen (1979) and

numerous

other

papers

in

the

econometrics

literature.

Understanding the relationship between the unobservables generating

choice of treatment and the unobservables generating outcomes is the

key to understanding the properties of various evaluation estimators,

a point first made in Heckman and Robb (1985, 1986, reprinted

2000).

One will look in vain in the papers of Neyman, Cox,

Kempthorne, Rubin or Holland for the specification of precise

treatment assignment rules that have been the hallmark of econo-

metric selection models since 1974. Sobel’s claim that Rubin (1978)

or any other statistician has systematically developed treatment

assignment mechanisms is false. Rubin (1976, 1978) contrasts rando-

mization with nonrandomization and does not develop the structure

REJOINDER: RESPONSE TO SOBEL

143

---