Rejoinder: response to sobel

role of the randomized trial to the Holland-Rubin analysis. After

explicating what he calls the ‘‘Rubin model,’’ Holland gives a very

revealing illustration of how the first two tasks of Table 1 are con-

flated by one leading figure in the statistical treatment effect litera-

ture. Holland claims that there can be no causal effect of gender on

earnings. Why? Because we cannot randomly assign gender. This

confused statement conflates the act of definition of the causal effect

(a purely mental act) with empirical difficulties in estimating it (Steps 1

and 2 in my Table 1). This type of reasoning is prevalent in statistics.

12

As another example of the same point, Rubin (1978, p. 39)

denies that it is possible to define a causal effect of sex on intelligence

because a randomization cannot in principle be performed.

13

In this

and many other passages in the statistics literature, a causal effect is

defined by a randomization. Issues of definition and identification are

confused. A recent paper shows that this fallacy is alive and well in

statistics. A paper by Berk, Li, and Hickman (2005) makes the same

error as Rubin and Holland. Sobel is correct in saying that population

treatment parameters can be defined abstractly. However, that point

was not made in the statistical treatment effect literature. It is made in

econometrics.

14

I agree with Sobel that the act of definition is logically separate

from the acts of identification and inference. That is a main point of

my paper. We both agree that a purely mental act can define a causal

effect of gender. That is a separate task from identifying it. What is

odd is that he states his agreement with my position and that of the

econometrics literature as a disagreement. And he fails to accurately

12

Parenthetically, my title ‘‘Scientific Causality’’ was motivated by

Holland’s contrast between models of science that attempt to probe deeply and

understand the ‘‘causes of effects’’ and the statistical treatment effect literature.

Understanding the causes of effects is an essential activity for prediction and

forecasting—problems P2 and P3 in my paper.

13

‘‘Without treatment definitions that specify actions to be performed

on experimental units, we cannot unambiguously discuss causal effects of treat-

ments.’’ (Rubin 1978, p. 39).

14

The LATE parameter of Imbens and Angrist (1994) is defined by an

instrument and conflates task 1 and 2 (definition and identification). Heckman

and Vytlacil (2001b, 2005, 2006b) define the LATE parameter abstractly and

separate issues of definition of parameters from issues of identification. Imbens

and Angrist (1994) use instrumental variables as surrogates for randomization.

REJOINDER: RESPONSE TO SOBEL

147

---

represent a pervasive point of view among statisticians that gives rise

to the myth that causality can only be determined by randomization,

and that glorifies randomization as the ‘‘gold standard’’ of causal

inference.

15

4. THE ROY MODEL, THE SWITCHING MODEL AND THE

RUBIN MODEL

Sobel repeats an assertion made by Rubin: that I, and other econo-

mists, ‘‘started using the Rubin model in the 1980s.’’

16

Sobel has

clearly not studied the econometrics literature with any care. The

‘‘Rubin model’’ is in fact a version of an econometric model developed

by Roy (1951). It is also a version of the switching regression model of

Quandt (1958, 1972). That model contains both a framework for

potential outcomes (Y

0

, Y

1

) and also a choice of treatment rule.

17

There was no explicit discussion of the treatment assignment rule in

any of the Rubin papers that Sobel cites or in the statistics literature

until very recently.

18

Heckman and Honore´ (1990) present a comprehensive analysis

of the Roy model. Heckman (1990) and Heckman and Smith (1998)

extend it (see also Heckman 2001, and Heckman and Vytlacil

2006a,b). Unlike the statisticians, Pearl (2000) is forthright about his

own debt to the economics literature in the distinction between ‘‘fix-

ing’’ and ‘‘conditioning,’’ which is central to his work on causality. See

Haavelmo (1943) for the source of Pearl’s ‘‘do’’ operator.

19

15

As noted in my essay, and in Heckman (1992), self selection provides

information on agent-subjective evaluations of programs.

16

See Rubin (2000).

17

One cannot find any explicit analysis of treatment selection rules in the

statistical literature (Neyman 1923; Rubin 1978; Holland 1986; Rubin 1986) other

than the randomized-nonrandomized dichotomy previously discussed.

18

Sobel cites Rosenbaum (2002) for use of such rules. As previously

noted, Rubin does develop the dichotomy ‘‘randomized vs. nonrandomized.’’ He

does not go deeper, nor does he consider how the form of the treatment assign-

ment rule affects the choice of an appropriate estimator. That point is developed

in Heckman and Robb (1985, 1986).

19

Lewis (1963) is an early pioneering analysis of counterfactuals in

economics that also considers the problems raised by self selection and general

equilibrium effects.

148

HECKMAN

---

The simplest form of the Roy model has two potential out-

comes and a decision rule (treatment assignment rule). In its simplest

version, the treatment indicator variable is D

¼ 1(Y

1

! Y

0

), where

1(

Á

)

¼ 1 if the argument is true and is zero otherwise. Thus a doctor

might assign treatment on the basis of which therapy has the best

outcome. A student may decide to go to college vs. stopping at high

school based on which option has the highest income. The Roy model

is a version of the competing risks model of biostatistics.

20

This model

of potential outcomes and treatment selection predates Cox and

Rubin, as does the Thurstone (1927) model of counterfactual utilities

of choices developed in mathematical psychology.

More general versions of this model developed in econometrics

allow agents to be partially informed about (Y

1

,Y

0

) when they make

their decisions and to allow for more general costs. In the generalized

Roy model, D

¼ 1ðEðgðY

1

; Y

0

; C

ÞjI Þ > 0Þ where I is the agent’s

information set, C is the cost of moving from ‘‘0’’ to ‘‘1’’ where ‘‘0’’

is the initial state, and g is a general preference function for the agent

making the treatment decision. In the original Roy model C

¼ 0,

I ¼ ðY

1

; Y

0

Þ and g ¼ (Y

1

À Y

0

). The general form of this model

allows analysts to distinguish objective from subjective evaluations

of treatments and ex ante and ex post versions of both. See Carneiro,

Hansen, and Heckman (2001, 2003), Cunha and Heckman (2006a),

Cunha, Heckman, and Navarro (2005, 2006), Heckman and Vytlacil

(2006b) and Heckman and Navarro (2006) for more general analyses.

In my 1974 paper, Y

1

is the market wage of a woman. Y

0

is her

nonmarket wage (her value in home production). Her decision rule is

to work (D

¼ 1) if the market wage is greater than the reservation

wage D

¼ 1(Y

1

! Y

0

).

21

Otherwise, she does not work. I also develop

a model for hours of work. Willis and Rosen (1979) use this model

when Y

1

is college earnings and Y

0

is high school earnings. They allow

for costs C. D

¼ 1 (a person goes to college) if Y

1

À Y

0

À C > 0

(D

¼ 1(Y

1

À Y

0

À C ! 0)).

22

There is a huge literature starting in

economics long before the ‘‘Rubin model’’ became popularized in

20

See Heckman (1987) where this link is established. Versions of the

competing risks model go back to early Twentieth Century work by Danish

actuaries.

21

See Gronau (1974) for a closely related model.

22

They assume perfect certainty. See Cunha and Heckman (2006a) for a

version of this model with uncertainty as well as additional features.

REJOINDER: RESPONSE TO SOBEL

149

---